新浪科技讯 11月21日上午消息,今日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和混元团队的研究员在 Reddit 上进行了一场 AMA(Ask Me Anything)。
据介绍,这是混元团队首次在开发者社区公开答问。在两小时的集中问答时间内,混元团队共收到了300多条留言,涵盖模型技术路线、架构取舍、未来规划、安全评测等。
在问答过程中,姚顺雨和混元团队透露了不少信息,例如:“Hy4-mini(也就是更小尺寸的模型)已经在我们的路线图上了,敬请期待。”并表示,“会考虑做一个更小的图像模型,视频模型也敬请关注。”
谈及字节跳动和 Kimi 等公司正在推进超大规模模型,参数量达到3T,甚至 5T,而他们仍在700B的原因,该团队回应称,“Hy3和Hy4已经表明,做得扎实的较小模型,往往可以胜过更大的模型。更重要的是,它们成本更低,而你也能在这个过程中学到更多、收获更多。”
对于开发者关心的本地运行、工具调用和开源生态,他们给出了具体回应,也表达了对社区反馈的重视。安全方面,团队强调通过有害数据过滤、训练防护和红队评估推进负责任的开源,同时承认需要继续减少过度拒绝。
以下为按主题整理的部分问答实录:(A为腾讯混元团队回复)
一、下一代模型将大幅扩容,小尺寸模型已在研究
Q:有没有可能推出 Hy4-mini(也就是更小尺寸的模型)
A:当然!这已经在我们的路线图上了,敬请期待。
Q:有可能推出24–31B 的稠密模型吗?
A:有可能,正在考虑中。
Q:感谢你们开放模型权重!腾讯是否在考虑推出“Flash Lite”模型,例如 35B-A3B?这类模型可能很有用,例如面向客户的聊天机器人(11.910, -0.53, -4.26%)、文档解析、分类、简单自动化,以及其他受益于低开销和高速度的任务。
A:是的,敬请期待一款前沿的 Flash-Lite 模型。
Q:有计划发布新的开源图像模型吗?HunyuanImage-3.0 很棒,但对大多数配置来说太大了。希望先做一个 5–12B 的较小模型供本地使用,再做更大的模型,因为我们需要更多开源图像模型。我也希望看到新一代 HunyuanVideo。
A:我们会考虑做一个更小的图像模型;视频模型也敬请关注。
Q:你们认为这些模型已经达到容量上限了吗,也就是已经“吸收”了它们所能容纳的全部智能?未来更智能的 Hy 模型是否需要更多参数,还是说你们能在同样的规模下提供更强的模型,例如进一步后训练的 Hy4?
A:我觉得还有很大的潜力。
A:我们相信,Hy4 仍有很大的提升空间,尤其是在后训练方面。我们正在大规模强化学习上投入大量精力,同时持续改善用户体验和模型安全性。敬请期待后续更新!我们也计划训练更大的模型。我们相信 Scaling law,并将继续投入!
Q:看起来,字节跳动和 Kimi 等公司正在推进超大规模模型,参数量达到 3T,甚至 5T,而你们仍在 700B。这是为什么?你们如何看待参数量对智能的实际影响?在这方面有什么计划吗?
A:Hy3 和 Hy4 已经表明,做得扎实的较小模型,往往可以胜过更大的模型。更重要的是,它们成本更低,而你也能在这个过程中学到更多、收获更多。
Q:到 Hy 4.5 时,你们会把参数量扩大到 1.5 万亿至 2 万亿,对吗?
A:下一代 Hy 模型的规模一定会进一步显著扩大。
Q:有可能推出循环式 MoE 模型吗?
A:当然有可能。请持续关注。
Q:持续学习(continual learning)的进展如何?
A:这是一个很有前景的方向,我们正在积极研究。
Q:如果让 Hy4 自主运行,你们认为它目前能通过递归自我改进(RSI)发展出下一代模型吗?另外,你们是否有衡量这项能力的基准,能在“自主实现任务 n 小时、调用工具 m 次”之外评估其自主性?
A:我们的 RSI 能力仍处于早期阶段。我们已经开发了若干内部基准,用于评估 RSI 的关键能力。我们当前的优先任务是打牢基础、提升模型智能,并与产品紧密协作,提供更好的用户体验。
Q:借助 Hy4 和 Hyra 2.0,你们已经能够改进训练基础设施,并训练出更好的小模型。接下来会做什么实验,来证明这一轮训练出的模型,在下一轮中会更擅长模型研发?模型如何才能更善于自我学习?
A:我们正在开发 Hyra 3.0,敬请期待!
Q: 你们是否打算在未来将强化学习作为科学研究的重点,尤其是针对 Hy4 Flash 到 500B 参数规模的中等规模模型?另外,你们认为中国的实验室能否挑战 Claude 在生物学领域的主导地位呢?
A: 我们积极投资于用于科学研究的强化学习技术,同时也非常重视安全性问题。
二、“过于稀疏的MoE架构对推理并不友好”
Q:除了 Hy4 最终采用的设计,团队还认真考虑过、但最终放弃的最有竞争力的架构方案是什么?为什么放弃?
A:我们在 GQA 和 MLA 之间反复权衡了很长时间。MLA 的计算强度明显高于 GQA,这使得在推理 GPU 上进行推测解码时,瓶颈会落在计算能力上。不过,在相同的 KV cache 大小下,MLA 的模型质量优于 GQA。幸运的是,引入 DSA 后,我们降低了 MLA 在解码阶段的计算强度。这最终改变了权衡结果,让我们决定采用 MLA。
Q:未来是否会考虑其他注意力机制,例如 QSA?
A:当然!我们对各种架构创新都持开放态度。
Q:不计 Engram 参数,Hy4 flash 是 156B-A12B(总参数 1560 亿、激活参数 120 亿,激活比例 7.7%)。Qwen3.8-Flash 是 125B-A6B(激活比例 4.8%);DSv4.1 是 552B-A16B(激活比例 2.9%),在预填充阶段则降为 A8B(1.45%)。更高的激活密度对智能究竟有多重要?你们是否测试过,如果采用 156B-A8B 或 156B-A5B,模型质量会下降多少?
A:我们做过不同 MoE 稀疏度的规模阶梯实验,类似于 MAI-Thinking-1 论文中的实验,得出的结论也大致相同:在激活参数量固定的情况下,提高稀疏度能提升计算效率。所以,这个方向确实有效。
但 156B-A8B 或 A5B 是一种根本不同的权衡:它保持总参数量不变,同时减少激活参数量。我预计,这会显著损害模型质量。激活参数量本质上决定了你的计算预算。提高稀疏度可以通过效率提升弥补一部分损失,但无法全部弥补;减少激活参数,最终意味着更少的计算量和更弱的模型。
Q:顺着这个话题,我很久以来都希望看到某个实验室真正把稀疏度推向新水平。比如 200B-A3B 就很有意思,现在还可以加入 Engram。也许效果会很糟,也许会很棒。它肯定会很快,而且我认为,它毫无疑问会比 35B-A3B 模型更聪明。MoE 到底能走多远?
A:我的观点是,过于稀疏的 MoE 架构对推理并不友好:它会占用大量 GPU 显存,却无法充分利用计算能力(FLOPs)。在相同的推理吞吐量下,我们完全可以运行一个总参数量相同、但激活参数更多的模型。
Q:你说的对于数据中心的高并行度服务确实成立。不过,考虑到当前的硬件市场,本地运行的情况很不一样。由于内存带宽较低,A12B 在 Strix Halo 和 DGX Spark 上运行较慢,而 QFN 在同样的带宽条件下速度还不错。
A:我理解你的意思。对于端侧模型,我们会采用不同的设计思路,让模型架构与边缘设备上的 GPU 硬件进行更紧密的协同设计。
Q:模型一旦编造命令语法或参数标志,CLI 就很容易出错。能否详细说明,你们如何通过强化学习处理这些问题,同时避免丢失上下文?
A:在工具调用准确性方面,我们在强化学习数据上投入了大量精力,包括加入模型容易出错的高难度案例。我们还采用细粒度奖励机制,对关键细节中的错误施加更重的惩罚。
在上下文保留方面,我们正在持续扩展强化学习训练所使用的上下文长度,并专门提升模型的上下文压缩能力。
Q:我非常喜欢顺雨最早的 ReAct 工作。在训练 Hy4 和 Hy4 flash 执行长时程智能体/CLI 循环任务时,多轮强化学习中最难解决的奖励投机(reward hacking)或状态漂移问题是什么?
A:最难的是环境设计存在漏洞所导致的奖励投机。例如,要防止智能体直接上网搜索答案,而不是真正解决任务。
Q:欢迎!和 Hy4 preview 一样,Hy4 正式版有时仍会花太长时间推理。这种“过度思考”来自强化学习的奖励设计,还是训练数据的分布?模型能否学会何时停止?
A:Hy4 的目标是尽可能提升智能水平,因此思维链(CoT)过长是一个已知问题。不过,这也使我们能够将其蒸馏为性价比很高的 Hy4 flash。对于 flash,我们通过强化学习来确保思维链较短。
Q:在后训练阶段,最难改善的行为是什么?
A:过度思考。
Q:在研发过程中,最困难的时刻是什么?
A:对我们来说,是从 Hy3 扩展到 Hy4 的时候。我们对数据做的详细消融实验,没有达到我希望的充分程度,因此在开始训练时存在很多不确定性。说实话,训练刚开始时,我相当紧张。
Q:除了发布成果,研发过程中本身最让你开心的事是什么?
A:幸运的是,训练最终进行得出乎意料地顺利。感觉就像把筹码全押上,结果真的赢了。
三、仍会坚持开源,希望模型写出来的内容更像人类
Q:很高兴看到 Hy4 的红队测试细节。通常,较强的安全调优会让开放模型拒绝基础的渗透测试、逆向工程或 CTF 任务。你们如何避免对这些具有攻防双重用途的编程提示过度拒绝?
A:在网络安全训练中,我们重点关注防御性任务、漏洞分析和修复,同时排除以漏洞利用和进攻性攻击为主的数据。我们也会开展红队评估,评估潜在风险。避免过度拒绝,仍然是一个重要的改进方向。
Q:漏洞发现和逆向工程本身并不天然具有攻击性。事件响应团队会利用逆向工程进行恶意软件分析、去混淆和取证调查,了解攻击者如何入侵系统。从防御角度看,让防御团队赶在攻击者之前发现漏洞,是减少关键基础设施攻击面的重要方式之一。限制模型的网络安全能力,难道不是让防御方付出代价吗?尤其是这些能力本来就具有攻防双重用途,限制一方也会严重伤害另一方。
A:根据我们的评估,Hy4 的漏洞发现能力较强,而漏洞利用能力相对较弱。
Q:你们在训练和评测中部署了哪些监控系统?
A:我们会在整个训练和评测过程中,监控潜在的投机行为和失对齐问题,并在问题出现时修复相应环境。
Q:在内部运行过程中,比如训练、评测和部署,尤其是智能体任务,你们会采用哪些网络控制措施?例如,对出站网络访问设置允许列表或阻止列表?另外,非常感谢你们详尽的回答,也很期待仔细阅读安全说明。
A:是的,我们会使用允许列表和阻止列表。评测时,由于发现了前沿模型有很多钻空子的方式,我们会反复修正环境和这些列表。
Q:你们对创意写作和可读性投入了多少关注?如果有一个模型在解释事情时明显更易读、更容易理解,这会是让我从 Qwen 3.8 Flash Next 转过去的重要原因之一。
A:我们也认为创意写作和可读性非常重要,正在将其作为重点改进方向。
A:关注了很多,但我们仍有提升空间。有时候,一个好例子比五段文字更有帮助。
Q:我注意到大语言模型的写作能力在退化。我以前会用 Claude 3.5 编辑文本,但现在已经不用 5.5 了。我发现,唯一能输出勉强够用的代码文档的模型是 Gemini Pro。Qwen 3.6 的写作能力也比 3.8 更好。这是因为模型在用代码训练、出现了过拟合,还是其他原因?
A:我们也注意到了这一点。我们认为,这可能与模型的训练目标有关。我们希望模型写出来的内容更像人类,少一些套路化表达。我们正在改进,敬请期待!
Q:你们是否考虑更多关注不可验证的指令遵循能力?我注意到,许多西方闭源模型在这方面表现更好,例如遵守风格约束。
A:(掏出小本子,奋笔疾书。)记下了!
Q:你们没有公布 GPQA Diamond、tau bench、IFBench、SWE Bench 等常见基准的结果,有什么特别原因吗?
A:坦白说,我们展示的是较新的高难度基准成绩,例如 Agents‘ Last Exam、ProgramBench 等。你提到的这些基准推出得较早,分数已经饱和。
Q:我看到了在以 PHP 为主的代码仓库上的测试结果,Hy4 flash 很好地完成了 shell 和 DevOps 任务,比如 ZFS 数据集迁移中的边界情况。你们是如何处理 PHP 类型推断中的特殊问题的?
A:更好的训练数据、多样化的内部评测,以及“不刻意刷榜”,哈哈。
Q:除了研究论文之外,你们会和其他开放大语言模型实验室交流吗?还是说,这个领域的竞争相当激烈?
A:我们会积极向开放大语言模型社区学习,也希望把更多自己的研究成果贡献回社区。
Q:最后,想问几位回答问题的研究者一些个人感受:参与开放权重模型的研发,你有什么感受?
A:能为开源社区做贡献,非常有成就感。尤其是看到这么多人关注我们的工作时。
Q:如果可以许一个愿望,你希望大语言模型未来能为你做什么?现实的、天马行空的都可以,比如生成动漫伴侣,或者一张完美的馒头图片,这样有趣的回答也完全可以。感谢你们抽时间参加这次 AMA,期待未来能使用更多你们的成果!
A:作为一个十足的吃货,我希望大语言模型能为我创造全新的食谱,而且能确保做出来的味道正好符合我的喜好!
红包分享
钱包管理

