您尚未登录/注册
首页>科技
混元团队首次开发者社区AMA问答实录
腾讯云 2026-11-21 14:32:59

今天凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员在Reddit进行了一场AMA(Ask Me Anything,公开问答)。这是混元团队首次在开发者社区公开答问,两小时内共收到300多条留言。



从今年3月重建预训练与强化学习基础设施,到11月接连发布Hy4和Hy4 flash,混元用了九个月,跻身全球领先的开源模型之列。


这次问答中,混元团队谈到了两款模型的架构取舍,也透露了下一步计划:继续训练更大的模型,同时推进已列入路线图的更小尺寸的 Hy4 系列。围绕开发者关心的本地部署、工具调用和开源适配,团队逐一作出回应,也谈到后训练中仍待解决的“过度思考”问题。


以下为按主题整理的中文问答实录,A为腾讯混元团队回复。


//模型路线:大小模型、多模态与下一步计划


Q:这两个模型(Hy4 和Hy4 flash)的训练更侧重编程,还是面向通用用途?

A:通用用途。


Q:有没有可能推出 Hy4-mini(也就是更小尺寸的模型)

A:当然!这已经在我们的路线图上了,敬请期待。


Q:有可能推出 24–31B 的稠密模型吗?

A:有可能,正在考虑中。


Q:感谢你们开放模型权重!腾讯是否在考虑推出“Flash Lite”模型,例如 35B-A3B?这类模型可能很有用,例如面向客户的聊天机器人、文档解析、分类、简单自动化,以及其他受益于低开销和高速度的任务。

A:是的,敬请期待一款前沿的 Flash-Lite 模型。


Q:有计划发布新的开源图像模型吗?HunyuanImage-3.0 很棒,但对大多数配置来说太大了。希望先做一个 5–12B 的较小模型供本地使用,再做更大的模型,因为我们需要更多开源图像模型。我也希望看到新一代 HunyuanVideo。

A:我们会考虑做一个更小的图像模型;视频模型也敬请关注。


Q:我也很关注让端侧智能体具备视觉理解能力。在你们的实验中,最小多大规模的模型还能提供有用的视觉理解能力?我指的是理解图像、UI 截图或图表,并围绕它们进行推理,而不只是 OCR 或简单的图像描述。

A:我认为,A3B(激活参数约 30 亿)的模型已经可以用于你提到的任务。


Q:你们认为这些模型已经达到容量上限了吗,也就是已经“吸收”了它们所能容纳的全部智能?未来更智能的 Hy 模型是否需要更多参数,还是说你们能在同样的规模下提供更强的模型,例如进一步后训练的 Hy4?

A:我觉得还有很大的潜力。

A:我们相信,Hy4 仍有很大的提升空间,尤其是在后训练方面。我们正在大规模强化学习上投入大量精力,同时持续改善用户体验和模型安全性。敬请期待后续更新!

我们也计划训练更大的模型。我们相信 Scaling law,并将继续投入!


Q:看起来,字节跳动和 Kimi 等公司正在推进超大规模模型,参数量达到 3T,甚至 5T,而你们仍在 700B。这是为什么?你们如何看待参数量对智能的实际影响?在这方面有什么计划吗?

A:做得扎实的较小模型,也可以胜过更大的模型。更重要的是,它们成本更低,而你也能在这个过程中学到更多、收获更多。


Q:到 Hy 4.5 时,你们会把参数量扩大到 1.5 万亿至 2 万亿,对吗?

A:下一代 Hy 模型的规模一定会进一步显著扩大。


Q:有可能推出循环式 MoE 模型吗?

A:当然有可能。请持续关注。


Q:持续学习(continual learning)的进展如何?

A:这是一个很有前景的方向,我们正在积极研究。


Q:按照这张图里的分级(AGI),Hy4 模型目前处于什么水平?未来的模型有可能达到什么水平?


原提问所附“Levels of AGI”分级


A:在我看来,是 2.5 级。


Q:如果让 Hy4 自主运行,你们认为它目前能通过递归自我改进(RSI)发展出下一代模型吗?另外,你们是否有衡量这项能力的基准,能在“自主实现任务 n 小时、调用工具 m 次”之外评估其自主性?

A:我们的 RSI 能力仍处于早期阶段。我们已经开发了若干内部基准,用于评估 RSI 的关键能力。


我们当前的优先任务是打牢基础、提升模型智能,并与产品紧密协作,提供更好的用户体验。


Q:借助 Hy4 和 Hyra 2.0,你们已经能够改进训练基础设施,并训练出更好的小模型。接下来会做什么实验,来证明这一轮训练出的模型,在下一轮中会更擅长模型研发?模型如何才能更善于自我学习?

A:我们正在开发 Hyra 3.0,敬请期待!


Q: 你们是否打算在未来将强化学习作为科学研究的重点,尤其是针对 Hy4 flash 到 500B 参数规模的中等规模模型?另外,你们认为中国的实验室能否挑战 Claude 在生物学领域的主导地位呢?

A: 我们积极投入于用于科学研究的强化学习技术,同时也非常重视安全性问题。


//模型技术路线:架构取舍与研发难题


Q:不知道我是不是来晚了,不过我很好奇训练和架构方面的问题:你们每次调整网络层时,依据是什么?例如,基于 Hy4 的初始架构开发 flash 时,你们如何“选择”哪些层必须保留?真的很好奇!

A:欢迎加入!Hy4 flash 以 Hy4 的技术为基础,例如 iHC、门控 MLA 和 DSA,同时引入了几项新的架构组件:混合 SWA、LatentMoE 和 Engram。这些设计选择背后,是我们在不同规模的阶梯实验中进行的大量验证,以及对模型与推理系统的精细协同设计。


Q:除了 Hy4 最终采用的设计,团队还认真考虑过、但最终放弃的最有竞争力的架构方案是什么?为什么放弃?

A:我们在 GQA 和 MLA 之间反复权衡了很长时间。MLA 的计算强度明显高于 GQA,这使得在推理 GPU 上进行推测解码时,瓶颈会落在计算能力上。不过,在相同的 KV cache 大小下,MLA 的模型质量优于 GQA。

幸运的是,引入 DSA 后,我们降低了 MLA 在解码阶段的计算强度。这最终改变了权衡结果,让我们决定采用 MLA。


Q:iHC 相比 mHC 和 Gated Residuals(GR,门控残差)有哪些优势?

A:与 mHC/GR 相比,iHC 简单得多,能以更低的成本提供相当的性能。


Q:为什么 Hy4 flash 选择了 SWA,而不是 Hy4 使用的门控 DSA?

A:SWA 将 KV cache 大小降至原来的四分之一,显著降低了模型服务成本。


Q:未来是否会考虑其他注意力机制,例如 QSA?

A:当然!我们对各种架构创新都持开放态度。


Q:不计 Engram参数,Hy4 flash 是 156B-A12B(总参数 1560 亿、激活参数 120 亿,激活比例 7.7%)。Qwen3.8-Flash 是 125B-A6B(激活比例 4.8%);DSv4.1 是 552B-A16B(激活比例 2.9%),在预填充阶段则降为 A8B(1.45%)。更高的激活密度对智能究竟有多重要?你们是否测试过,如果采用 156B-A8B 或 156B-A5B,模型质量会下降多少?

A:我们做过不同 MoE 稀疏度的规模阶梯实验,类似于 MAI-Thinking-1 论文中的实验,得出的结论也大致相同:在激活参数量固定的情况下,提高稀疏度能提升计算效率。所以,这个方向确实有效。


但 156B-A8B 或 A5B 是一种根本不同的权衡:它保持总参数量不变,同时减少激活参数量。我预计,这会显著损害模型质量。激活参数量本质上决定了你的计算预算。提高稀疏度可以通过效率提升弥补一部分损失,但无法全部弥补;减少激活参数,最终意味着更少的计算量和更弱的模型。


Q:顺着这个话题,我很久以来都希望看到某个实验室真正把稀疏度推向新水平。比如 200B-A3B 就很有意思,现在还可以加入 Engram。也许效果会很糟,也许会很棒。它肯定会很快,而且我认为,它毫无疑问会比 35B-A3B 模型更聪明。MoE 到底能走多远?

A:我的观点是,过于稀疏的 MoE 架构对推理并不友好:它会占用大量 GPU 显存,却无法充分利用计算能力(FLOPs)。在相同的推理吞吐量下,我们完全可以运行一个总参数量相同、但激活参数更多的模型。


Q:你说的对于数据中心的高并行度服务确实成立。不过,考虑到当前的硬件市场,本地运行的情况很不一样。由于内存带宽较低,A12B 在 Strix Halo 和 DGX Spark 上运行较慢,而 QFN 在同样的带宽条件下速度还不错。

A:我理解你的意思。对于端侧模型,我们会采用不同的设计思路,让模型架构与边缘设备上的 GPU 硬件进行更紧密的协同设计。


Q:Hy4 flash 在内存方面的架构很有意思:将 KV cache 缩减至原来的 1/6 至 1/24,并把 64B 的 Engram 参数卸载到主机内存,让 12B 激活参数在 128GB 及以上配置上运行得很快。但 220B 的总参数量,即使 Q4 量化也需要 130GB 以上,仍让这里大多数单 GPU 和 64GB Mac 用户难以承受。如果把这套架构缩小成“Hy4-Mini”,比如总参数约 30B–35B、激活参数 3B–4B,Engram 嵌入和 Identity Hyper-Connections(iHC)还能带来同样的提升吗?还是说,它们只在 200B 以上规模时才有优势?

A:Engram 和 iHC 对较小模型带来的收益甚至更大。


Q:我研究中小型稀疏 MoE 模型和量化。我有一个 35B-A3B 模型,256 个专家、top-8、激活参数约 3B,采用三值量化后约为每个权重 2.1 比特(bpw)。我正在尝试对部分专家张量使用 4-bit 量化,再加上低秩校正分支,以恢复模型能力。你们激活参数 12B、拥有 512 个专家的 LatentMoE 设计,是我目前最接近的参考。我有五个问题,大致按对下一步工作的影响程度排序:


1. 你们的 IQ2-AH 版本在 gate/up 投影上使用 IQ2_XXS,在 down 投影上使用 Q4_K。而在我的 35B 模型上,反过来效果更好:Q4 gate/up 加三值 down,困惑度(PPL)为 2.34;Q4 down 加三值 gate/up 为 2.68;全部三值量化为 2.93。在 Hy4 中,down 投影一般更敏感吗?还是说,这只是 LatentMoE 和 1536 维专家潜空间的特性?你们根据什么信号,决定给哪个专家投影分配更多比特?另外,在大型细粒度 MoE 中,按专家使用混合精度值得付出这些复杂性吗,还是按张量分配通常就够了?

A:在一般的 Transformer 层中,由于激活值存在离群值,down 投影对量化更敏感,因此我们会给它分配更多比特。我们通过基于 Hessian 的敏感度来选择位宽。相比按专家使用混合精度,我们更倾向于按张量分配,因为很多推理引擎将所有专家作为一个堆叠矩阵处理,按专家设置精度会破坏这种处理方式。按张量分配也更便于迁移。


2. 恢复量化后的 MoE 能力时,你们会训练路由器吗?我冻结了路由器,但出现了路由漂移和工具使用能力退化,保留原始路由器也没有解决问题。量化后,路由器的协同适应是否必不可少?你们如何保持其稳定?

A:会。在 QAT 中,我们会将路由器与模型的其余部分一起训练,使路由器保持稳定。


3. 对于冻结的量化模型主体,你们会在 MoE 和注意力模块的输出处加入低秩分支,使用覆盖整个模型的 LoRA/QLoRA,还是对量化权重进行量化感知训练(QAT)?在稀疏 MoE 中,适配器应该放在哪里?我在 Transformer 块(block)的输出处使用秩为 512 的分支 LoRA,效果仍不够,不想在更大规模的实验中重蹈覆辙。

A. 我们更倾向于全参数 QAT,因为模型质量更好。我们还没有做过 LoRA 实验,因此无法就适配器应该放在哪里给出建议。


4. 当激活参数量从 12B 降到 3B 时,哪些能力会最先退化?是否存在一个临界点,使三值或 2-bit MoE 不再可行?如果你们有一个激活参数为 3B 的模型,会把额外的比特预算或计算预算用在哪里:更多激活参数容量、Engram、更高位宽,还是潜空间专家?

A:我们预计,推理深度、长上下文跟踪和工具调用可靠性会最先退化,而 2-bit 训练后量化(PTQ)会远早于三值 QAT 失效。


5. 在激活参数为 12B 时,Engram 的贡献有多大?值得将它加到激活参数为 3B 的模型中吗?你们是每层使用独立的 n-gram 表,还是共享一张表、再配合各层的投影?在内存和能力之间,你们更倾向于怎样权衡?

A:Engram 参数不计入 12B 激活参数。我们为每层使用独立的 n-gram 表。只要不超出内存预算,我们更倾向于尽可能提升模型能力。


Q:模型一旦编造命令语法或参数标志,CLI 就很容易出错。能否详细说明,你们如何通过强化学习处理这些问题,同时避免丢失上下文?

A:在工具调用准确性方面,我们在强化学习数据上投入了大量精力,包括加入模型容易出错的高难度案例。我们还采用细粒度奖励机制,对关键细节中的错误施加更重的惩罚。

在上下文保留方面,我们正在持续扩展强化学习训练所使用的上下文长度,并专门提升模型的上下文压缩能力。


Q:我非常喜欢顺雨最早的 ReAct 工作。在训练 Hy4 和 Hy4 flash 执行长时程智能体/CLI 循环任务时,多轮强化学习中最难解决的奖励投机(reward hacking)或状态漂移问题是什么?

A:最难的是环境设计存在漏洞所导致的奖励投机。例如,要防止智能体直接上网搜索答案,而不是真正解决任务。


Q:欢迎!和 Hy4 preview 一样,Hy4 正式版有时仍会花太长时间推理。这种“过度思考”来自强化学习的奖励设计,还是训练数据的分布?模型能否学会何时停止?

A:Hy4 的目标是尽可能提升智能水平,因此思维链(CoT)过长是一个已知问题。不过,这也使我们能够将其蒸馏为性价比很高的 Hy4 flash。对于 flash,我们通过强化学习来确保思维链较短。


Q:在后训练阶段,最难改善的行为是什么?

A:过度思考。


Q:在研发过程中,最困难的时刻是什么?

A:对我们来说,是从 Hy3 扩展到 Hy4 的时候。我们对数据做的详细消融实验,没有达到我希望的充分程度,因此在开始训练时存在很多不确定性。说实话,训练刚开始时,我相当紧张。


Q:除了发布成果,研发过程中本身最让你开心的事是什么?

A:幸运的是,训练最终进行得出乎意料地顺利。感觉就像把筹码全押上,结果真的赢了。


//模型安全:防护措施与负责任的开源


Q:很高兴看到 Hy4 的红队测试细节。通常,较强的安全调优会让开放模型拒绝基础的渗透测试、逆向工程或 CTF 任务。你们如何避免对这些具有攻防双重用途的编程提示过度拒绝?

A:在网络安全训练中,我们重点关注防御性任务、漏洞分析和修复,同时排除以漏洞利用和进攻性攻击为主的数据。我们也会开展红队评估,评估潜在风险。

避免过度拒绝,仍然是一个重要的改进方向。


Q:为什么要从训练中移除网络安全红队测试数据?完全可以搭建一个执行框架,把这个模型接入循环,让它完成同样的任务。这样只会削弱模型,却没有实际收益。你们考虑过替代方案吗?

A:过滤这类数据是一个更基础的步骤,同时还要配合通过训练建立的拒答安全防护机制。这些都是为了负责任地开源。


Q:漏洞发现和逆向工程本身并不天然具有攻击性。事件响应团队会利用逆向工程进行恶意软件分析、去混淆和取证调查,了解攻击者如何入侵系统。从防御角度看,让防御团队赶在攻击者之前发现漏洞,是减少关键基础设施攻击面的重要方式之一。限制模型的网络安全能力,难道不是让防御方付出代价吗?尤其是这些能力本来就具有攻防双重用途,限制一方也会严重伤害另一方。

A:根据我们的评估,Hy4 的漏洞发现能力较强,而漏洞利用能力相对较弱。


Q:你们在训练和评测中部署了哪些监控系统?

A:我们会在整个训练和评测过程中,监控潜在的投机行为和失对齐问题,并在问题出现时修复相应环境。


Q:在内部运行过程中,比如训练、评测和部署,尤其是智能体任务,你们会采用哪些网络控制措施?例如,对出站网络访问设置允许列表或阻止列表?另外,非常感谢你们详尽的回答,也很期待仔细阅读安全说明。

A:是的,我们会使用允许列表和阻止列表。评测时,由于发现了前沿模型有很多钻空子的方式,我们会反复修正环境和这些列表。


//使用与本地部署:硬件配置和工具接入


Q:你们希望用户在家里的硬件上运行这个模型吗?还是说,你们在其他讨论中暗示的小型 MoE 模型,才是为这个目的准备的?就因为这次 flash 发布,我真的开始考虑买一个服务器机架了。做得很棒,感谢你们把成果分享给全世界。

A:是的。


Q:我还在学习本地 AI 模型,可能问得很基础:我有 96GB 显存,内存是“128 RAM”。能运行 flash 吗?

A:可以运行。你可以把主要权重和注意力模块放在 GPU 上,将部分专家层卸载到系统内存。Engram 表也可以放在内存中。


Q:Hy4 能在 OpenCode、Claude Code 或 Cline 里开箱即用吗?还是需要定制提示词才能取得好效果?也就是说,它能直接替换现有模型,还是需要额外配置?谢谢!

A:Hy4 和 Hy4 flash 已经在 OpenCode、Claude Code 和 Cline 中得到广泛使用。


//模型能力与评测:编程、写作和真实任务

Q:其实没有什么问题,只是想说,就在五分钟前,Hy4 flash 在我们内部的智能体编程和 PR 审查基准上达到了满分:它是第一个通过全部测试的模型,而且完成速度比 Qwen 3.8 Flash Next、GLM 5.3 Flash 和 Deepseek V4.1 Flash 都快。太棒了!

在不泄露内部信息的前提下,能否问一下,你们的智能体编程任务主要覆盖哪些方面?例如 3D、大型单一代码仓库(monorepo)、短时零样本任务、文档编写与代码更新、代码/注释/文件结构的可理解性,以及多轮过程中的代码整洁性——能否在没有人类参与的情况下自主运行数百轮,同时保持代码整洁?

A:这些场景我们都有覆盖,并且非常重视任务多样性。


Q:你们对创意写作和可读性投入了多少关注?如果有一个模型在解释事情时明显更易读、更容易理解,这会是让我从 Qwen 3.8 Flash Next 转过去的重要原因之一。

A:我们也认为创意写作和可读性非常重要,正在将其作为重点改进方向。

A:关注了很多,但我们仍有提升空间。有时候,一个好例子比五段文字更有帮助。


Q:我注意到大语言模型的写作能力在退化。我以前会用 Claude 3.5 编辑文本,但现在已经不用 5.5 了。我发现,唯一能输出勉强够用的代码文档的模型是 Gemini Pro。Qwen 3.6 的写作能力也比 3.8 更好。这是因为模型在用代码训练、出现了过拟合,还是其他原因?

A:我们也注意到了这一点。我们认为,这可能与模型的训练目标有关。我们希望模型写出来的内容更像人类,少一些套路化表达。我们正在改进,敬请期待!


Q:你们是否考虑更多关注不可验证的指令遵循能力?我注意到,许多西方闭源模型在这方面表现更好,例如遵守风格约束。

A:(掏出小本子,奋笔疾书。)记下了!


Q:你们没有公布 GPQA Diamond、tau bench、IFBench、SWE Bench 等常见基准的结果,有什么特别原因吗?

A:坦白说,我们展示的是较新的高难度基准成绩,例如 Agents' Last Exam、ProgramBench 等。你提到的这些基准推出得较早,分数已经饱和。


Q:我看到了在以 PHP 为主的代码仓库上的测试结果,Hy4 flash 很好地完成了 shell 和 DevOps 任务,比如 ZFS 数据集迁移中的边界情况。你们是如何处理 PHP 类型推断中的特殊问题的?

A:更好的训练数据、多样化的内部评测,以及“不刻意刷榜”,哈哈。


//开源与社区:反馈、生态合作和研究者心声


Q:感谢你们又一次开源发布!中国实验室会看 Reddit 上的反馈吗?我们的抱怨和恳求有用吗?

A:感谢你的关注!我们非常重视社区反馈。


Q:除了研究论文之外,你们会和其他开放大语言模型实验室交流吗?还是说,这个领域的竞争相当激烈?

A:我们会积极向开放大语言模型社区学习,也希望把更多自己的研究成果贡献回社区。


Q:我在看 llama.cpp 的 PR 时,发现两天前有人提交了支持 Hy4 flash 的 PR。你们会在模型正式广泛发布之前,与 llama.cpp 这样的项目合作完成适配吗?还是更适合先发布,再由用户补上支持?我也支持其他人提出的需求,希望有总参数 35B–70B、甚至最高到 120B 的 MoE 模型。

A:我们正在推进 llama.cpp 适配,应该会在不久后向社区发布。目前,我们也在与 vllm、sgl 等社区深入合作。


Q:最后,想问几位回答问题的研究者一些个人感受:参与开放权重模型的研发,你有什么感受?


Q:如果可以许一个愿望,你希望大语言模型未来能为你做什么?现实的、天马行空的都可以,比如生成动漫伴侣,或者一张完美的馒头图片,这样有趣的回答也完全可以。感谢你们抽时间参加这次 AMA,期待未来能使用更多你们的成果!


A:作为一个十足的吃货,我希望大语言模型能为我创造全新的食谱,而且能确保做出来的味道正好符合我的喜好!

【版权声明】本文内容来源于腾讯云,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。

发布时间:2026-11-21 13:56:42


(第1/1页/共28668字/2阅)
首页>科技
相关科技:
梁文锋越过聊天框
刚刚,OpenAI深夜大更新,GPT 6.2Astra和6.2 Sol来了!
为了去AI味,人类开始主动写烂文章了......
SpaceX接盘,中企清仓:6000万欧元光伏订单,给了德国设备商
谈到黄仁勋,马斯克快哭了
*家园合伙人招募计划
网友评论:
更多评论(0)
您的评论:

[热点科技]
黄仁勋辞职后:亲友齐聚旧金山豪宅 点炸鸡外卖
存量周期下家居企业跨界谋增长
环球下周看点:英伟达迎财报日大考 Anthropic、GTA VI同日上市
杀疯了的恋陪剧本杀
大闸蟹跌到5元一只,为何还是卖不动
[精彩推荐]
又一场“天价豪赌”来了
古人用尿和海螺染出来的贵族紫,我们在家复刻成功了
35岁浙江女子备孕10年未怀上,子宫内竟长出“骨头”,医生:这种罕见病隐匿性强,极易漏诊
喧嚣反转!2026广州车展大变局新势力集体进入静默期
APEC效应给文旅产业带来什么启示?对话中国人民大学宋洋洋