11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与团队成员在技术社区Reddit进行了一场持续120分钟的AMA问答,回答了近百个提问。此前11月接连发布Hy4和Hy4 flash后,腾讯在人工智能领域的进展受到更多关注。
模型参数量成为讨论焦点之一。面对字节、Kimi等公司向万亿参数推进,为什么混元仍在7000亿左右的问题,混元团队介绍,Hy4总参数量为770B,Hy4 flash为224B。新模型并非只偏向编程,而是更多面向通用场景。Hy4在后训练等方面仍有较大提升空间,团队正在大规模强化学习上投入较多精力。
混元团队还表示,正计划训练参数量更大的模型,并相信Scaling Law仍然有效,下一代Hy模型的规模会进一步明显扩大。
对于小参数模型,团队称更小尺寸的Hy4-mini已经列入路线图,也在考虑研发24B至31B的稠密模型,一款前沿Flash Lite正在推进。团队还会考虑更小的图像模型,并希望外界关注视频模型。按照他们的说法,Hy3和Hy4已经证明,扎实的较小模型也能胜过更大的模型,而且成本更低。
有用户提到一张关于AGI发展阶段的表格,其中2级对应熟练成年人中位数水平,3级对应熟练成年人前10%水平。混元团队回应,Hy4目前处于2.5级。
技术问题方面,有用户指出Hy4有时推理时间过长。混元团队承认,由于Hy4的目标是尽可能提高智能水平,思维链过长是已知情况;团队将其蒸馏为性价比较高的Hy4 flash,flash通过强化学习来保持较短的思维链。他们还表示,后训练阶段最难改善的行为就是过度思考。此外,创意写作和可读性被列为重点改进方向。
混元团队认为,数据和评估是实现AGI最重要的工具,数据决定模型能力,评估引导正确方向。团队也在研究持续学习技术,认为这一方向很有前景。
姚顺雨负责以来,混元大模型不再以基准测试分数刷榜为目标。有用户注意到,混元没有公布GPQA Diamond、SWE Bench等常见基准结果。团队回应,这些基准推出较早,分数已经饱和,当前展示的是Agents' Last Exam等较新的高难度基准成绩。研发过程中会借助更好的训练数据和多样化内部评测来解决问题,不会刻意刷榜。
还有用户询问,在先进AI芯片供应受限的情况下,混元能否追上最前沿模型。混元团队表示,目前正在极致压榨现有资源,以追赶前沿水平。











