ITBear旗下自媒体矩阵:

万亿参数大模型Kimi K2开源,月之暗面研发团队揭秘研发历程

   时间:2025-07-15 23:32:34 来源:ITBEAR编辑:快讯团队 IP:北京 发表评论无障碍通道

国内AI领域的新星月之暗面,近期推出了其最新的MoE架构基础模型——Kimi K2,该模型参数量高达1万亿,瞬间在行业内引起了广泛关注。Kimi团队内部亲切地将负责K2研发的团队称为“接生群”,而这群研发人员也在知乎上积极分享了K2诞生的幕后故事。

作为月之暗面基础设施侧推理团队的成员,知乎用户刘少伟详细阐述了K2模型结构的设计理念。他指出,K2是在DeepSeek V3结构的基础上进行了优化,通过精心选择参数,使得模型在保持与V3相当的训练和推理成本的同时,实现了更低的loss。刘少伟强调,这些改进使得K2在相同EP数量下,尽管总参数增加到V3的1.5倍,但理论上的预填充和解码耗时却有所减少。

月之暗面的另一位研究员Flood Sung则在知乎上分享了Kimi K2的两大亮点:MuonClip带来的显著loss曲线下降以及卓越的Agent能力。为了实现更好的通用Agent功能,Flood Sung透露,团队构建了一个全自动化的agent数据生产流水线,通过全流程模拟筛选出高质量的Agent轨迹数据。他形象地比喻这个流水线为“一生二,二生三,三生万物”,完美体现了老子的哲学思想。

关于Kimi K2选择开源的决定,月之暗面的研发人员Justin Wong在知乎上给出了答案。他认为,开源能够借助社区的力量来完善技术生态。事实上,K2开源后不到24小时,社区就已经实现了K2的MLX版本和4bit量化等,这些都是月之暗面团队单凭自身人力难以完成的。而另一位研究员Dylan则更为谦逊地表示,K2虽然展现出了一定的潜力,但与许多已经成熟的前沿模型相比,仍有许多明显的不足。他作为后训练团队的一员,希望能在后续的版本迭代中持续挖掘K2基础模型的潜力。

值得注意的是,近年来,越来越多的开发者在发布AI成果的同时,选择在知乎上分享背后的思考和过程。此前,月之暗面发布的一款Agent产品以及开源的MoBA框架,也都由主要研发人员在知乎上亲自解答,引发了业界对相关技术的深入讨论。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version