ITBear旗下自媒体矩阵:

月之暗面联创凌晨3小时AMA:回应23问,杨植麟透露Kimi K3将大幅升级

   时间:2026-01-30 08:06:49 来源:互联网编辑:快讯 IP:北京 发表评论无障碍通道
 

月之暗面核心团队近日在社交媒体平台Reddit上举办了一场备受瞩目的有问必答活动,三位联合创始人杨植麟、周昕宇和吴育昕与全球网友展开深度交流,话题涵盖模型技术、行业趋势以及公司发展等多个方面,从凌晨持续到凌晨三点,解答了众多关键疑问。

活动伊始,就有网友提出尖锐问题,质疑Kimi K2.5自称Claude是对其进行蒸馏的证据。杨植麟解释,这是由于预训练阶段对最新编程数据上采样,而这些数据与“Claude”这个token关联性强,并且强调K2.5在多个基准测试中表现优于Claude。对于备受期待的Kimi K3,杨植麟虽未透露过多细节,但表示会在Kimi Linear基础上加入更多架构优化,即便没有比K2.5强10倍,也肯定会强很多。

在算力储备问题上,当被问及与其它企业的GPU数量差距在2026年是否会缩小时,杨植麟直言差距并未缩小,实现通用人工智能(AGI)所需的算力还有待观察。周昕宇则补充道,可用算力受多种因素影响,创新往往诞生于约束之中。

针对技术架构相关问题,有网友询问对DeepSeek的Engram架构的看法及是否考虑采用。周昕宇认为对嵌入进行Scaling是值得探索的方向,但在测试前缺乏可靠数据。对于训练大规模模型如何界定沉没成本,周昕宇表示会将实验结果分享给技术人员深入讨论,以决定项目的走向。团队鼓励质疑,每天都会进行相关讨论。同时,团队凭借对技术基本面的准确判断,在长期研究中取得不错成果,关键在于拥有“把事情真正做成并落地”的共同价值观。

在模型训练挑战方面,杨植麟称训练视觉语言模型(VLM)的主要挑战在于同时提升文本和视觉性能,不过二者可相互促进。对于开发自己的编程工具Kimi Code的原因,他表示需要一个与模型最匹配的框架,且Kimi Code有视频输入等独有功能,video2code代表着前端开发的未来。在强化学习基础设施方面,吴育昕介绍团队力求在保持灵活性的同时实现高效率,智能体蜂群部署逻辑复杂,但系统灵活性高,可集成不同框架和子智能体设置。

关于Scaling阶梯,周昕宇表示从非常小的规模开始实验,核心目标是预测系统的可扩展性。有些架构、优化器和数据无法扩展,在低FLOPs下评估可扩展性需要深刻理解训练过程的数学动态。例如,Kimi Linear移植到K2中时曾出现Scaling失败,经过数月调试才达到现有水平,研究重点在于应对失败。

在模型性能与应用方面,对于Kimi K2.5的算力分配,杨植麟认为强化学习的计算量将持续增长,未来可能出现更多新的目标函数用于强化训练。针对有人探索架构递归实现P/poly复杂度的问题,他表示当前架构下许多问题在计算上可解,模型能力瓶颈在于任务可验证性,智能上限取决于新学习算法。对于K2.5自称Claude的现象,他进一步解释在正确系统提示词下会回答“Kimi”,系统提示为空时反映预训练数据分布。K2.5在多个基准测试中优于Claude。对于降低K2的幻觉问题,吴育昕称通过提高数据质量和奖励机制改善,但仍有改进空间。关于K2.5使用较高参数比例是否“浪费”计算资源,吴育昕和周昕宇认为过度训练是为了获得更优整体权衡而主动支付的成本。

在“智能体蜂群”功能上,吴育昕介绍该功能中各子智囊团可独立执行子任务,拥有各自工作记忆,只在必要时返回结果给调度器,扩展了整体上下文长度。对于权衡强化编程能力与非编程能力,杨植麟表示在模型参数规模足够的情况下二者不存在根本性冲突,但保持“写作品味”是挑战,团队依赖内部基准评测调整奖励模型。对于K2.5个性变化问题,吴育昕承认每次新版本发布模型“个性”会有变化,正在努力解决以满足用户个性化需求。

对于Kimi K3的规划,杨植麟表示正在尝试新架构和新功能。对于是否采用新架构及如何保留K2.5 Thinking性能,他肯定了线性架构,希望在Kimi Linear基础上加入更多架构优化,相信K3会有显著提升。对于在线/持续学习计划,周昕宇称持续学习可提升模型自主性,Kimi Linear是与K2.5并行开展的项目,线性注意力机制是未来模型关键方向。在模型角色塑造方面,杨植麟认为模型核心在于“品味”,K2.5有独特审美取向,其性格也是“品味”体现,较少迎合用户或许是好的性格特征。对于是否开源“智能体蜂群”或添加到Kimi-cli中,杨植麟表示目前处于测试阶段,稳定后会向开发者提供框架。对于视觉编码器大小问题,吴育昕称小型编码器有利于Scaling。对于是否推出带原生音频输入功能的模型,杨植麟表示目前资源有限,可能重点放在训练更好的智能体上。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version