特斯拉首席执行官埃隆·马斯克近日在社交平台X上对一家中国AI企业的技术突破给予高度评价,引发全球科技界广泛关注。被点赞的成果来自月之暗面(Kimi)团队,其提出的"注意力残差"机制重新定义了深度学习领域沿用近十年的残差连接范式。
这项发表于3月16日的研究针对大模型基础架构提出创新方案。传统残差连接采用固定层级的线性累加方式,而Kimi团队设计的"Attention Residuals"机制允许神经网络各层动态选择关注重点。通过引入注意力权重分配系统,模型能够自主判断哪些历史层输出更具训练价值,从而优化计算资源分配。实验数据显示,在480亿参数规模的模型训练中,该技术使迭代效率提升25%,同时保持模型精度稳定。
面对国际科技巨头的关注,Kimi团队以轻松方式回应。其官方账号在马斯克推文下幽默互动:"你的火箭造得也不错!"这种技术自信与开放态度,折射出中国AI研究者既专注底层创新又保持国际视野的特质。据知情人士透露,该团队已就技术专利布局与多家国际机构展开合作洽谈,相关成果有望在年内应用于多模态大模型开发。








