月之暗面近日宣布，正式开源其最新研发的2.8万亿参数大模型Kimi K3，并同步发布模型权重与详细技术报告。这一举措标志着全球首个3万亿级别参数规模的开源大模型正式进入开发者视野，同时也是Kimi系列中性能最强的版本。该模型不仅具备100万token的超大上下文窗口，还原生支持视觉理解能力，通过融合KDA混合线性注意力机制、注意力残差、Gated MLA及Stable LatentMoE等多项架构创新，显著提升了长程编程、知识处理与复杂推理等场景的智能化水平。
在技术实现层面，Kimi K3通过优化注意力机制与模型架构，突破了传统大模型在长文本处理中的效率瓶颈。其核心创新包括Kimi Delta Attention机制，通过动态调整注意力权重分布，降低计算复杂度；结合注意力残差设计，增强模型对长距离依赖关系的捕捉能力；而Gated MLA与Stable LatentMoE的引入，则进一步提升了模型在多任务场景下的稳定性与泛化性能。这些技术突破使得Kimi K3在处理超长文本、多模态数据融合等任务时表现出色，为科研机构与企业开发者提供了更高效的工具链。
值得关注的是，摩尔线程在Kimi K3发布当日即宣布完成适配工作。基于其AI训推一体智算卡MTT S5000与MUSA软件栈，摩尔线程团队仅用极短时间便实现了模型的高效部署与稳定运行。这一成果不仅验证了国产全功能GPU在超大规模模型训练与推理中的技术可行性，更展现了MUSA软件生态对前沿技术的快速响应能力。通过软硬件全栈协同优化，摩尔线程为国产算力支撑万亿级模型研发提供了实践范本，推动大模型产业向自主可控方向迈进。
此次开源与适配的双重突破，标志着国产大模型生态进入新阶段。一方面，Kimi K3的开源将加速技术扩散，降低中小企业与科研团队接入前沿AI技术的门槛；另一方面，国产硬件与开源模型的深度协同，为构建安全可控的AI基础设施提供了新路径。随着更多开发者参与社区共建，大模型的应用场景将进一步拓展，推动人工智能技术在更多垂直领域的落地与创新。
