ITBear旗下自媒体矩阵:

蚂蚁集团开源万亿参数Ling-1T模型,以创新架构引领AI推理能力新突破

   时间:2025-10-13 15:19:54 来源:互联网编辑:快讯 IP:北京 发表评论无障碍通道
 

人工智能领域迎来重要进展,蚂蚁集团旗下“百灵”团队宣布开源其自主研发的万亿参数大模型——Ling-1T。该模型采用FP8低精度训练技术,成为当前已知规模最大的基座模型,其参数总量达1万亿级,标志着大模型技术进入新的发展阶段。

Ling-1T隶属于蚂蚁集团构建的Ling2.0模型家族,该家族包含三大分支:Ling系列主打通用任务处理,以高效运算见长;Ring系列侧重复杂逻辑推理,强化深度思考能力;Ming系列作为多模态模型,支持文本、图像、视频等多元信息处理。这种分层设计使不同场景的需求得到精准匹配。

技术层面,Ling-1T通过动态参数激活机制实现高效运算。尽管模型总参数达万亿规模,但在处理每个token时,实际参与计算的参数仅约500亿,这种“稀疏激活”策略显著降低了算力消耗。研发团队提出的“Ling缩放定律”基于300余次模型实验,揭示了计算效率与专家模块激活比例之间的量化关系,为超大规模模型训练提供了理论支撑。

训练体系方面,模型采用三阶段渐进式优化:预训练阶段摄入超过20万亿token的海量数据,重点构建基础语义理解能力;中训练阶段通过强化学习提升逻辑推理精度;后训练阶段引入“演进式思维链”技术,使模型具备自我迭代能力。这种分阶段训练策略确保了模型在保持效率的同时,逐步突破复杂任务处理瓶颈。

性能测试显示,Ling-1T在数学推理和代码生成等核心领域表现突出。对比主流开源模型,其在数学问题求解准确率上提升12%,代码生成完整度提高18%。社区实测中,该模型成功模拟了流体动力学现象和星系演化过程,展现出处理跨学科复杂问题的潜力。不过,团队也坦承模型在超长文本处理时存在计算成本较高的问题,目前正研发混合注意力架构以优化长序列处理效率。

为推动技术普惠,蚂蚁集团同步公开了模型代码与训练框架。开发者可通过HuggingFace平台(https://huggingface.co/inclusionAI/Ling-1T)获取预训练权重,或通过GitHub仓库(https://github.com/inclusionAI/Ling-V2)查看完整技术文档。此举将加速大模型技术在科研、工业等领域的落地应用。

技术亮点方面,Ling-1T搭载的WSM学习率调度器可实时感知训练状态,动态调整参数更新策略,使千亿参数级模型的训练稳定性提升30%。其创新的“思维链”技术通过模拟人类推理过程,将复杂问题拆解为可执行的子任务序列,这种类脑计算模式为解决AI可解释性问题提供了新思路。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version