浪潮旗下YuanLab.ai团队近日宣布开源发布源Yuan3.0 Ultra多模态基础大模型,这款面向万亿参数规模打造的旗舰模型,在多模态企业级应用领域实现重大突破。该模型通过系统性架构创新,将MoE(混合专家)架构的训练效率优化深度融入模型设计,并针对企业场景中的复杂任务需求进行专项强化,在文档理解、表格分析、智能工具调用等场景中展现出显著优势。
模型采用统一的多模态架构设计,由视觉编码器、语言主干网络和多模态对齐模块三部分构成。其中语言主干网络基于103层Transformer的MoE架构,初始训练参数规模达15150亿,通过团队研发的LAEP参数优化技术,在预训练阶段将有效参数压缩至10100亿,同时实现49%的算力效率提升。激活参数规模控制在688亿,在保证模型性能的同时显著降低计算资源消耗。
针对企业场景中的复杂信息处理需求,Yuan3.0 Ultra开发了多项核心技术。Localized Filtering Attention(LFA)注意力机制通过强化语义关系建模,使模型精度较传统Attention结构提升显著。在多模态文档处理方面,模型可同时解析图文混排内容、多级结构表格及跨文档知识关联;在智能体应用层面,为基于OpenClaw等框架的企业Agent AI提供强大的数据驱动能力,支持检索增强生成(RAG)、内容摘要生成和工具链自动调用等复杂任务。
该模型的开源内容包含完整的训练体系,除16bit和4bit量化版本的模型权重外,还同步公开技术报告、训练方法论及多维度评测数据。这种全链条开源模式为学术界和产业界提供了深度定制的基础,开发者可基于现有框架进行二次训练,快速构建适应特定行业需求的垂直模型。
作为源Yuan3.0基础模型家族的旗舰版本,Ultra版与已发布的Flash(400亿参数)、Pro(2000亿参数)版本形成完整的产品矩阵,后续还将推出参数量达1万亿的增强版本。这种阶梯式模型布局既满足不同规模企业的应用需求,也为前沿技术研究提供了可扩展的基础平台。团队已同步公开Yuan3.0 Ultra的开源地址,为全球开发者提供即时可用的技术资源。











