9月12日,阿里巴巴旗下通义实验室正式推出新一代基础模型架构Qwen3-Next,标志着其在人工智能大模型领域的技术突破。该架构专为应对大模型在上下文扩展和参数规模增长趋势而设计,通过创新的高稀疏混合专家(MoE)架构,对传统Transformer组件进行深度重构,首次将线性注意力与自研门控注意力机制相结合,在模型训练与推理效率上实现双重优化。
基于Qwen3-Next架构,团队同步开源了Qwen3-Next-80B-A3B系列模型,涵盖指令微调(Instruct)和推理优化(Thinking)两大版本。该系列模型总参数规模达800亿,但实际推理时仅激活30亿参数,性能表现却与千问3旗舰版2350亿参数模型持平。这一突破使模型计算效率显著提升,训练成本较上一代密集模型Qwen3-32B降低超90%,长文本处理吞吐量提升10倍以上,同时支持百万级Tokens的超长上下文输入。
技术层面,Qwen3-Next的创新性体现在混合注意力机制的应用。通过将线性注意力与动态门控注意力结合,模型在保持长文本处理能力的同时,大幅降低了计算复杂度。这种设计不仅解决了传统密集模型在参数扩展时面临的算力瓶颈,还为超长上下文场景提供了更高效的解决方案。实验数据显示,新模型在百万级Tokens输入下的推理延迟较同类产品降低80%以上。
开源版本中,指令微调模型侧重于任务适配能力,可快速响应多样化应用需求;推理优化模型则强化了逻辑链构建与多步思考能力,适用于复杂问题求解场景。开发者可通过阿里云平台直接调用相关API,或基于开源代码进行本地化部署。此次开源进一步推动了大规模语言模型在工业界的落地应用,为智能客服、内容生成、数据分析等领域提供了更轻量级、高性价比的技术选择。