在多模态大模型领域，音频与文本的协同处理始终是一大挑战。许多模型在强化音频理解能力时，往往以牺牲文本逻辑能力为代价，导致多模态任务中的性能失衡。近日，NVIDIA研究团队推出了一款名为Nemotron-Labs-Audex-30B-A3B（简称Audex）的开源模型，通过创新的架构设计实现了音频与文本能力的双突破。
Audex的核心创新在于其简洁高效的混合专家（MoE）架构。该模型以纯文本MoE为基础，采用单一Transformer解码器统一处理文本与量化音频token。这种设计使音频信号能够自然映射到文本嵌入空间，同时保持与现有大语言模型（LLM）基础设施的完全兼容性。研究团队特别强调，这种架构避免了传统多模态模型中常见的模态间干扰问题，为深度融合处理奠定了基础。
训练数据规模是Audex性能保障的关键。研究团队构建了包含1574亿音频token和3205亿文本token的庞大训练集，通过多阶段监督训练、纯文本级联强化学习（Cascade RL）以及多域策略知识蒸馏技术，使模型在音频理解、语音识别、跨语言翻译和音频生成等任务中达到行业领先水平。更引人注目的是，模型在强化音频能力的同时，完整保留了原始LLM在逻辑推理、价值观对齐、知识储备和长文本处理方面的优势，性能损耗几乎可以忽略不计。
作为开源工具，Audex为语音技术领域带来了实质性突破。不同于多数仅停留在论文阶段的学术模型，Audex提供了可直接部署的完整解决方案。对于需要处理复杂语音交互的开发者而言，该模型既避免了从头训练的高昂成本，又解决了多模态模型常见的性能偏科问题。其平衡的设计理念，为智能客服、实时翻译、内容生成等应用场景开辟了新的技术路径，正在推动多模态智能体研究进入实用化阶段。
