英伟达科研团队近日宣布推出全新全模态理解模型OmniVinci，该成果在多模态基准测试中展现显著优势，较当前最优模型得分提升19.05个百分点。值得关注的是，这一突破性成果仅使用六分之一的训练数据量，在数据利用效率方面形成代际优势。
研究团队构建了多感官融合的统一潜在空间架构，通过创新性数据管理策略实现视觉、听觉与文本信息的深度交互。这种跨模态理解机制使AI系统能够模拟人类感知模式，对复杂场景进行多维度解析。在Dailyomni基准测试中，该模型在音频理解MMAR子项和视觉Video-MME子项分别超出Qwen2.5-Omni模型1.7分和3.9分，而训练数据量仅为后者的六分之一。
核心技术突破体现在三大创新模块：OmniAlignNet通过挖掘视听信号的互补特性强化特征对齐；时间嵌入分组技术（TEG）建立时序信息编码框架；约束旋转时间嵌入（CRTE）解决绝对时间定位难题。这些技术共同构成全模态对齐机制，确保模型在动态场景中保持精准的时间感知能力。
训练方法采用阶段性强化策略，初期进行模态专项训练夯实基础能力，后期实施全模态联合训练提升综合理解水平。研究团队利用现有视频问答数据集开发隐式学习框架，有效提升音视频联合解析的准确度。这种渐进式训练模式使模型在保持高效的同时，实现跨模态知识的有机融合。
该成果的开源发布将为全球AI社区提供重要技术资源，其高效的数据利用模式和创新的架构设计，有望推动智能系统在多媒体处理、人机交互等领域的实质性进展。研究团队透露，后续将深化多模态预训练框架的研究，探索更高效的跨模态知识迁移方法。
