当地时间4月28日,英伟达正式推出其最新的开放式多模态大模型——Nemotron3Nano Omni。这款模型被定位为“全能选手”,通过高度整合视频、音频、图像和文本的深度推理能力,旨在为开发者提供更快速、更智能的交互响应方案。
技术架构上的创新是该模型的一大亮点。Nemotron3Nano Omni采用了30B-A3B的“混合专家”(MoE)架构,将视觉与音频编码器直接集成在系统内部。这种一体化的设计打破了以往多模态处理需要依赖多个独立感知模型的僵局,实现了从“碎片化上下文”向“统一上下文”的跨越。
性能数据表现尤为抢眼。根据官方披露,该模型在复杂文档处理、视频理解及音频感知等六大权威排行榜中均位列榜首。得益于其独特的感知精度,该系统在保持极高交互性的同时,吞吐量达到了同类开放式全向模型的9倍。这意味着企业在部署AI智能体时,能够以更低的成本实现更强的可扩展性,且不牺牲响应的即时性。
目前,已有多家先锋科技公司接入该模型。H Company首席执行官Gautier Cloix在评价该模型时表示,得益于新架构,其AI代理现在可以实时解读全高清屏幕录像,这标志着AI从简单的任务执行者转变为能够实时感知并理解数字环境的交互者。
作为Nemotron3系列(包括Nano、Super和Ultra型号)的重要成员,该系列模型在过去一年中已创下超过5000万次的下载记录。英伟达表示,Nemotron3Nano Omni不仅可以独立运行,还能与专有云模型或其他开源模型协同工作,为复杂的代理工作流提供底座支持。此次发布无疑为企业级AI智能体的生产与部署树立了全新的效率标杆。











