商汤科技与南洋理工大学S-Lab联合宣布，正式推出并开源全新多模态架构NEO，为日日新SenseNova多模态模型提供新一代技术支撑。这一突破性架构通过底层创新实现视觉与语言的深度融合，在性能、效率及通用性方面取得显著提升，标志着多模态技术从“模块化拼接”向“原生融合”的范式转变。
传统多模态模型多采用“视觉编码器+投影器+语言模型”的模块化设计，以语言模型为核心扩展图像处理能力。然而，这种架构本质仍以文本为主导，图像与语言的融合仅停留在数据层面，导致模型在复杂场景中（如精细图像分析或空间结构理解）表现受限。商汤科技指出，此类“拼凑式”设计不仅学习效率低下，更难以满足真实场景对多模态协同的需求。
针对上述痛点，NEO架构从底层机制重构多模态处理逻辑，通过三大核心创新实现原生融合：其一，原生图块嵌入（Native Patch Embedding）摒弃离散图像分块方式，采用自底向上的连续映射技术，直接从像素生成语义词元，显著提升图像细节捕捉能力；其二，原生三维旋转位置编码（Native-RoPE）解耦时空频率分配，为视觉与文本模态分配差异化频率参数，使模型同时具备图像空间结构解析与视频跨帧建模潜力；其三，原生多头注意力（Native Multi-Head Attention）在统一框架下实现文本自回归注意力与视觉双向注意力的协同，强化空间关联推理能力。
在训练策略上，NEO采用Pre-Buffer & Post-LLM双阶段融合机制，既保留原始语言模型的完整推理能力，又从零构建视觉感知模块，有效解决跨模态训练中语言能力退化问题。测试数据显示，该架构仅需3.9亿图像文本样本（约为行业同等性能模型的十分之一），即可在视觉理解任务中比肩Qwen2-VL、InternVL3等旗舰模型。在MMMU、MMB等权威评测中，NEO架构多项指标位居前列，尤其在0.6B至8B参数规模的边缘部署场景中，展现出显著的成本与效率优势。
目前，商汤已开源基于NEO架构的2B与9B参数模型，开发者可通过开源社区获取技术文档与模型权重。此次开源不仅为学术界提供前沿研究基准，更为工业界部署高效多模态应用提供新选择。随着原生融合架构的普及，多模态技术有望在智能终端、自动驾驶、医疗影像等领域实现更广泛的应用突破。
