商汤科技携手南洋理工大学S-Lab实验室，正式推出并开源全新多模态模型架构NEO。该架构通过底层技术革新，首次实现视觉与语言信息的深度统一，在模型性能、数据效率及任务适应性方面取得突破性进展，为多模态大模型发展开辟了新路径。
在数据效率维度，NEO展现出显著优势。传统高性能视觉语言模型通常需要数十亿级图像文本对进行训练，而NEO仅需3.9亿组数据即可达到同等水平，数据量仅为行业标杆模型的十分之一。这种突破得益于其创新的架构设计，无需依赖外部视觉编码器即可直接处理原始图像信号，在视觉问答、图文匹配等任务中，性能已比肩Qwen2-VL、InternVL3等模块化旗舰模型。
权威评测数据印证了NEO的领先性。在MMMU、MMB、MMStar等跨模态基准测试中，该模型在视觉理解、语义推理等核心指标上全面超越原生视觉语言模型（VLM），特别是在涉及复杂空间关系和细微图像特征的任务中表现尤为突出。其"精度无损"的原生架构设计，有效解决了模块化模型因模态割裂导致的信息损耗问题。
针对现有技术瓶颈，研究团队重构了多模态处理范式。传统方案多采用"视觉编码器+语言模型"的拼接架构，这种设计虽能处理基础图文任务，但存在本质缺陷：视觉信号需经离散化转换才能输入语言模型，导致图像细节丢失；模态交互仅发生在数据层面，无法实现深层语义融合。这些问题在需要精细空间推理的场景中尤为明显，例如解读建筑图纸或医疗影像时，模型常因结构理解不足而出现错误。
NEO的创新体现在三个技术维度：在注意力机制层面，模型创新性地整合文本的自回归注意力与图像的双向注意力，使空间关系建模效率提升40%；位置编码系统采用动态几何编码技术，可自适应不同图像分辨率；语义映射模块通过连续向量空间构建，彻底摒弃传统离散化token处理方式。这些改进使模型能直接处理原始像素信号，无需中间转换步骤。
两大核心技术构成NEO的突破基础。原生图块嵌入技术（PEL）通过可学习的卷积核直接对像素进行连续建模，相比传统离散化方法，能保留97%以上的图像细节信息。原生多头注意力机制则突破模态壁垒，在统一架构下实现文本序列的时序建模与图像空间的结构建模，这种设计使模型在处理图文混合内容时，推理速度提升2.3倍，同时保持98%以上的语义一致性。
该成果已通过开源方式向学术界和产业界开放，包含完整训练代码、预训练模型及技术文档。研究团队表示，NEO架构为多模态大模型提供了新的设计范式，其高效的数据利用能力和统一的模态处理机制，将推动自动驾驶、智能医疗、数字内容生成等领域的实际应用发展。目前已有多个国际团队基于该架构开展延伸研究，探索在遥感监测、工业检测等场景的落地可能。
