商汤科技近日宣布，与南洋理工大学 S-Lab 联合研发的多模态模型架构 NEO 正式开源发布。这一成果为日日新 SenseNova 多模态模型提供了新一代架构支撑，标志着多模态领域的技术突破迈出重要一步。
与传统模块化设计不同，NEO 架构从底层原理出发，采用原生多模态设计理念，通过核心架构层面的深度融合，实现了性能、效率与通用性的全面提升。研发团队在注意力机制、位置编码和语义映射三个关键维度进行底层创新，使模型能够统一处理视觉与语言信息，突破了单一模态的局限性。
针对跨模态训练中常见的语言能力退化问题，NEO 架构引入 Pre-buffer & Post-LLM 双阶段融合训练策略。该策略在保留原始大语言模型完整推理能力的基础上，从零构建视觉感知模块，确保两种模态能力同步增强且互不干扰。这种创新训练方式有效解决了传统方法中语言能力受损的技术瓶颈。
为推动行业技术发展，商汤科技已开源基于 NEO 架构的 2B 与 9B 两种参数规模的模型。这两个版本既保持了架构的核心优势，又为不同应用场景提供了灵活选择。开源社区可通过这些基础模型开展二次开发，加速原生多模态架构的技术迭代与应用落地。
