ITBear旗下自媒体矩阵:

商汤开源NEO架构:原生多模态模型放弃“拼图式”设计,数据量减90%仍拿下SOTA

   时间:2025-12-04 01:21:44 来源:CHINAZ编辑:快讯 IP:北京 发表评论无障碍通道
 

商汤科技联合南洋理工大学 S-Lab 发布行业首个原生多模态架构 NEO,并同步开源2B 与9B 两款模型。新架构摒弃“视觉编码器 + 投影器 + 语言模型”的传统三段式方案,从注意力机制、位置编码到语义映射全部重写,官方称在同等性能下数据需求仅为业界平均的1/10,首次实现“像素到 Token”的连续映射。

据商汤技术负责人介绍,NEO 通过原生图块嵌入层直接读取像素,取消独立图像 Tokenizer;三维旋转位置编码(Native-RoPE)在同一向量空间内同时表达文本与视觉时空频率;多头注意力采用“视觉双向 + 文本自回归”混合计算,空间结构关联得分提升24%。实测显示,在0.6B-8B 参数区间内,NEO 在 ImageNet、COCO 与 Kinetics-400上取得 SOTA,边缘设备推理延迟低于80毫秒。

GitHub 已公开模型权重与训练脚本,商汤计划明年第一季度开源3D 感知与视频理解版本。业内人士认为,NEO 的“深层融合”路线有望结束多模态“拼积木”时代,为终端小模型提供新的性能基线。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version