蚂蚁灵波近日宣布开源全球首个基于Mixture-of-Experts(MoE)架构的具身智能视频生成模型LingBot-Video,该模型通过重构视频预训练范式,在物理规律建模、动作连贯性及任务完成度等核心指标上实现突破,为机器人领域提供了新型开源技术底座。与传统视频生成模型不同,LingBot-Video专门针对具身智能需求设计,重点解决真实物理世界交互中的推理效率与行为合理性问题。
在权威评测基准RBench上,LingBot-Video以0.620的综合得分超越Wan2.6(0.607)、Seedance 1.5 Pro(0.584)等主流模型。该基准由北京大学联合字节跳动发布,专门评估机器人操作视频的物理真实性。测试结果显示,LingBot-Video生成的机器人动作在力学合理性、工具使用逻辑及任务闭环完成度方面表现尤为突出,其动作中断率较对比模型降低37%,任务成功率提升29%。
针对具身智能的特殊需求,研发团队构建了双维度评估体系。内部基准测试表明,在灵巧操作、移动导航等典型场景中,LingBot-Video的物理参数预测误差较NVIDIA Cosmos 3等模型减少42%,动作-环境交互一致性评分达到89分(满分100)。这种优势源于模型对机器人运动学约束的显式建模,使其能准确反映关节扭矩、摩擦力等物理特性对动作的影响。
技术架构方面,LingBot-Video创新采用DiT+MoE混合架构,通过动态路由机制实现参数高效激活。其300亿参数模型在推理时仅需调用30亿活跃参数,在保持视觉表现力的同时,将单次生成能耗降低至Dense架构的1/3。这种设计使模型在NVIDIA A100 GPU上的生成速度达到每秒24帧,满足机器人实时决策的延迟要求。
数据工程是该模型的另一突破点。研发团队开发的数据画像引擎整合了7万小时具身数据,涵盖23类机器人操作场景。这些数据通过VLA(视觉-语言-动作)对齐技术标注,不仅包含像素级信息,还记录了关节角度、接触力等物理参数。相较于纯互联网视频数据,这种多模态数据使模型对工具使用的理解准确率提升65%。
训练策略上,LingBot-Video引入四维强化学习奖励函数,在传统美学指标基础上新增物理引擎验证、任务分解评估等机制。例如,在模拟开门任务中,模型会因未正确模拟门轴扭矩而获得负奖励,这种设计使生成视频的物理违规率从12%降至2.3%。实验数据显示,经过物理对齐训练的模型,其生成动作在真实机器人上的复现成功率提高41%。
目前,LingBot-Video已开放全量代码与预训练权重,支持机器人动作预测、仿真环境构建等应用场景。开源社区反馈显示,基于该模型开发的机械臂抓取系统,在复杂物体操作任务中的规划时间从3.2秒缩短至0.8秒。随着具身智能技术的演进,这种兼顾视觉质量与物理真实性的视频生成框架,正在重新定义机器人学习范式。













