ITBear旗下自媒体矩阵:

蚂蚁灵波开源LingBot-Video:为具身智能视频生成开辟全新路径

   时间:2026-07-09 14:49:53 来源:互联网编辑:快讯 IP:北京 发表评论无障碍通道
 

蚂蚁灵波近日宣布开源全球首个面向具身智能的MoE架构视频生成模型LingBot-Video,为机器人领域提供全新开源技术底座。该模型通过架构革新、数据工程优化和训练范式突破,在物理合理性、动作连贯性和任务完成度等核心指标上超越主流开源模型,标志着视频生成技术从数字内容创作向物理世界交互迈出关键一步。

在权威评测基准RBench中,LingBot-Video以0.620的综合得分领跑榜单,较第二名Wan2.6提升1.3个百分点。该基准由北京大学联合字节跳动发布,重点考察机器人操作视频的物理规律符合度。测试数据显示,模型在工具使用、物体抓取等复杂场景中,动作轨迹与物理约束的匹配度较同类模型提升27%,任务中断率降低41%。

针对具身智能的特殊需求,研发团队构建了三维创新体系。架构层面采用DiT+MoE混合设计,通过专家路由机制实现参数动态激活。300亿参数模型在推理时仅需调用30亿活跃参数,在保持视觉表现力的同时,将单次生成能耗降低至Dense架构的1/3。这种设计使模型在NVIDIA A100集群上的吞吐量达到每秒18帧,满足机器人实时决策需求。

数据工程方面,团队开发了数据画像引擎,在7万小时通用视频基础上,注入VLA(视觉-语言-动作)、VLN(视觉-语言导航)等机器人专用数据集。这些数据覆盖机械臂操作、移动机器人导航、第一视角交互等12类场景,使模型能够理解"推门需先伸手"等隐含物理规则。对比实验显示,经过具身数据训练的模型在动作因果关系判断准确率上提升39%。

训练机制创新体现在多维强化学习框架的引入。除常规的美学质量和提示跟随奖励外,系统新增物理引擎对齐模块和任务闭环奖励。通过与MuJoCo物理仿真器的联合优化,模型生成的视频中物体运动轨迹与真实物理引擎的误差率控制在8%以内。在叠衣服任务测试中,模型生成的动作序列成功率较基线模型提高55%。

开源版本已支持机器人动作预测、仿真数据增强、动作条件视频生成等应用场景。某仓储机器人企业实测表明,基于LingBot-Video生成的训练数据可使机械臂抓取成功率提升19%,新场景适应周期缩短60%。开发者可通过GitHub获取完整代码库,包含预训练模型、数据处理工具链和部署脚本。

技术文档显示,该模型在长视频生成方面表现突出。通过时空注意力机制优化,能够生成持续20秒以上的连贯操作视频,且中间无需人工干预。在复杂场景测试中,模型成功生成包含5个连续子任务的机械臂操作视频,每个动作的物理约束满足度均超过92%。

当前,视频生成领域正形成内容创作与物理交互双轨并行的格局。LingBot-Video通过解耦视觉生成与物理推理,为机器人训练提供低成本数据解决方案。其开源策略有望加速具身智能技术普及,推动服务机器人、工业自动化等领域的技术迭代。社区开发者已基于该模型开发出手术机器人模拟训练、灾害救援场景重建等创新应用。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version