英伟达近日携手加州大学伯克利分校、斯坦福大学及德克萨斯大学奥斯汀分校等科研机构，共同推出了一款名为DreamDojo的机器人“世界模型”系统。该系统依托海量人类视频数据，致力于提升机器人对现实世界的理解与交互能力，进而缩短类人机器人的训练周期并降低成本。
DreamDojo的核心亮点在于其构建的大规模视频数据集DreamDojo-HV。这一数据集汇聚了约4.4万小时的人类第一视角视频，成为当前机器人世界模型预训练领域规模最大的数据集。相较于此前同类数据集，DreamDojo-HV在时长、技能种类及场景数量上分别实现了15倍、96倍和2000倍的显著提升。
在训练机制上，DreamDojo采用了创新的双阶段流程。首阶段，模型通过“潜在动作”对大规模人类视频进行预训练，从而掌握通用的物理与交互知识；次阶段，针对具体机器人硬件，模型利用连续机器人动作进行后训练，以适应不同机器人的形态与功能。这种训练方式使机器人能够在无需实际操作的情况下，通过观察人类行为来学习基础物理规律。
研究团队指出，DreamDojo的引入有效缓解了机器人训练中的一大难题。传统机器人在非结构化环境中进行物体操作时，往往需要大量机器人示范数据，这不仅采集成本高昂，而且周期漫长。而DreamDojo通过利用现成的人类视频数据，使机器人在实际部署前便能完成大量学习任务。
在性能表现上，DreamDojo同样表现出色。研究人员通过模型蒸馏技术，实现了超过1分钟、每秒10帧的实时交互能力，为实时遥操作与即时规划等应用场景提供了有力支持。目前，该系统已在GR-1、G1、AgiBot与YAM等多款类人机器人平台上进行了验证，成功覆盖了多种环境与物体交互场景。
值得一提的是，英伟达首席执行官黄仁勋曾多次在公开场合强调，AI机器人将成为“代际级别”的发展机遇，未来十年将是机器人技术加速演进的关键时期。随着大型科技公司不断加大AI基础设施投入，机器人领域的资本与产业合作也日益紧密。
