在CoRL的演讲台上,李飞飞以World Labs创始人的身份,把团队的新模型Atlas带到机器人学习社区面前。围绕World Labs被AMD收购、她将出任AMD首席科学家的消息,外界对这次亮相格外关注;苏姿丰也参加了现场圆桌。为李飞飞做开场介绍的是她的学生、本届CoRL组织者之一朱玉可,他提到毕业典礼上李飞飞对他说,在实验室时是学生,从今往后是朋友。
李飞飞先从机器人学的根本问题讲起:给定世界状态、目标和机器人,每一个时刻下一步该做什么。她认为机器人要理解并表示世界状态,要预测有后果的动作并规划,还要借助尽可能多的仿真环境补充真实数据。渲染、规划与仿真对应世界模型的几个维度,而Atlas主要处理渲染和仿真,重点模拟世界的几何结构以及3D/4D动态。
Atlas是一个从零训练的自回归基础模型。单一模型可接收文本、图像、视频、深度信号、灰度框或3D结构信号,输出像素帧;它不只生成时空上连贯的画面,还能合成新视角,从而完成高精度、高保真的3D重建。
这一思路背后有两条技术脉络。3D重建从经典方法到NeRF类神经渲染,通常依赖大量带位姿图像,位姿覆盖不足时重建区域就存在不确定性。生成式AI方面,扩散架构让多视角生成更接近“生成加重建”,但空间一致性难保持,每次去噪往往对应固定目标视角,计算成本高,实时运行困难。Atlas试图用一套模型架构和训练配方,把生成与重建放进同一个框架。
在稠密条件下,Atlas接收多张图像做重建;在零像素条件下,它只凭文本提示做纯生成,并产出多帧视角一致的图像;在两者之间,它做稀疏重建:只给极少视角,极端情况只有一张图,模型先估计相机位姿,再生成尽可能多的视角,补出完整世界。稠密重建、稀疏重建和纯生成可以在一个模型内切换。
斯坦福主广场的例子说明了这种能力。给两张图,Atlas生成的广场神似而非真实,拱廊影子存在,大部分内容来自生成;给8张图,相对偌大空间仍属稀疏,但全貌基本呈现,只是输入中没有纪念教堂,教堂便缺失;给33张图,其中一张含纪念教堂,模型重建出更完整的广场。值得注意的是,这些输入都来自地面拍摄,模型却生成了包括航拍在内的不同视角。其技术洞见仍是下一token预测,团队将其概括为“视角即一切”,模型采用多视角自回归扩散Transformer。
Atlas可以输入文本生成带相机位姿的图像;输入图像后估计位姿并生成更多新位姿画面;接收多视角输入后沿不同相机路径插值、外推,恢复3D场景;还能接收深度图或灰度框并输出RGB像素,这类能力对机器人和游戏场景很实用。量化结果中,Rapidata用约50万次人工判断对多个先进视频模型做相机控制生成盲测,Atlas排在首位并明显领先;它还能生成超过60秒、视角一致的视频。
与一年半前的上一代模型相比,变化明显。那时生成范围和几何一致性有限,甚至有人批评团队做的是“closet models”;如今模型呈现的世界大得多。创意示例里,Atlas接收两张互不相干的图像,估计出合理相机位姿,再补全其余场景,把两处场景融成奇幻世界;给灰度框输入,它也能据此生成完整而精细的大世界。
重建对比同样受到关注。深度预测任务跨7个数据集测试,Atlas超过近期专用的3D重建与深度预测先进模型;它本身不依赖高斯泼溅表示,但后置接上高斯泼溅后,在6个数据集上与专用模型比较重建误差,也达到很强的先进水平;调节输入视角数量时,从稀疏重建到稠密重建的过渡较为平滑。演示中,8张图重建出一套相当大的公寓,可采样多种视角;单图输入则升维为高斯泼溅世界,模型还生成深度信息,方便艺术家控制相机方向与运镜。
现场还展示了“子弹时间”效果:电影中这类时空动态镜头曾需庞大相机阵列,Atlas用办公室临时搭的三台iPhone就重建出相应场景。模型最近被蒸馏到实时运行,达到15fps;现场录屏中有人实时“驾驶”Atlas生成画面,保真度和视角一致性保持得较好。多视角自回归扩散加实时生成对底层算力吞吐要求很高,演讲后的对话中,李飞飞与苏姿丰进一步谈到世界模型与算力协同。
机器人仿真被视为Atlas的潜在应用方向。团队正在测试用它训练导航机器人,也尝试把真实世界接入仿真,再回到真实机器人操作;这些机器人只在虚拟世界中训练,却能零样本部署到真实世界,团队正结合Atlas深化这项工作。李飞飞还提到斯坦福BEHAVIOR挑战赛已进入第二年,获奖者将在次日公布,今年出现了包括生成式AI在内的新方法;World Labs团队和斯坦福学生团队共有6篇论文进入CoRL。
演讲结束后,李飞飞与苏姿丰进行了炉边对话,话题涉及算力、机器人以及她所称“这个时代最大的失误”。这是AMD收购World Labs后两人的首次同台,也构成这场CoRL亮相之外的另一条新闻线索。











