英伟达研究团队近日发布了一项名为Lyra 2.0的创新系统，该系统能够仅凭单张照片生成覆盖约90米范围的连贯3D环境，有效解决了现有模型在长距离漫游时出现的画面扭曲和场景遗忘问题。这一突破为机器人仿真训练和虚拟场景构建提供了新的解决方案。
在AI生成3D场景领域，虚拟摄像机长距离移动后画面色彩与结构扭曲、返回已探索区域时模型重新构建环境等问题长期存在。这些问题不仅影响视觉体验，还限制了3D场景在机器人训练等实际应用中的效果。英伟达团队针对这些痛点，开发了Lyra 2.0系统。
Lyra 2.0的核心创新在于其独特的记忆管理机制。系统通过存储每一帧的3D几何数据，当摄像机再次进入已探索区域时，能够直接调取历史空间信息作为参考，避免了重复生成导致的场景不一致问题。这一机制显著提升了3D环境的连贯性和稳定性。
针对误差累积导致的画面扭曲问题，研究团队采用了一种自监督训练方法。在训练过程中，模型被故意暴露于自身有缺陷的输出，从而学会识别并纠正质量下降的部分，而不是简单地将错误传递下去。这种方法有效减少了生成过程中的误差累积，提升了整体画面质量。
基准测试结果显示，Lyra 2.0在图像质量、风格一致性和摄像机控制等多个关键指标上均优于GEN3C、Yume-1.5、CaM等六种竞品模型。其Fast版本在保持相当质量的同时，视频生成速度提升了约13倍，显著提高了效率。
生成的3D场景不仅支持交互式探索，还可导出为网格格式，兼容Nvidia Isaac Sim等主流物理引擎。这意味着机器人训练可以完全在虚拟环境中进行，无需采集真实世界的3D数据，大大降低了训练成本和时间。
