当快递分拣中心的机器人精准地将包裹送入对应货架,当维修人员戴上AR眼镜就能看到虚拟图纸与机械零件完美重合,这些令人惊叹的场景背后,都依赖于一项名为6D位姿估计的关键技术。这项技术让机器不仅能感知物体的三维位置,还能精确识别其空间姿态——就像人类能瞬间判断杯子是正放还是倒置、距离自己多远一样,机器正在获得类似的视觉空间理解能力。
在工业制造领域,机械臂需要精确识别零件位置和角度才能完成组装;自动驾驶汽车必须实时感知周围车辆的方位和朝向;增强现实应用则依赖将虚拟物体与真实场景无缝融合。然而,传统6D位姿估计技术面临重大挑战:预扫描的CAD模型往往缺失,多角度拍摄不切实际,单视角重建又存在尺度模糊问题。尽管学界早已认识到单幅图像实现可靠6D位姿估计的重要性,但长期以来这被视为几乎不可能完成的任务。
北京智源研究院联合清华大学、南洋理工大学等机构提出的OnePoseViaGen框架,为破解这一难题开辟了新路径。该框架创新性地将单视图3D生成技术与生成式领域随机化相结合,仅需单张参考图像即可实现未知物体的高精度6D位姿估计。这项突破性技术采用"单视图3D生成-尺度位姿联合优化-生成式领域增强"的端到端解决方案,彻底改变了传统需要多视角或预建模的限制。
技术实现过程分为三个关键阶段。首先通过实例分割工具(如SAM 2)精准提取目标物体,消除背景干扰;接着利用Image-to-Normal工具获取物体表面法线信息,这些反映物体凹凸结构的向量数据与RGB图像共同输入改进型Hi3DGen模型;最终生成归一化的3D纹理网格模型。这个保留物体精细特征的模型虽无实际物理尺度,但为后续处理奠定了基础。
针对单视图重建的尺度模糊难题,研究团队设计了"粗精两步对齐"策略。粗对齐阶段通过多视角渲染和2D特征匹配,结合深度信息与PnP算法估算初始位姿和模糊尺度,再通过优化3D点云重投影误差确定精确全局尺度;精对齐阶段采用类似FoundationPose的迭代优化框架,不断渲染比较并预测位姿增量,同步优化尺度直至收敛。这种创新方法成功解决了归一化模型与真实世界的尺度对齐问题。
为弥合生成模型与真实图像的域差异,研究团队引入文本引导的生成式领域随机化技术。该技术为同一物体生成多种纹理变体(如花纹、纯色、磨砂等不同外观的杯子),在虚拟环境中模拟不同光照、背景和遮挡条件,构建大规模合成数据集。用这些数据微调位姿估计网络后,系统对真实场景的适应能力显著提升,尤其在低纹理、高遮挡等复杂条件下表现优异。
实验验证环节,该技术在YCBInEOAT等主流6D位姿估计基准数据集上表现突出,ADD指标平均精度达81.27%,较基线方法提升近一倍。在复杂光照和高遮挡场景测试中,系统同样保持高鲁棒性。更令人瞩目的是真实机器人实验:搭载灵巧手的ROKAE机械臂和AgileX PiPER双臂机器人,在15类物体的单臂抓取-放置和双臂协作任务中,30次实验成功率极高,精度达到亚厘米级,即使在动态遮挡场景下也能稳定工作。
这项突破对多个领域具有变革意义。工业生产线可快速适应新产品,无需预先建立精细3D模型,大幅降低自动化改造成本;物流机器人能处理各种形状尺寸的包裹,实现真正柔性分拣;家庭服务机器人可快速学习新物体,准确理解"拿红色杯子"等指令;文化遗产保护领域则能通过简单拍照获取文物精确三维信息。相较于传统需要精密传感器和复杂校准的6D位姿估计技术,OnePoseViaGen仅需单张照片即可实现高精度估计,这种"降维打击"式的创新为其大规模应用开辟了广阔前景。