近期，麻省理工学院（MIT）的研究团队在机器人领域取得了重大进展，他们开发出一种创新的基于视觉的深度学习方法，使得软体机器人和仿生机器人仅凭单个摄像头便能学习运动与控制技巧。这一研究成果已于6月25日在《自然》杂志上发表。
传统的工业机器人尽管在建模和控制方面表现出色，但其刚性的结构设计却限制了它们在狭窄或复杂地形中的灵活性。相比之下，软体机器人和仿生机器人以其出色的环境适应能力而著称，然而，它们通常需要依赖大量的传感器和定制化的空间模型来实现有效运作。
MIT的研究团队通过引入深度学习技术，巧妙地解决了这一难题。他们的新系统仅需一个摄像头来捕捉机器人的运动画面，并结合一种名为“神经雅可比场（NJF）”的先进技术，使机器人能够通过视觉反馈来建立对自身形态和运动能力的理解。这一创新方法为机器人提供了更为直观和自主的学习方式。
为了验证这一方法的有效性，研究团队对多种类型的机器人进行了长达2至3小时的多视角随机运动视频训练。通过这一过程，神经网络成功地学会了仅通过单帧图像来重建机器人的三维形态和运动范围。这一成果在气动软体机械手、奥利格罗机械手（拥有16个自由度）、3D打印机械臂以及低成本的Poppy机械臂等测试中均得到了验证。
测试结果显示，这些机器人在关节运动上的误差小于3度，指尖控制的误差小于4毫米，并且具备适应环境动态变化的能力。MIT的助理教授文森特·西茨曼表示，将视觉作为弹性传感器为机器人在农场、工地等非结构化环境中的应用开辟了新的可能性。CSAIL的主任丹妮拉·罗斯也补充道，视觉反馈使系统能够建立自身运动动力学的内部模型，从而在传统定位方法失效的情况下实现自监督操作。
