在机器人技术迈向“理解世界”与“预测世界”的进程中,一个关键问题逐渐浮现:当模型真正进入物理环境时,它们如何感知世界、执行动作,并确认自身与环境的交互状态?数据与本体设计分别回应了前两个问题,而第三个问题的答案指向触觉——这一曾被忽视的感知维度,正成为推动机器人灵巧操作突破的核心要素。
近期,一支来自哈尔滨工业大学(深圳)的研究团队提出了名为TouchWorld的触觉世界模型,为机器人赋予了“预测接触”与“实时修正”的双重能力。该模型不仅让机器人能够预判操作过程中手部与物体的接触状态,还能通过高频触觉反馈动态调整动作,从而在真实场景中实现更稳定的操作。这一突破标志着机器人从“观察世界”向“感知并操作世界”的跨越迈出了关键一步。
TouchWorld的诞生并非孤立事件,而是建立在团队此前两项技术积累之上。其前序工作EgoTouch聚焦于触觉数据的采集难题,通过整合第一人称视角视频、腕部视觉、手部姿态及双手压力图,构建了一套覆盖刚性物体抓取、柔性物体操作、工具使用等任务的视觉-触觉数据集。而TouchAnything则进一步探索触觉数据的低成本扩展路径,利用少量带触觉标注的人类操作视频,训练模型从纯视觉数据中推断接触区域与压力分布,将触觉监督规模提升至互联网视频量级。
这三项技术形成了一条完整的技术链路:从触觉数据的原始采集,到触觉信息的低成本增广,最终将触觉融入机器人的世界模型与操作策略。沿着这一路径,研究团队创立了破晓智能公司,致力于构建覆盖“数据-模型-控制”的人形机器人全身移动灵巧操作体系。公司名称“破晓”寓意着突破当前技术混沌状态的决心——在触觉数据缺失、世界模型不完善、反馈控制不精准的当下,通过触觉感知的整合,串联起机器人从感知到行动的全链条能力。
传统机器人学习依赖真机采集数据,但这种方法成本高昂且场景覆盖有限。近年来,人类操作视频因其连续性与任务结构完整性,逐渐成为机器人学习的重要数据源。研究表明,结合大规模人类数据预训练与少量真机数据微调,可显著提升机器人在复杂任务中的成功率。然而,单纯依赖视觉数据存在明显局限:手指的接触位置、施力大小、物体滑动状态等关键信息,难以通过图像单独解析。这正是TouchWorld引入触觉的核心动机——让机器人不仅“看到”操作过程,更能“感知”操作细节。
TouchWorld的技术架构分为三层:高层负责任务规划与触觉目标预测,中层生成基础动作序列,底层则通过高频触觉反馈实现实时修正。以按压喷壶按钮为例,视觉信号难以区分“手指接触按钮”与“按钮被成功按下”的状态差异,而触觉目标预测可明确“成功按压”对应的接触区域与压力阈值。在操作过程中,若物体发生滑动或抓握不稳,底层模块会以四倍于中层的频率输出动作修正量,确保接触稳定性。这种“预测-修正”的闭环机制,使机器人能够像人类一样,根据实时触感调整操作策略。
在真实机器人测试中,TouchWorld完成了浇花、桌面清理、电源插头插入等六项任务。实验数据显示,在无干扰场景下,其平均成功率达65.0%;在人为扰动场景下,成功率仍保持57.2%,较现有最优方法提升超15个百分点。尽管这一成绩尚未达到大规模应用标准,但验证了触觉目标预测与高频反馈对操作稳定性的关键作用。例如,在擦锅任务中,机器人需持续调节压力以避免刮伤表面;在抽纸巾任务中,柔性物体的稳定拉取依赖触觉反馈的即时修正——这些场景均凸显了触觉感知的不可替代性。
触觉灵巧操作的突破,不仅依赖算法创新,更需解决一系列工程难题。当前,高自由度灵巧手的触觉数据采集仍面临挑战:触觉手套易损坏、传感器噪声大、不同设备数据表示不统一等问题,制约着触觉技术的规模化应用。为破解这一困局,破晓智能正在搭建多模态数据采集平台,通过整合第一人称视觉、腕部视角、手部姿态、全掌触觉及全身运动信息,构建低成本、无感化、全场景的数据采集体系。这一基础设施的完善,将为触觉估计模型与世界模型的训练提供更丰富的数据支持。
从EgoTouch到TouchWorld,研究团队逐步构建起“感知-仿真-决策-控制”的完整技术栈。其终极目标并非开发单一触觉模型,而是打造一套支持人形机器人全身移动灵巧操作的系统解决方案:通过触觉数据采集平台夯实基础,利用触觉估计模型扩展数据规模,借助触觉世界模型预测接触状态,最终通过全身控制模型实现感知、移动与操作的深度融合。这一体系将推动机器人从“桌面操作”向“移动灵巧操作”演进,在复杂场景中完成“走近-抓取-操作”的全流程任务。
在家庭服务、工业制造等领域,机器人需具备精准的触觉感知能力:判断物体是否抓稳、识别接触面的材质特性、调整施力以避免损坏……这些需求无法通过视觉或语言单独满足。破晓智能的技术路径,为机器人赋予了“手感”这一人类操作的核心能力。随着触觉数据采集成本的降低与模型泛化能力的提升,未来的人形机器人或将真正实现“触觉驱动”的智能操作,在物理世界中展现出更接近人类的灵活性与适应性。











