ITBear旗下自媒体矩阵:

机器人长程任务怎么练 光轮智能给出强化学习仿真新环境

   时间:2026-11-17 11:31:05 来源:互联网编辑:快讯 IP:北京 发表评论无障碍通道
 

机器人策略训练缺的未必是又一套算法,而是一个能反复执行任务、又能判断每次尝试是否有效的现场。围绕这一需求,光轮智能在CoRL2026期间推出RoboFinals RL Environments,面向机器人模型提供可交互的强化学习仿真环境。它没有沿用围绕单一动作搭建训练场景的思路,而是以真实工作任务为组织单位,首次展示了一段超过8分钟的汽车修理长程仿真任务。

这段任务把灵巧手操作、工具使用、多阶段流程和柔性物体交互放进同一个工作场景,涉及软管、线缆、密封垫等对象。难点不只在单个动作是否精细,更在于多种物理交互会在同一条任务链上彼此牵连。前一步造成的物体位置、姿态和接触状态变化,会延续到后续步骤,策略需要学会在不完美的中间状态上继续推进。

灵巧操作首先放大了仿真难度。多数机器人操作任务使用平行夹爪,只有开合一个自由度;灵巧手往往有十几到二十多个自由度,每根手指独立运动。动作空间维度上升的同时,手指与物体之间还会出现多个接触点,每个点的受力都要被求解。接触计算稍有偏差,物体就可能滑脱或穿透,策略在仿真里学到的抓握方式也难以成立。

长程任务则让误差随时间累积。抓取、放置一类相对独立的动作可以较快训练,但真实工作常由多段动作组合而成。把长任务拆成几段、每段从人工设定的初始状态开始,确实降低了难度,却也去掉了真实工作的关键条件:机器人无法真正承接前一步操作造成的状态变化。RoboFinals RL Envs让前后阶段相互关联,训练不再只是拼接多个独立片段。

可变形物体交互是另一层压力。软管、线缆、密封垫在仿真中要被离散成大量节点逐一计算,计算量和数值稳定性要求都高于刚体。它们的行为还取决于刚度、阻尼、摩擦等参数,参数稍有偏差,柔体就可能过软、过硬,或出现真实世界中不存在的抖动。手指接触、工具精细位姿控制、软管受牵拉后的弯曲摆动、密封垫受压后的形变,需要在连续操作中同时被处理。

这些能力要靠底层仿真底座支撑。光轮智能的全栈自研仿真底座SimFoundry覆盖“求解—测量—生成”三个环节:求解器负责把刚体、关节体和柔性体的交互算对;测量环节让物体物理参数来自真实数据;生成环节由AI Agent驱动,基于真实任务完成资产重建、物理建模和任务定义。光轮把这套标准称为RL Ready:任务语义上每个阶段有明确完成判定,物理交互上试错反馈可靠,反馈信号可直接用于训练。

物理可信要求资产在视觉和物理两个层面都接近真实,还需要高精度求解器和专家经验。行业里,做资产的人往往不碰求解器,卖仿真软件的人手里缺少真实场景,模型团队知道什么算对却未必有动力搭建环境。光轮智能的不同之处在于把这三类能力握在自己手里。它是Newton仿真技术委员会中唯一的中国公司,参与定义SimReady仿真标准,也是SimReady Central Library开源仿真资源库的核心贡献方。此前展示的线缆插拔、塑料袋抓取等任务,已经涉及柔性物体的形变、接触和状态变化。

能力凑齐之后,还要让它们咬合起来。Agentic校准工作流负责提出方向、比较结果、组织下一轮修正,仿真专家在关键节点上判断。汽车维修任务中,充气设备的软管受牵拉时会出现弯曲和摆动,初始仿真存在异常抖动。Agent连续自动化校准,逐步找到影响软管响应最大的杨氏模量参数;候选参数和轨迹出来后,人类专家再把仿真中的弯曲、摆动与实际软管表现放在一起比对。样例中,最大位置偏差缩小约3毫米,原先明显的抖动有所减轻,软管响应更接近真实。参数调整对象明确、结果可对照,使自动化校准具备可复现的基础。

环境库的扩张则取决于构建能力能否规模化。光轮智能计划让RL Envs承载更多类型、不同难度和不同任务跨度的机器人工作,环境库分布跟随真实任务分布,场景覆盖家居、工业、零售、医疗等方向;操作类型从抓取放置延伸到对准、工具使用、力控和精密闭环操作;资产类型包括刚体、关节体、柔体和流体。训练环境还需要配套评测。RoboFinals RL Envs与RoboFinals Benchmark共享任务语义、场景资产和能力定义,训练任务、奖励调参过程和评测实例则严格分开,为学习效果保留独立检验。

交付环节同样影响环境能否被模型团队真正用起来。开源工具降低了启动仿真的门槛,但资产适配、物理校准、运行检查等工作并没有消失。光轮智能把这些环节打包成可交付产品,模型团队接入策略后即可开始训练。环境能力由此不再只是某个团队内部攒出来的工作量,而成为可以采购、复用的标准件。从环境构建、校准、评测到交付,这条链路被放在同一条产品线上。

外部市场的变化也在推动这类供给升温。Mercor完成7.5亿美元D轮融资,估值达到200亿美元,运营着超过500万人的专家网络,为前沿实验室和企业供应评测与后训练数据;它还收购了Deeptune,后者用两年时间把数百个企业应用重建为训练环境。Surge AI围绕文档、电子表格、网页调研、规划和工具调用等长程办公任务构建RL环境,并用Qwen3.5-122B-A10B做后训练,模型随后在未见过的SWE-Bench Pro上提升5.7个百分点。Handshake AI则把专家、场景、RL环境和评分器结合起来,覆盖金融、生命科学、对齐等方向,其CEO对《时代》杂志称,这项业务上线约一年,年化收入达到10亿美元。这些公司的业务形态并不相同,但都指向同一变化:模型后训练所需的核心供给,正在从算法和算力扩展到任务、环境和判定方式。

当模型从数字世界走向物理世界,反馈方式也发生变化。软件智能体的动作改变文件、网页或程序状态,结果通常明确;机器人的动作牵动物体位置、姿态和接触状态,一次接触的位置、力度和结果会影响后续操作。OpenAI发布的GPT-6 Astra定位为电脑操作与编程的前沿模型,第三方评测显示,在RoboDojo的42个仿真任务上,Astra不做机器人专项微调,平均成功率22.48%,超过榜单上全部40个经过训练的机器人策略。投资人Freda Duan称其为“机器人领域的GPT-3时刻”,前OpenAI研究员Will Depue则说专用模型被“苦涩教训”了。OpenAI官方从未公布机器人跑分,真机测试也呈现明显长短板:把方块放进碗里,20次成功19次;换到精密插销任务,20次只成功2次。

这些结果把训练环境的要求推向更具体的层面:环境要承载真实工作任务,让机器人在不同初始状态下反复行动,并让关键物体对策略动作作出可信响应。真机试错受设备、任务重置和现场条件限制,难以规模化;仿真可以提供可重复条件,但前提是环境能持续给出反馈并判定结果。光轮智能此次展示中,同一任务被拆成策略迭代的不同片段:5步时机械手动作仍较抖动,尚未完成抓取;150步时策略开始尝试抓取,但螺丝在操作中滑落;175步时策略成功抓起螺丝,完成该任务步骤。训练中的试错和行为变化,被记录在可重复的仿真任务里。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version