ITBear旗下自媒体矩阵:

零真机数据纯仿真训练,韩松团队开源PEAR让27B大模型操控真实双臂机械臂

   时间:2026-11-15 18:06:46 来源:互联网编辑:快讯 IP:北京 发表评论无障碍通道
 

给它看一眼梵高的《星空》,它便操纵双臂夹爪,在白板上一笔一笔描出线稿;再往桌上摆三瓶试剂——碘水、酚酞、乙醇,问它如何判断溶液是否呈碱性,它会挑出酚酞滴进溶液,看着液体泛起粉色。完成这两件事的,是一台真实的双臂机器人,而驱动它的大脑,是一个只有 27B 参数的通用语言模型。

这个名为 PEAR(Post-training Engine for Agentic Robotics)的机器人后训练项目,出自 MIT 韩松团队。团队把开源的 Qwen3.8-27B 与一台双臂机器人相连,训练全程只在仿真环境中做强化学习——既没有采集一帧人类遥操作演示,也没有使用任何真机数据。训练结束后,模型被直接搬到一台从未见过的双臂 YAM 真机上,30 次测试拿下 18 次,而训练之前,这个数字是 0。在后续一系列对比中,它的通用性与指令执行能力还胜过了 π0.5,在 LIBERO 基准上的成绩几乎追平 Astra Max。

近段时间,随着 Fable 与 GPT-6 Astra 相继问世,「通用大模型能搞定机器人一切」的说法在开发者圈子里流行开来,不少人争相把这类模型接到机器人上尝试各种复杂任务。但问题随之浮出水面:庞大的模型规模带来了高昂的推理成本,响应延迟难以满足实时控制的要求,端侧的算力、功耗与散热也频频亮起红灯。让通用大模型在机器人上用得起、跑得动,成了摆在从业者面前的一道坎。

PEAR 给出的答案颇具巧思。研究者注意到,机械臂操作与电脑操作在本质上极为相似,差别只在于二维与三维。Computer Use 智能体的工作方式是:看一张屏幕截图,在思维链里琢磨「保存按钮在右上角」,然后吐出 click (812, 431),操作系统随之移动鼠标。PEAR 沿用了同一套逻辑:每个回合,模型接收三路摄像头画面与机械臂当前的关节状态,在思维链中分析「夹爪在橡皮正上方,把手指降到橡皮两侧」,接着输出一段 JSON,内含末端执行器的下一个目标位姿,即 x、y、z、roll、pitch、yaw 六个量。逆运动学据此算出关节角度,底层控制器驱动机械臂到位。这一回合连同新拍到的画面一起回填上下文,供下一回合决策使用。

整套系统里找不到感知模块、抓取规划器或技能库的身影。定位物体、规划路径、修正上一步的偏差,全部由模型从相机画面中自行完成。这套训练方案被团队称为 Robot-Use RL,与前沿模型学习使用电脑的路径如出一辙。

在机器人操控领域经典基准 LIBERO 上,这种路线的实力得到了印证。LIBERO 包含 Goal、Spatial、Object、Long 四个子套件,合计 2000 个评测 episode。Qwen3.8-27B 零样本只有 1.6% 的成功率,经 RL 训练后,PEAR 将这一数字拉到 74.4%。同场竞技的闭源旗舰中,GPT-6 Astra 的 medium 档为 49.3%,max 档为 76.2%;GPT-6.1 Sol 的 medium 档为 48.1%,max 档为 80.6%。PEAR 采用的是 xhigh 档。

不过,在 LIBERO 原版上,π0.5 跑出 96.9%,明显领先于 PEAR 的 74.4%。差距在两个扰动版本中发生了逆转。LIBERO-Plus 主要扰动观测条件,涉及相机角度、光照、背景与传感器噪声,两个模型的下降幅度相近;LIBERO-Pro 则直接改动任务目标和物体布局。其中两种关键扰动耐人寻味:其一是任务替换——场景、物体、初始状态完全一致,只换指令。训练时模型学的是「把碗放到盘子上」,评测时改成「把碗放到炉灶上」,π0.5 的成功率从 96.9% 坠至 0.75%,跌去 96.2 分;PEAR 从 74.4% 降到 57.4%,仅损失 17 分。其二是布局替换——指令不变,物体位置对调,完成同一句指令需要走不同的运动路径,π0.5 跌至 20.8%,掉 76.1 分;PEAR 落在 57.5%,掉 16.9 分。

当然,π0.5 在改写指令措辞、替换物体外观这两种扰动上依然占优,原因在于这两种情况下正确的运动轨迹没有变化。π0.5 记住了训练时见过的运动模式,模式适用便拿高分,模式失效则彻底失败;PEAR 则保留了基础模型的指令理解与视觉感知能力,RL 教会它根据当前画面和指令重新生成位姿。一个在模仿,一个在推理,任务条件一变,高下立判。

PEAR 的训练流程自始至终在仿真中完成,从未接触过真实机器人数据,而迁移测试从三个维度展开。第一个维度是新任务:模型在 LIBERO-Goal、Spatial、Object 上训练后,零样本于 LIBERO-Long 上取得 39.0%(底座为 0.4%),在一个长程任务套件上从近乎零能力跃升至接近四成。第二个维度是新机器人、新仿真器:RoboDojo 是一个完全不同的仿真环境,机械臂从 LIBERO 的单臂 Franka 换成了双臂 ARX。PEAR 只在 LIBERO 上训练过,从未接触 RoboDojo 或 ARX,直接在 general_pickup 上拿到 39.9%,底座为 10.7%,提升近四倍。第三个维度是新基准:仿真评测平台 RoboLab-120 收录 120 个桌面任务,分三个难度级别,每个任务评测 10 次。在 LIBERO 与 RoboDojo 上完成训练的 PEAR 跑出 37.3%,底座为 5.4%。作为参照,RoboLab 排行榜上的通才机器人策略成绩分别为:NVIDIA Cosmos3-Nano-Policy 36.8%、π0.5 28.0%、DreamZero 25.7%、GR00T N1.6 7.2%。PEAR 与 Cosmos3 几乎打平,高出其余三家。

真机环节的测试同样分为两组、共 30 次。Align blocks 组要求用三角尺把三块积木摆成一条直线,5 个场景各测 2 次,合计 10 次;General pickup 组则要抓取绳子、螺丝、遥控器、毛绒乌龟、网球、订书机、洗洁精、喷雾罐、气泵、刷子共 10 种物体,每种 2 次,合计 20 次。结果为:底座模型 Qwen3.8-27B 全军覆没,0/30;只在 LIBERO 上训过的中间检查点拿到 7/30;完整版达到 18/30,成功率 60%。

机器人操控能力植入之后,模型原有的推理、编程与视觉本领是否还在?评测结果给出了肯定答复:AIME 2026 数学竞赛测试得分 98.5,GPQA Diamond 科学知识测试得分 89.7,LiveCodeBench 代码能力测试得分 88.4;在所有视觉基准上,其与基础模型的分差均不超过 2 分。换言之,同一个模型如今既能解题、写代码、回答图像相关问题,也能操控真实机器人。

由于每一步动作之前都要走一遍思维链,解码速度直接左右着机械臂的响应节奏。PEAR 的推理栈采用 NVFP4 权重量化(NVIDIA ModelOpt),并搭配 Inco AI 的 DFlash2 drafter,平均接受长度为 3.2 token。实测解码速度为:Apple M5 Max(Inco Splash 引擎)52 tok/s;单张 RTX 5090(megakernel)221 tok/s;单张 GB300(megakernel)747 tok/s。以 GB300 为例,xhigh 档一回合思考约 4.3 秒,low 档约 1.1 秒。模型训练时只用过 xhigh 档,但推理时 effort 依然可调:low 档的思考 token 约 0.86k(xhigh 约 3.23k),LIBERO 成功率相应从 74.4% 降至 21.9%,成功率与思考量基本成正比。

一个带思维链的 27B 机器人模型,在一张消费级显卡上就能实时驱动机械臂,这件事的实用价值恐怕不亚于 60% 的真机成功率本身。在行业习惯于用更大的模型、更多的数据和更贵的算力换取机器人智能的当下,PEAR 提供了另一个选项:机器人未必需要一个专门训练的庞大「大脑」,靠相对轻量的通用模型,同样可以获得足够实用的操作能力。

目前,PEAR 的论文、代码、模型权重与博客均已公开,地址分别为 https://mit-han-lab.github.io/pear-blog/paper.pdf、https://github.com/mit-han-lab/pear、https://huggingface.co/collections/mit-han-lab/pear 以及 https://mit-han-lab.github.io/pear-blog/。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version