一场围绕自我蒸馏的统一评测,把十种方法从各自论文的舒适区拉到同一张实验桌上。组织者没有再造第十一种方法,而是先复现、再对齐任务、模型和评测标准,最后比较。十一种方案各自跑过十二个“任务×模型”组合,共完成132次完整训练,消耗12124.4个H800 GPU小时,覆盖四个智能体环境和三种模型尺寸,训练过程中记录2772次验证检查,并做了1152次重复评测。
自我蒸馏要处理的是反馈太稀。智能体完成多步任务时,强化学习往往只在终点给一个结果,失败之后很难判断是哪一步出了问题。自我蒸馏让学生模型照常行动,同时让一个能接触训练专属信息的老师模型对每一步打分,把终点信号拆成更细的指导。老师与学生使用同一骨架,区别在于老师能看到技能提示或未来观测,而学生在部署时看不到这些内容。
方法论文对稳健性的交代并不充分。论文统计十篇代表性工作后发现,只有1篇认真做了重复评测,5篇分析过训练失败,3篇报告了计算成本,同时完成三项的为零。各篇都在说“超过基线”,但随机种子、训练崩溃和算力开销披露不足,读者很难判断优势是否稳固。
评测设置覆盖ALFWorld、ScienceWorld、Search-QA和WebShop。ALFWorld要求智能体按文字指令完成家务,ScienceWorld要求做科学实验,Search-QA包含NQ、TriviaQA、HotpotQA等七个数据集共3125道题,WebShop要求在模拟购物网站中选出符合要求的商品。模型使用Qwen3.5的2B、4B、9B三档。GRPO作为唯一不借助老师信息的基准,十种方法包括GRPO+OPSD、SDAR、Skill-SD、RLSD、OCSD、OVCSD、AgentOPSD、ADRS、ICSD和PCSD,路线涉及辅助损失、调整优势值、重设奖励与优势计算,以及让学生学习老师验证过的后续轨迹。
十二个组合取平均后,只有PCSD和AgentOPSD高于GRPO,分别多4.58分和1.66分。其余八种平均低于GRPO。十个补充方案中八个在统一条件下没有跑赢最朴素的基线,这与各论文自述形成明显反差。
胜场数会制造另一种错觉。ICSD在十二个设置中七次赢GRPO,但在4B模型WebShop上成功率为0.00%,整体均分44.75,低于GRPO的49.68。GRPO+OPSD赢六次,平均43.05;它在4B ALFWorld上仅1.52%,同一设置GRPO为82.05%。小幅落后和彻底失能都被记成一次失败,但代价完全不同。领先者也不固定:ALFWorld三档分别由Skill-SD、RLSD、ICSD领先;ScienceWorld由OVCSD、OCSD、GRPO领先;WebShop只有GRPO+OPSD在三档都领先。
终点分数还可能掩盖训练中的崩溃。4B ALFWorld上,AgentOPSD第35步达到60%,第45至70步连续六次检查点不超过4.3%,第100步又回到79.3%。同一任务上,GRPO+OPSD第20步为39.3%,第25至40步归零,最终2.1%。只看最后分数,一个像成功,一个像失败,中间的大段失能都不会出现在成绩单上。
把整条验证曲线纳入后,排名会变。以曲线下面积衡量持续表现,PCSD终点第一但AUC第二;OCSD AUC第一而终点仅第四;AgentOPSD终点第二,AUC却第九,低于GRPO。十二个设置中有9次出现从峰值到终点至少20个百分点的下滑。OCSD在4B ALFWorld第60步达85.0%,终点降至51.4%,最后三次检查点平均50.5%。高终点分数可能来自一条颠簸甚至倒退的训练轨迹。
算力账同样不轻松。统一用8张H800训练后,120组方法对GRPO的比较中,112组需要更多净训练时间;其中58组分数更低,7组打平。PCSD平均多花17%时间,AgentOPSD多19%,OVCSD多37%却未带来整体提升。更多计算没有自动转化为更强智能体。
把时间预算拉平后,部分优势消失。AgentOPSD在ALFWorld跑满100步均分68.10%,高于GRPO的58.10%;但在GRPO完整训练所需时间内,AgentOPSD只到37.63%,低于GRPO。PCSD在WebShop跑满为73.17%,同等时间预算下为63.83%,仍低于GRPO的68.20%。这说明某些提升建立在额外训练时长上。
数值异常并不能解释全部问题。诊断显示,多数表现糟糕的训练梯度记录正常,没有普遍出现无穷大或非数值。问题可能更深:老师掌握的额外信息究竟是在帮学生,还是把指导带偏。十篇方法论文中仅一篇重复评测这一事实,也让随机种子带来的不确定性难以被外部看见。老师给出的额外信息到底在帮忙还是添乱,仍没有明确答案。









