北京时间11月20日,谷歌公布了一项名为《Harnesses That Improve Themselves》的研究。该研究关注的并非底层模型训练,而是AI智能体外部运行框架的自我调整能力。所谓Harness,是围绕模型搭建的一套执行结构,用于管理上下文、调用工具、检查任务结果,并判断何时结束运行。
研究团队指出,同一套Harness放在不同AI模型上,效果可能差别很大。针对某个模型调好的框架,换到另一个模型后,可能出现任务卡住或Token消耗过高等情况。为此,他们提出让优化模型直接修改代码,从而改善智能体执行效率,而不是只改提示词。
实验中使用的编程智能体Harness只有142行代码,被拆成四个可编辑模块。每轮优化仅改动其中一个模块,之后在验证集上测试效果,并设定Token使用上限。只有通过验证要求的改动才会保留,否则直接放弃。
在40道未参与优化的SWE-bench Lite软件工程任务上,研究人员使用Gemini 3.8 Flash模型进行测试。初始Harness只能完成5.0%的任务;加入模块化优化和验证筛选后,成功率升至40.0%,平均每项任务消耗约4.67万Token。
另一组对照中,优化模型可以不受限制地整体重写Harness,任务成功率达到42.5%,略高于模块化方案,但平均每项任务Token消耗约45.16万,接近前者的10倍。还有一项对比发现,如果只靠提示词规则约束智能体行为,任务成功率反而降至2.5%。
这些结果说明,智能体运行框架越复杂,并不必然带来更高执行效率。整体重写虽然成功率略高,但Token成本大幅上升;逐个模块优化并设置验证门槛,更有助于在任务表现和计算成本之间保持平衡。
研究还提到,智能体的重要运行约束应尽量落实为代码机制,而不是完全依赖提示词。例如,对每次修改自动测试,并把任务成功率和Token消耗作为是否接受修改的依据,可以减少无效优化造成的资源浪费。
随着AI智能体从简单问答转向软件开发、多工具调用和复杂任务执行,Harness对模型实际表现的影响正在上升。该研究给出的思路是,不重新训练底层模型,也可能通过改进外围执行框架,提高任务完成率和Token使用效率。目前结果主要来自特定模型和40道软件工程测试任务,相关方法在更多模型、不同类型智能体任务及长期运行环境中的效果仍需验证。









