北京时间11月20日,谷歌发布了一项关于AI智能体运行框架的研究,论文名称为《Harnesses That Improve Themselves》。研究关注的是Harness,即围绕AI模型搭建的执行框架,它负责上下文管理、工具调用、结果检查以及停止条件判断。
研究人员指出,同一套Harness放到不同AI模型上,效果可能相差很大。为某个模型调好的框架,换到另一个模型后,可能让任务卡住,或者消耗更多Token。为此,他们提出可自我改进的Harness思路:由优化模型直接修改代码来改善智能体效率,而不是只改提示词。
实验使用的编程智能体Harness只有142行代码,被拆成四个可编辑模块。每一轮优化仅允许改动其中一个模块,之后在验证集上测试效果,并设定Token使用上限。通过验证的修改才会保留,不满足条件的版本会被放弃。
测试选用Gemini 3.8 Flash模型,任务集为40道未参与优化的SWE-bench Lite软件工程题。初始Harness的成功率为5.0%;经过模块化优化和验证筛选后,成功率提高到40.0%,平均每道任务消耗约4.67万Token。
研究还对比了另一种做法:让优化模型不受限制地整体重写Harness。它的任务成功率是42.5%,比模块化方案略高,但平均每道任务要消耗约45.16万Token,接近前者的10倍。只靠提示词规则约束智能体行为时,成功率反而下降到2.5%。
这些数据说明,智能体运行框架越复杂,并不一定越高效。逐个模块修改并设置验证门槛,能在任务表现与计算成本之间取得较好平衡。
研究强调,重要运行约束应尽量写进代码机制,而不是只依赖提示词。例如,每次修改都自动测试,并把任务成功率和Token消耗作为是否接受修改的判据,可以减少无效优化带来的资源浪费。
随着AI智能体从简单问答走向软件开发、多工具调用和复杂任务执行,Harness正在成为影响模型实际表现的关键环节。该研究给出的方向是,不重新训练底层模型,而是改进模型外围的执行框架,以提高任务完成率和Token使用效率。
目前,相关结果主要来自特定模型和40道软件工程测试任务,尚未覆盖更多模型、不同类型智能体任务以及长期运行环境。
















