北京时间11月20日,谷歌发布论文《Harnesses That Improve Themselves》(《能够自我改进的Harness》),讨论 AI 智能体如何通过优化自身运行框架来增强任务执行能力。
Harness 被描述为模型外围运行体系,承担上下文管理、工具调用、结果检查以及停止条件判断等工作。研究团队注意到,同一 Harness 用于不同模型时效果不一致,迁移后可能停止推进,或消耗过多 Token。
为解决这个问题,论文提出让优化模型直接改动代码,而不是只调整提示词,从而形成可自我改进的 Harness 框架。
实验中的编程智能体 Harness 仅 142 行代码,被拆成四个可编辑模块。每轮只改一个模块,随后在验证集上测试,并设定 Token 使用上限。修改只有通过验证才会保留,否则丢弃。
测试使用 Gemini 3.8 Flash 和 40 道未参与优化的 SWE-bench Lite 软件工程任务。初始 Harness 解决 5.0% 的任务;采用模块化优化和验证筛选后,成功率达到 40.0%,平均每项任务消耗约 4.67万 Token。
另一组结果中,如果让优化模型不限范围地整体重写 Harness,成功率可达 42.5%,略高于模块化方式,但平均每项任务需要约 45.16万 Token,接近前一方案的 10 倍。
还有一项对比显示,仅依靠提示词规则限制智能体行为时,任务成功率反而降到 2.5%。这说明,提高运行框架的复杂度并不必然提高执行效率。整体重写虽然成功率稍高,但 Token 成本明显上升;逐模块优化并设置验证门槛,在任务表现和计算成本之间更均衡。
研究还提出,智能体的关键运行约束应尽量写入代码机制,而不是主要依赖提示词。比如,每次修改都自动测试,并以任务成功率和 Token 消耗决定是否接受,能够减少没有效果的优化所耗费的资源。
随着 AI 智能体从简单问答走向软件开发、多工具调用和复杂任务执行,Harness 对模型实际表现的作用越来越重要。该研究给出的方向是,无需重新训练底层模型,也可以改进模型外围执行框架,从而提升任务完成率和 Token 使用效率。
目前,研究结果主要来自特定模型和 40 道软件工程测试任务。







