ITBear旗下自媒体矩阵:

AI智能体运行框架可自我优化 模块化改动兼顾成功率与成本

   时间:2026-11-20 22:25:27 来源:互联网编辑:快讯 IP:北京 发表评论无障碍通道
 

北京时间11月20日,谷歌公布了一项名为《Harnesses That Improve Themselves》的研究。该研究关注的并非底层模型训练,而是AI智能体外部运行框架的自我调整能力。所谓Harness,是围绕模型搭建的一套执行结构,用于管理上下文、调用工具、检查任务结果,并判断何时结束运行。

研究团队指出,同一套Harness放在不同AI模型上,效果可能差别很大。针对某个模型调好的框架,换到另一个模型后,可能出现任务卡住或Token消耗过高等情况。为此,他们提出让优化模型直接修改代码,从而改善智能体执行效率,而不是只改提示词。

实验中使用的编程智能体Harness只有142行代码,被拆成四个可编辑模块。每轮优化仅改动其中一个模块,之后在验证集上测试效果,并设定Token使用上限。只有通过验证要求的改动才会保留,否则直接放弃。

在40道未参与优化的SWE-bench Lite软件工程任务上,研究人员使用Gemini 3.8 Flash模型进行测试。初始Harness只能完成5.0%的任务;加入模块化优化和验证筛选后,成功率升至40.0%,平均每项任务消耗约4.67万Token。

另一组对照中,优化模型可以不受限制地整体重写Harness,任务成功率达到42.5%,略高于模块化方案,但平均每项任务Token消耗约45.16万,接近前者的10倍。还有一项对比发现,如果只靠提示词规则约束智能体行为,任务成功率反而降至2.5%。

这些结果说明,智能体运行框架越复杂,并不必然带来更高执行效率。整体重写虽然成功率略高,但Token成本大幅上升;逐个模块优化并设置验证门槛,更有助于在任务表现和计算成本之间保持平衡。

研究还提到,智能体的重要运行约束应尽量落实为代码机制,而不是完全依赖提示词。例如,对每次修改自动测试,并把任务成功率和Token消耗作为是否接受修改的依据,可以减少无效优化造成的资源浪费。

随着AI智能体从简单问答转向软件开发、多工具调用和复杂任务执行,Harness对模型实际表现的影响正在上升。该研究给出的思路是,不重新训练底层模型,也可能通过改进外围执行框架,提高任务完成率和Token使用效率。目前结果主要来自特定模型和40道软件工程测试任务,相关方法在更多模型、不同类型智能体任务及长期运行环境中的效果仍需验证。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version