当人工智能助手被塞入大量“技巧包”和“知识库”后，本应变得更聪明，但实际效果却常常适得其反。这一现象引发了科研人员的深入探究。2025年，Anthropic公司推出了一项名为“技能”（Skills）的功能，旨在通过提供标准化操作指南，帮助AI智能体更高效地完成任务。然而，随着研究的深入，人们发现技能包的实际作用机制远比想象中复杂。
各大科技公司纷纷效仿这一模式，为AI配备技能包后，任务成功率确实有所提升。但研究人员指出，单纯关注成功率数字的增长，掩盖了技能包发挥作用的深层机制。例如，同一份技能对某些任务效果显著，对另一些任务却可能适得其反。来自普林斯顿大学、斯坦福大学等机构的研究团队，通过系统实验拆解了技能包的实际作用路径。
研究团队设计了一个精密的三方对照实验：让AI在相同任务中分别采用三种策略——完全无先验经验的“裸跑”模式、直接使用原始执行记录的“工作流记忆”模式，以及使用标准化技能文档的“技能”模式。实验覆盖了终端命令行操作、技能复用测试等三大基准平台，使用的AI组合包括Codex与GPT-5.3-Codex等主流模型。
实验结果显示，技能组的成功率达到61.9%，显著高于裸跑组的59.1%，而工作流记忆组的表现最差，成功率仅为55.9%。这一反直觉的结果表明，未经提炼的原始执行记录不仅无助于提升性能，反而可能因包含大量探索性尝试和错误路径而干扰AI判断。研究团队特别指出，技能包与工作流记忆使用完全相同的原始素材，差异仅在于信息呈现方式。
进一步分析发现，技能包发挥作用的关键在于“程序锚定”机制——通过提供标准化的操作步骤和检查清单，帮助AI稳定执行流程。这种机制占技能生效原因的65.7%，而单纯的知识注入仅占4.5%。研究人员比喻称，这类似于给新手维修工提供操作卡片而非机械原理教科书，重点在于规范执行顺序而非补充理论知识。
在失败模式分析中，研究团队将问题细分为三大类：执行层失败、调用层失败和算法层失败。数据显示，技能包使环境配置错误等执行层问题的发生率显著降低，例如环境基础设施故障的发生率从裸跑组的5.3%降至技能组的0.2%。但算法逻辑错误等根本性问题仍未得到有效解决，表明技能包擅长规范操作流程，却无法替代核心算法设计。
技能包的引入也带来了新的挑战。实验发现，10%的失败案例源于AI机械套用技能步骤而忽视任务特殊条件，这种“技能指导误用”在裸跑组中几乎不存在。相反，工作流记忆组因包含大量冗余信息，导致10.6%的案例出现超时问题。这表明技能包的效果取决于多重因素：经验提炼的抽象层级、与当前环境的匹配度，以及AI的动态调整能力。
跨平台迁移实验揭示了技能包的另一重价值。当将在Codex模型上训练的技能直接应用于Gemini系统时，任务成功率最高提升30个百分点。这种可迁移性源于技能包已提炼为与具体框架无关的操作逻辑，类似于通用菜谱可适用于不同厨具。相比之下，包含大量框架特有细节的工作流记忆则难以跨平台复用。
研究还发现，技能生成过程中是否标注成功/失败案例对效果影响巨大。当训练素材包含失败案例时，有标注的技能包成功率比无标注版本高出34个百分点。这凸显了标签系统的重要性——只有明确区分成功经验与失败教训，技能生成器才能提炼出真正有效的操作规范。
为确保研究结论的可靠性，研究团队构建了严谨的验证体系。通过对8135条执行记录进行开放式编码，归纳出12类行为分类标准，并经人工核查确认标签准确性。这种精细化标注使得研究者能够精确对比不同条件下AI的行为差异，例如明确量化技能包如何减少了特定类型的执行错误。
尽管实验主要聚焦于命令行操作等场景，使用的AI模型也存在局限性，但研究结论仍具有重要启示：技能包的核心价值不在于增加信息量，而在于将混乱经验转化为稳定的行为指南。这种转化过程既创造了价值，也埋下了风险——技能包的有效性高度依赖于AI的正确识别、动态调用和环境适配能力。
