近年来，随着大模型技术的快速发展，企业纷纷将内部工作流程转化为技能（Skill），希望通过添加这些技能，让模型在特定领域迅速具备专业能力。然而，随着技能数量的激增，一个关键问题逐渐浮现：安装技能是否真的能提升模型的表现？为了解答这一疑问，一项系统性实验在严格统一的评测标准下展开，对多个技能进行了深入分析。
实验设计涵盖了多个维度，包括任务级对比、成本与稳定性评估、规范性问题检测以及跨模型推理强度的可迁移性测试。在150组任务级对照中，安装技能的模型组仅以微弱优势胜出，胜率为41.3%，而未安装技能的裸模型组胜率为36.7%，平局占22.0%。这一结果打破了“安装技能必然提升效果”的直觉认知，表明技能的效果因具体类型而异。
进一步分析发现，某些技能如分析工具、多搜索引擎和图像封面生成器等，能够稳定带来正增益，而另一些技能如笔记记录器、旅行规划器和会议记录器等，表现甚至不如裸模型。关键在于，当技能能够补充模型原本不具备的能力，如提供清晰的输出结构、外部工具或具体可交付的产物时，它们才真正有用。反之，如果技能只是重复模型已有的功能，则可能成为负担。
实验还揭示了一个被称为“技能虹吸”的现象。在某些情况下，即使任务简单到裸模型足以应对，系统仍可能因语义上的相似性而调用相关技能。例如，一个关于关键词组合的简单请求，可能因包含“检索”和“关键词”等词汇而被吸进搜索类技能。这种过度调用不仅增加了不必要的上下文和计算成本，还可能使简单任务复杂化。
在成本方面，实验数据显示，安装技能后，模型的token消耗平均增加了48%，耗时平均增加了19%。尽管某些技能如旅行规划器和市场研究工具等，因提供了明确的流程和输出边界，反而降低了整体消耗，但大多数技能仍导致成本上升。实验还发现，更耗token的技能通常也更慢，但二者并非严格绑定，某些技能如健身教练和天气查询工具等，虽增加了token消耗，却未显著增加耗时。
规范性问题主要集中在技能的依赖关系、边界定义和资源组织上。实验共发现107条规范性问题，这些问题可能直接影响技能的复用、评测和自动化升级。例如，依赖关系不明确、边界定义过宽或资源引用缺失等问题，都可能导致技能在后续使用中出现故障。
稳定性风险则主要来自工具链的复杂性、外部调用的不确定性和长时间等待。实验表明，越依赖多步骤工具链、外部API或本地执行环境的技能，其稳定性问题越突出。例如，某些涉及文件格式处理或脚本执行的技能，其耗时主要受限于工具链的性能，而非语言模型本身。
实验还探索了模型推理强度对技能表现的影响。结果显示，提高模型推理强度通常能改善技能的表现，但收益分布不均。对推理强度更敏感的技能主要包括那些需要处理隐藏约束、进行细节核对或多步交付的任务，以及强创作类任务。而流程明确、结构性强的技能，如PDF提取工具和思维导图生成器等，则对推理强度的变化相对不敏感。
基于以上实验结果，专家建议技能开发者在开发过程中应首先建立裸模型基准线，以证明技能确实能带来收益；明确技能的适用边界，避免技能虹吸现象；控制上下文和资源加载，防止技能成为成本黑洞；将隐性约束写入流程，而非依赖模型自行理解；关注工具链、文件和外部服务带来的工程稳定性问题；并持续记录误触发、失败样本和异常耗时，以便像产品一样迭代优化技能。
