亚马逊云科技（AWS）CEO Matt Garman曾预测，未来将有数十亿智能体（Agent）在各行各业中运行。这一愿景虽令人期待，但现实中的挑战不容忽视。MIT Project NANDA去年发布的一份报告显示，尽管企业在生成式人工智能（GenAI）领域投入了数百亿美元，仅有5%的组织成功实现规模化部署并获得显著财务回报。这种现象被称为“GenAI鸿沟”，大多数企业被困在“高采用率、低转化率”的试点阶段。
在智能体领域，同样存在类似的鸿沟。许多智能体在演示阶段表现良好，但一旦接入真实业务场景，效果便大打折扣。问题的根源可能并非模型能力不足，而是智能体需要深入具体业务场景，工程问题的重要性甚至超过模型本身。AWS最新发布的《企业生产级智能体开发部署指南》指出，传统软件工程方法对智能体失效，主要源于两者之间的三个本质差异：非确定性、Prompt即源代码、隐式依赖。
传统软件的运行逻辑是确定性的，输出结果具有可预测性。而智能体基于大模型运行，输出具有概率性，同样的输入可能产生不同的输出。传统软件的代码修改会留痕，有版本控制和静态分析工具，但智能体的自然语言提示词（Prompt）微调可能引发行为剧烈波动，且缺乏成熟工具评估改动影响。更复杂的是，智能体对底层大模型存在隐式依赖，模型提供商的后台升级可能导致服务质量变化，而代码未作任何修改。
这些差异导致传统软件的评估测试体系对智能体全面失效，企业智能体在进入生产环节时陷入停滞。那么，企业该如何突破这一困境？亚马逊全球副总裁储瑞松提出，企业在构建AI智能体时，底层技术平台可通过采购获得，但评估标准必须自主掌控。企业的核心竞争壁垒在于自有的黄金数据集和评估标准。这一观点颠覆了常规认知——模型、基础设施和开发工具均可外购，为何评估标准如此关键？
回顾软件工程发展史，上世纪60年代计算机科学的快速进步催生了软件开发生命周期（SDLC）框架的雏形。SDLC将开发工作划分为需求分析、设计、编码、测试、部署和维护等阶段。随着AI智能体承担大量开发任务，Agent开发生命周期（ADLC）方法论应运而生。与SDLC的流水线模式不同，ADLC是一个持续迭代的飞轮，涵盖定标准、开发实现、效果评估、灰度上线、持续监控和改进循环六个环节。评估既是起点，也是终点，形成闭环。
例如，企业启动智能体项目时，需先定义“好”的标准，包括智能体定义、语气与个性、工具与参数、基准数据集等。上线后，生产环境数据需持续回流至评估体系，这要求建立完善的可观测性系统（如OpenTelemetry）。系统架构也需支持评估，指南推荐三层设计：认证层确认用户身份，授权层控制智能体权限，会话隔离层确保用户互不干扰。
如何判断智能体是否达标？指南提出评估方法论的“两根支柱”：粒度与证据权重。粒度从黑盒（仅看最终响应）到玻璃盒（看完整执行轨迹）再到白盒（看单步细节），逐步深入。证据权重则分为机械验证（如格式检查）、半客观评判（如固定评估器打分）和主观默认评判（如人工或大模型判断）。两者结合形成3×3矩阵，可全方位评估智能体输出。以AWS客服智能体为例，通过“真实数据+虚拟客户模拟”的双轨评估，低成本扩展测试范围，验证意图识别准确度和多轮对话连贯性。
评估数据集的质量直接决定评估上限，企业需建设人工标注、业务验证的高质量测试集，这将成为核心资产。不同形态的智能体关注不同评估维度：客服智能体重在意图识别和对话连贯性，工具使用智能体重在工具选择和参数准确性，多智能体协作系统则关注任务拆分和执行稳定性。
AWS提供的思路仅为一家之言，智能体的开发路径可能多样。但有一点明确：智能体作为生产力工具，能否交付可衡量的业务结果，是判断其价值的最终标准。进入智能体时代，企业需面对技术与商业的双重挑战，指南虽提供方向，但成功与否仍取决于企业自身的决心与投入。
