卡内基梅隆大学与斯坦福大学联合开展的一项研究指出，当前人工智能智能体的开发方向存在显著偏差，其应用场景过度集中于编程领域，对其他行业覆盖严重不足。研究人员通过对比43个智能体基准测试与美国劳动力市场数据发现，现有开发模式仅覆盖了7.6%的就业岗位，而管理、法律等数字化程度较高的领域反而被边缘化。
该研究依托美国劳工部O*NET数据库，将72342项测试任务映射至1016种职业类别。数据显示，管理类工作数字化率达88%，但在基准测试中仅占1.4%；法律行业数字化率70%，占比不足0.3%；建筑与工程领域数字化率71%，占比同样只有0.7%。这些领域虽面临目标模糊、成果验证周期长等技术挑战，但研究人员认为其具备短期提升生产力的潜力。
从经济价值维度分析，管理、法律等高收入行业在基准测试中的占比与其创造的资本价值严重失衡。与此同时，个人服务、护理等劳动密集型低薪行业也几乎未被纳入开发视野。研究人员构建的技能分类体系显示，现实工作需要信息获取、思维处理、人际互动、工作成果四类技能的均衡运用，但智能体测试仅聚焦前两类，覆盖就业市场不足5%，人际互动类任务则鲜有涉及。
这种偏差源于开发方法的技术便利性。研究人员指出，易于编写指令和验证结果的领域获得过度关注，导致资源分配偏离社会经济效益最大化的方向。OpenAI的GDPval基准测试因覆盖32个专业领域被树为正面案例，该测试专门设计用于评估智能体对知识工作的实际影响，尽管规模较小但领域覆盖广泛。
在自主性评估方面，研究团队提出量化指标：以分层工作流步骤数衡量任务复杂度，结合成功率计算智能体自主处理能力。测试显示，即便在软件开发领域，任务复杂度提升也会导致成功率骤降。智能体在独立思维处理和成果产出方面表现较好，但在信息检索和人机协作等基础环节仍存在明显短板。
对比实验表明，OpenHands框架在中等复杂度任务中优于SWE-agent，Claude模型表现优于GPT，但研究人员强调这些结论不适用于所有复杂度级别。他们呼吁开发方公开智能体运行轨迹数据，以便开展系统性对比分析。针对基准测试设计，研究提出三大原则：优先覆盖数字化程度高但开发不足的领域；任务设计需反映真实工作场景的复杂性；建立中间检查点实现精细化评估。
现实应用数据印证了研究结论。Anthropic公司对数百万次人机交互的分析显示，软件开发占智能体工具调用的近50%，其他行业占比均不足5%。加州大学伯克利分校的研究也指出，企业目前仅将智能体作为简单受控工具使用，系统可靠性仍是制约自主操作的主要障碍。该研究提供的分析框架和工具包，可帮助开发者识别覆盖缺口并优化改进方向。
