数据科学领域正经历一场由人工智能驱动的变革，但最新研究显示，人类专家的核心价值仍不可替代。明尼苏达大学多学科团队在arXiv平台发布的预印本论文（编号：arXiv:2603.19005v1）中，通过系统性实验证明，在需要专业领域知识的复杂任务中，AI智能体的表现显著落后于人类数据科学家。这项研究通过创建名为AgentDS的基准测试平台，对29支参赛队伍的80名参与者进行了为期十天的竞赛评估，揭示了人机协作的独特优势。
研究团队设计的17个挑战任务覆盖电商、医疗、制造等六大领域，每个任务均要求结合行业知识才能取得优异成绩。例如在医疗健康领域，参赛者需将患者生命体征与医学标准范围对比，构建反映生理稳定性的特征指标；食品生产领域则要求分析产品图像与微生物生长数据的相关性。这些任务刻意设置了多模态数据障碍，除表格数据外，还包含图像、文本和结构化文件等复杂信息源。
实验结果呈现明显分化。直接使用GPT-4o的基线系统仅获0.143分，在29支队伍中排名第17位，甚至低于人类参赛者的中位数表现。升级版Claude Code智能体系统虽取得0.458分，但与顶尖人类团队仍存在显著差距。特别在零售银行领域，GPT-4o得分归零，电商领域也仅得0.021分，暴露出AI处理多模态数据的严重缺陷。研究人员指出，AI系统过度依赖标准化流程，在需要创新思维的任务中表现乏力，例如某团队尝试的完全自主多智能体框架，因提示工程成本过高而被迫放弃。
人类专家的优势体现在四个关键维度。战略性问题诊断能力使顶尖团队能够识别模型校准偏差、数据分布差异等结构性问题；领域知识注入能力让医疗团队构建出反映临床流程的特征指标；批判性筛选能力帮助参赛者过滤AI生成的过度复杂方案；综合判断能力则使他们能超越验证分数，评估模型的泛化风险。某团队在17个挑战中验证发现，基于领域知识的特征工程始终优于自动化处理，这一结论直接挑战了AI完全自主化的技术路线。
人机协作模式展现出超越单方的效能。成功团队普遍采用"人类决策+AI执行"的分工策略：人类负责特征工程选择、模型比较策略等核心决策，AI则承担数据加载、初步分析等计算密集型任务。这种迭代反馈循环中，人类始终掌控战略方向，AI加速实现过程。例如某制造业团队通过人类诊断数据分布偏差，指导AI调整特征提取方式，最终将模型准确率提升37%。研究显示，这种协作产生的解决方案质量，超过任一方单独工作的效果总和。
基准测试设计凸显三大创新。领域特异性复杂度要求任务必须依赖专业洞察，通用方法仅能达到基线水平；多模态整合引入图像、文本等异构数据，贴近真实业务场景；现实世界可信度通过合成数据生成过程实现，该过程严格遵循行业数据关系模型。数据生成包含领域研究、数据合成、难度校准和文档验证四个阶段，确保挑战任务既反映真实问题，又具备可评估性。
评估体系采用分位数评分法，将不同指标的性能标准化为0-1量表。参与者按挑战排名获得分位数分数，领域分数为该领域挑战得分的平均值，总体分数则是六个领域分数的均值。这种层次聚合机制确保每个挑战贡献相等，破平局规则则鼓励深思熟虑的提交策略。竞赛期间，某团队通过优化提交顺序，在相同得分情况下凭借提交效率优势提升排名。
实际竞赛组织兼顾公平性与真实性。29支参赛团队需在十天内完成挑战，每队每任务最多提交100次方案。AI基线系统包含直接提示和智能体编程两种模式，前者通过单次交互生成完整代码，后者可迭代改进方法但需固定时间预算。人类参赛者的代码分析显示，成功团队普遍采用交互式编程智能体，其中人类引导问题解决过程，AI执行具体任务。这种模式使某团队在保险业务挑战中，将风险评估模型的准确率提升至行业专家水平的1.2倍。
研究同时指出当前局限。合成数据虽反映真实关系，但未包含行业数据的全部复杂性；首届竞赛的参与者规模和领域覆盖有待扩大；AI技术的快速发展可能使现有结论产生变化。针对这些局限，研究团队计划扩展基准测试规模，纳入能源、金融等新领域，并开发评估解决方案可解释性的高级指标。某能源团队已利用AgentDS框架，成功构建出同时考虑电网负荷与可再生能源波动的预测模型，验证了基准测试的扩展潜力。
