耶鲁大学研究团队开发出一套名为MMVU的创新评估系统，专门用于检测人工智能模型在专业视频理解领域的表现。该系统通过让AI观看科学实验、医学手术、工程演示等真实场景视频并回答相关问题，模拟人类专业考试环境，为AI技术发展提供全新评估维度。
研究团队构建了包含3000道题目的测试库，覆盖科学、医疗、工程、人文四大领域27个细分学科。每道题目均由领域专家根据权威教材设计，要求AI不仅识别视频内容，还需运用专业知识进行深度推理。例如在化学测试中，AI需通过观察反应现象计算产物质量；工程测试则要求识别机械运转背后的算法原理。
测试严格排除含文字说明的视频素材，仅使用具有创意共用许可证的YouTube内容，确保评估聚焦视觉理解能力。专家团队采用"课本指导"出题法，先确定核心知识点，再寻找匹配视频，最后设计需要综合运用的复杂问题。每题均配备详细解答和专业背景说明，便于分析模型错误根源。
参与测试的32个前沿AI模型来自17个机构，包括OpenAI、Google等科技企业的商业模型和开源社区作品。测试设置"思维链推理"和"直接回答"两种模式，前者要求模型展示推理过程，后者仅需给出答案。结果显示，OpenAI的o1模型以80%准确率领先，Google的Gemini 2.0 Flash Thinking紧随其后，但多数模型表现明显弱于人类专家。
人类专家测试分为闭卷、开卷和答案修正三个阶段。闭卷考试中，5位跨学科专家在3.5小时内完成随机抽取的120题，平均准确率49.7%；开卷阶段允许使用外部资源后，准确率跃升至86.8%；参考标准答案修正后，准确率达95.3%。对比显示，当前顶尖AI模型已接近人类开卷水平，但多数模型仍有显著差距。
错误分析揭示AI五大薄弱环节：视觉感知错误占比18%，如混淆算法类型；视觉专业知识误用占20%，如误判实验设备；推理专业知识误用达27%，如错误归因生物学现象；过度依赖文字信息占20%，忽视视频关键证据；逻辑矛盾占6%。这些错误类型为技术改进指明方向，显示AI在知识整合和复杂推理方面存在根本性局限。
开源模型表现超出预期，Qwen2-VL-72B等作品在闭卷测试中超越人类平均水平。研究特别指出，具备长时间推理能力的模型表现更优，o1和Gemini 2.0 Flash Thinking通过延长思考周期显著提升准确率。这提示延长AI"思考时间"可能是提升专业理解能力的有效途径。
该研究通过系统化评估证明，现有AI在专业视频理解领域仍处初级阶段。尽管顶尖模型已展现潜力，但在医疗诊断、工程设计等关键领域，AI系统仍需突破知识整合、上下文理解和逻辑推理等多重挑战。MMVU评估框架的建立，为追踪AI专业能力发展提供了可持续的基准工具。
