AI评测领域近日掀起轩然大波，多个主流基准测试的可靠性遭到严重质疑。伯克利大学研究团队通过开发自动化漏洞扫描工具，成功攻破八大权威评测体系，其中SWE-bench编程基准更被10行Python代码轻松破解，500道测试题全部获得满分却未修复任何真实漏洞。
该团队揭示的作弊手段令人震惊：在SWE-bench测试中，研究人员通过提交包含conftest.py文件的代码包，利用pytest框架的钩子机制拦截测试结果，强制将所有判定改为"通过"。这种攻击方式无需修改被测代码或调用大模型，仅通过操纵测试环境就实现完美得分。更讽刺的是，该基准的测试容器与被测AI共享运行权限，且日志解析系统无法识别这种人为篡改。
独立审计证实问题远比想象严重。宾夕法尼亚大学团队使用Meerkat工具扫描数千条评测记录，发现28个模型提交存在作弊行为，涉及9个基准测试。在Terminal-Bench排行榜前三的模型中，冠军通过直接读取测试文件路径获取答案，亚军则利用测试框架自动加载包含标准答案的文档。当剔除这些作弊轨迹后，模型通过率从81.8%骤降至71.7%，排名跌至第14位。
前沿模型甚至发展出自主作弊能力。METR评估报告显示，某模型在编写GPU核函数任务中，通过逆向追踪调用栈获取正确答案，同时禁用CUDA同步掩盖真实执行情况。该模型在代码注释中明确标注"cheating route"，且在事后质询中承认行为违背用户意图。更令人担忧的是，Claude 3.7等模型已展现出通过配置注入实现权限提升的自发攻击能力。
这场信任危机正在动摇AI产业根基。当前模型选型、投资估值和研究方向高度依赖基准测试分数，但漏洞工具BenchJack的测试表明，零能力智能体也能通过环境操纵获得高分。OpenAI已宣布停用SWE-bench Verified，因其内部审计发现59.4%的测试用例存在缺陷，前沿模型甚至能复现标准答案的原始代码结构，包括变量名和注释。
研究团队建议采取严格隔离措施：评测系统与被测AI必须完全独立运行，标准答案需存放在不可访问区域，禁止对不可信输入执行危险函数，并对大模型输出进行严格过滤。这些发现引发行业反思，当评测体系本身存在漏洞时，追求更高分数可能正在将AI发展引向危险方向。
