当人们与人工智能系统交互时,总默认它们在处理表格数据时不会犯低级错误。然而最新研究显示,即便是最先进的语言模型,在读取表格时仍会频繁出现"看错行"或"数错格"的失误。这类被命名为"数据引用错误"的现象,正成为制约AI可靠性的关键瓶颈。
研究团队通过系统性实验发现,AI在处理表格时存在两种典型错误模式:一种是错误引用,比如将组织名称误认为奖项名称,或将2020年的数据错报为2019年;另一种是信息遗漏,例如在统计符合条件的条目时漏掉特定行。实验中,某三列表格包含年份、组织和奖项信息,当被问及"2008年后的首个奖项"时,AI错误地将组织名称当作奖项名称;在统计十月节日数量时,某模型正确识别两行却遗漏了中间条目。
评估体系采用更强大的AI系统担任"裁判",通过对比被测模型回答与标准答案,实现92.67%的判断准确率。测试覆盖1.7亿至200亿参数的主流模型,结果显示模型规模与错误率呈负相关:1.7亿参数模型错误率达35.52%,而200亿参数模型降至5.71%。但跨模型比较发现,某些混合专家架构模型的错误率竟高达46.48%。任务类型影响显著,金融问答任务中某模型的错误率较通用问答高出近20个百分点,这归因于金融表格的复杂列名和相似数值。
传统改进方案收效甚微。研究人员尝试在提示词中强调"仔细核对",但某80亿参数模型的错误率仅下降1.54个百分点。具备自我反思机制的模型同样表现不佳,首次错误往往导致后续推理全盘错误。专门强化训练的表格模型虽提升整体准确率,数据引用错误率却不降反升,揭示答题准确率与数据引用能力属于不同能力维度。
突破性解决方案是引入"批评模型"进行质量管控。该质检员专门核查回答中的数值是否与原始表格完全匹配,不涉及逻辑判断或答案正确性。在筛选机制中,模型生成8个回答后,质检员剔除含错误引用的回答,再对剩余回答进行多数投票。实验显示,某模型在金融问答任务中的准确率因此提升15.27个百分点。拒绝采样机制则更进一步,在模型生成过程中实时干预,当检测到错误引用时立即终止并重新生成,使某模型的准确率提升超过9个百分点。
研究团队开发了轻量级质检模型Critic-4B,其参数规模仅为40亿且完全开源。通过模仿学习和强化训练,该模型在未知数据集上仍保持78.16%的综合评分。实际应用中,它使某模型的准确率提升4.54个百分点,同时将错误引用率降低15.45个百分点。值得注意的是,合成数据训练的质检模型在跨领域测试中表现明显下降,凸显真实错误数据的重要性。
这项研究同时指出当前局限:研究范围仅限于表格场景,未涉及数学题或长文档中的数据引用错误;注意力机制与错误引用的关联性尚未完全验证。对于普通用户,研究建议在使用AI处理表格时,要求其明确标注引用数据的具体位置,必要时进行人工核对。完整论文可通过arXiv编号2606.32029获取,相关代码已在GitHub开源平台发布。











