当人工智能模型在处理复杂问题时,人们通常会通过提供示例来提升其推理能力,这种被称为“少样本思维链”的技术曾被视为AI进步的里程碑。然而,新加坡国立大学与悉尼大学、MiroMind AI联合开展的一项研究却发现,这种方法对现代AI模型可能适得其反——示例非但没有提升性能,反而导致准确率大幅下降。
研究团队选取了DeepSeek-R1、Qwen系列等前沿模型,在数学竞赛题和科学推理任务中展开测试。结果显示,即使提供与问题高度相关的优质示例,模型的表现仍会显著恶化,示例数量越多,错误率越高,部分场景下准确率降幅超过35%。这一现象被类比为“经验丰富的厨师在旁人反复指导下反而做砸菜”——现代AI经过强化学习训练后,已形成稳定的内在推理逻辑,外部示例的介入反而会干扰其决策流程。
进一步分析揭示了问题根源。其一为“表面相似性陷阱”:当示例与目标问题在措辞或结构上高度相似时,AI会机械套用解题步骤,忽视问题本质差异。例如,面对“苹果与橘子”相关的题目时,AI可能将计算重量的方法错误应用于价格计算。其二为“策略提取失败”:AI难以从示例中提炼抽象策略,往往只能捕捉到表面模式,如同学习者仅记住词汇搭配却未理解逻辑框架。
针对上述缺陷,研究团队提出了“洞察到解答”(Insight-to-Solve, I2S)方法。该方法通过三步流程优化推理过程:首先引导AI对比示例与目标问题的异同,避免混淆;其次提取示例中的通用策略,如“分析数据结构”或“验证边界条件”;最后基于抽象原则构建全新解决方案,而非直接模仿具体步骤。其升级版I2S+还引入了自我修正机制,允许AI在2-3轮迭代中优化推理路径,主动排查逻辑漏洞。
实验数据证实了新方法的有效性。在AIME 2025数学竞赛测试中,7B参数模型使用I2S+后准确率从42%提升至51.33%,GPT-4.1的准确率则从34%跃升至48%。值得注意的是,该方法不仅适用于开源模型,对GPT-4.1、o1-mini等闭源商业模型同样有效。I2S在计算效率上也表现优异,相比“多答案投票”策略,它能以更低的资源消耗实现更优结果。
在开放式推理任务中,I2S同样展现出稳定性。以GPT-4.1为评判标准的测试显示,该方法在工程和通用推理场景中带来1-2个百分点的性能提升。尽管提升幅度小于数学任务,但考虑到开放式问题的主观性,这一结果仍具有实际价值。研究还发现,迭代改进的效果因问题类型而异:数学问题中,模型规模越大,迭代收益越明显;而开放式任务中,小型模型过度迭代可能导致性能下降,提示需针对不同场景调整策略。
从技术实现看,I2S具有轻量化优势。其流程仅需三次模型调用:问题对比、策略分析和答案构建,无需对原模型进行重新训练,可直接集成到现有系统中。这种特性使其在学术研究和商业应用中均具备推广潜力,例如复杂推理任务、AI教育工具或科学计算领域。
该研究还揭示了AI能力演进带来的新挑战。随着模型推理能力提升,传统训练方法可能失效,需探索更适配先进AI的交互模式。例如,表面合理的输入未必产生积极效果,这要求开发者更谨慎地设计系统交互逻辑。同时,AI的“智能”机制与人类存在本质差异,优化其表现需突破人类认知框架。
跨机构合作在此研究中发挥了关键作用。新加坡国立大学、悉尼大学与MiroMind AI的联合团队整合了学术研究的深度与产业实践的效率,为解决复杂AI问题提供了范例。这种模式或将成为未来AI领域的重要趋势,通过多方优势互补推动技术突破。
研究的核心启示在于:AI技术的快速发展要求我们重新审视传统方法的有效性。与其过度干预AI的内在推理,不如通过理解其工作机制,开发更适配的交互策略。I2S方法的成功正是这一思路的体现——通过优化示例利用方式,释放AI的潜在能力。