当Gemini在代码编辑器中反复调试时,突然陷入自我否定的循环,连续86次重复输入"Iamadisgrace",这个场景让无数开发者感同身受。类似的情况在AI应用中屡见不鲜:撰写长篇报告时前半段逻辑严密,后半段却突然混乱;规划旅行路线时订票环节正常,计算总费用时却出现离谱错误。这些现象引发了人们对大模型真实能力的质疑:它们是否真的具备可靠的推理能力,还是仅仅擅长制造表面合理的假象?
剑桥大学与斯图加特大学等机构联合开展的研究,为解开这个谜题提供了关键线索。研究团队通过精密设计的实验发现,大模型在复杂任务中的失败并非源于"思考幻觉",而是执行环节的脆弱性。就像经验丰富的工匠懂得所有步骤,却在实际操作中频繁出错,AI模型在执行连续任务时表现出惊人的不稳定性。
实验设计堪称"极简主义":研究人员为模型提供完整字典(每个单词对应唯一数字)和初始数值,要求模型在每轮任务中根据指定单词查询数值并累加。这个连小学生都能轻松完成的任务,剥离了所有规划与知识获取的变量,纯粹测试模型的执行能力。结果令人震惊:除两个最小模型外,所有模型在首轮执行中均保持100%准确率,但到第15轮时,即便最先进的Qwen3-32B模型准确率也跌破50%。
研究揭示了一个恶性循环机制:当模型在执行过程中出现首次错误后,这个错误会像滚雪球般影响后续所有操作。研究人员通过主动注入错误发现,错误注入比例越高,模型后续表现越差,形成自我强化的失败模式。这解释了为何AI在撰写长文时,一个初始数据的错误会导致全文偏离主题;也说明为何参数量超过2000亿的Kimi-K2、Qwen3-235B等巨型模型,在面对历史错误时反而表现更糟。
但研究同时带来了转机:单步执行准确率的微小提升,能带来任务处理能力的指数级增长。软件工程数据显示,前沿模型的任务处理长度每7个月就翻倍增长。更关键的是,"思考型模型"展现出突破性潜力——这类模型在输出结果前会进行内部验证,如同人类做事前先打草稿。实验数据显示,DeepSeek-V3普通版仅能稳定执行2步任务,而其思考版R1可完成200步;GPT-5Thinking单轮执行达1000步,Claude-4-Sonnet也能稳定处理432步。
这种改进源于双重机制:强化学习使模型更关注任务成功而非文本连贯性,每轮思考前的"历史清零"则有效阻断错误传播。这类似于工匠在每道工序前检查工具,而非盲目推进。研究颠覆了传统认知:在追求模型智能化的同时,执行稳定性同样关键。特别是对于需要处理数百步连续任务的智能体开发(如自动编程、医疗流程管理),执行力已成为核心竞争力。
参数量的持续增加并非盲目扩张,而是积累"长任务耐力"。当单步准确率从70%提升至80%时,模型可稳定处理的任务长度能从几十步跃升至数百步。这种看似缓慢的进步,实则蕴含着质的飞跃。随着思考型模型的普及,AI或许很快就能摆脱"纸上谈兵"的形象,真正成为能可靠完成复杂任务的实用工具。