人工智能领域一项突破性研究引发学界震动——由香港、北京及南京多所科研机构联合完成的实验表明,当前流行的AI训练方法可能存在致命缺陷。这项针对大语言模型持续学习能力的系统性研究,在arXiv平台公开后立即引发广泛讨论。实验数据显示,某些被寄予厚望的强化训练方式,反而会导致AI在掌握新技能时系统性遗忘旧知识,极端情况下甚至引发认知崩溃。
研究团队通过对比两种主流训练范式发现,看似高效的"逐字临摹教学法"存在根本性矛盾。以GRPO为代表的"结果导向训练",仅根据最终答案正确性给予反馈,如同传统考试只关注分数;而SDPO为代表的"过程导向训练",则要求AI的每个推理步骤都严格模仿教师版本,相当于全程监考并批改每个标点符号。实验数据显示,SDPO训练的AI在阶段测试中表现优异,数学竞赛正确率可达56.42%,但完成全部训练后,其数学能力反而暴跌至34.38%,工具使用能力更是退化到9.93%的近乎失效水平。
科研人员通过神经网络参数追踪技术,揭开了这种"学得快忘得更快"的深层机制。奇异值分解显示,SDPO训练引发的参数变动幅度是传统方法的3倍以上,且集中作用于核心推理模块。更危险的是,当教师模型更新速度超过临界值时,AI会陷入"确认偏差循环"——持续输出重复的数学答案格式标记,最终导致所有任务准确率归零。这种崩溃模式在工具使用训练切换阶段尤为明显,实验中观测到AI在12个训练周期内完全丧失语言生成能力。
研究突破性地用数学模型证明了"在线数据≠抗遗忘"的悖论。理论上存在一种"最小改动策略",能在完成新任务的同时最大限度保留旧知识。传统强化学习通过奖励机制近似这种策略,而SDPO的逐词监督却引入了额外偏差。实验数据显示,当教师模型包含不确定推理步骤时,AI会错误吸收这些噪音数据,导致回答长度增加47%的同时,正确率下降22个百分点。这种效应在跨领域训练中形成"干涉区",使与训练任务部分相关但非直接相关的能力遭受最大损害。
针对不同训练场景的优化方案成为研究新焦点。实验表明,在工具使用等格式规范的任务中,SDPO仍能提升训练效率15%-20%;但在数学推理等需要创造性思维的领域,过程监督反而造成性能损耗。研究团队提出的StableSDPO改进方案,通过周期性冻结教师模型参数,将灾难性遗忘率降低38%。更关键的是发现,对格式词元与内容词元实施差异化监督,可使AI在保持新技能掌握速度的同时,将旧知识保留率提升至82%以上。
这项研究正在重塑AI训练的评估标准。传统测试集主要关注单一领域性能,而新提出的"持续学习评估矩阵"包含跨领域干扰度、参数稳定性等12项指标。实验数据显示,经过优化的混合训练策略,能使AI在完成四轮跨领域训练后,所有任务平均正确率提升11.3%,其中未直接训练领域的性能改善达27%。该成果已引发谷歌、OpenAI等机构跟进研究,可能催生新一代抗遗忘训练框架。
完整研究论文可通过arXiv编号2607.01763v1查阅,其中包含对4种基础模型、12个训练领域的系统性实验数据,以及关于教师-学生模型同步策略的详细数学推导。这项发现不仅解释了为何当前AI助手难以同时精通多个领域,更为开发通用人工智能提供了关键理论支撑——持续学习能力的瓶颈,可能不在于数据规模或算力,而在于训练信号的精准调控机制。











