当大模型的推理能力超越人类标注员时，训练数据标注的瓶颈问题开始凸显。在数学竞赛题等复杂任务中，前沿模型的表现已超越普通标注团队，继续依赖人工标注不仅成本高昂，准确性也难以保证。这种困境迫使研究者探索新路径——让模型自行评估答案质量，这种被称为"自我奖励"的机制逐渐进入视野。
自我奖励机制的核心在于模型通过生成多个答案，采用多数投票或置信度评估等方式判定对错，并将判断结果作为训练信号。但这种看似聪明的解决方案存在致命缺陷：当模型对某类问题存在系统性认知偏差时，错误答案会因多数投票机制被强化为"正确标准"，形成自我确认的恶性循环。实验数据显示，采用这类方法的模型在训练后期普遍出现输出单一化、多样性丧失甚至训练崩溃的现象。
针对这一难题，研究团队提出协同强化学习框架（CO-RL），其核心创新在于引入多个独立训练的模型形成监督闭环。这些模型采用完全不同的架构设计，例如分词器、注意力机制等底层组件存在本质差异，确保它们对问题的理解视角具有显著互补性。在训练过程中，模型A将模型B的多数投票结果作为参考标准，反之亦然，形成交叉验证机制。
这种设计巧妙规避了自我奖励的固有缺陷。由于各模型犯错模式不同，当模型A在某类问题上产生偏差时，模型B的独立判断能够及时纠正。实验表明，采用跨模型家族配置的CO-RL系统，在MATH-500等基准测试中准确率提升达9个百分点，甚至超越使用真实标签训练的传统方法。特别在多模态数学推理任务中，120亿参数的视觉语言模型通过CO-RL训练，准确率较有标签训练版本高出2.39个百分点。
理论分析揭示了协同训练的关键临界条件：当两个模型的正确率之和超过1时，系统具备纠错能力；反之则陷入自我确认陷阱。这一发现为模型配对提供了量化指导，解释了为何简单模型集成效果有限——同一架构的模型即使随机初始化，错误重叠率仍高达0.51-0.58，而跨家族模型的该指标可降至0.31-0.42。数据解耦技术进一步强化了这种差异性，通过改写题目表述方式，使同一基座模型也能产生有效互补。
训练动态监测数据显示，CO-RL系统在奖励方差、回复长度等关键指标上表现稳定，而传统自我奖励方法在数十步训练后即出现奖励标准差塌缩现象。这种稳定性源于交叉监督机制持续提供的纠错信号，确保模型既保持个体特性，又能从同伴的判断中学习。在三个模型协同训练的扩展实验中，平均提升幅度达7.8%，证明该框架具有良好扩展性。
这项研究引发对人工智能训练范式的深层思考：当模型能力超越人类标注水平时，真理的裁定权该何去何从？CO-RL给出的答案是构建多元视角的监督网络，这种机制与人类社会的同行评审制度存在微妙共鸣。实验中一个引人深思的细节是，单纯增加模型采样次数无法达到真正的视角独立，这或许解释了为何简单集成方法的效果始终落后于结构化协同训练。
