在人工智能训练领域，一项突破性研究为强化学习训练带来了革命性转变。由meta领衔，联合德克萨斯大学奥斯汀分校、伦敦大学学院等顶尖机构的研究团队，在arXiv平台发布了题为《The Art of Scaling Reinforcement Learning Compute for LLMs》的论文，首次提出了一套科学化、可预测的强化学习训练方法，使这一长期依赖经验与直觉的领域迈向科学化新阶段。
强化学习训练被比喻为培养AI的“思考能力”。传统预训练阶段如同基础教育，通过海量文本输入让模型掌握语言规律；而强化学习则像专项技能训练，通过奖惩机制引导模型形成正确推理逻辑。然而，这一过程长期缺乏统一标准，不同团队如同各自摸索的厨师，难以预测训练效果。更严峻的是，高昂的计算成本让大规模实验成为少数巨头的特权，中小团队只能依赖有限经验。
研究团队直面这一挑战，投入超40万GPU小时计算资源（相当于高性能计算机连续运行数千年），系统探索强化学习训练规律。他们发现，AI模型在强化学习中的性能提升遵循独特的“S型增长曲线”：初期进步缓慢，中期快速跃升，后期趋于稳定。这一发现颠覆了传统预训练的“幂律增长”认知，为预测训练效果提供了数学基础。
基于这一规律，团队开发出名为ScaleRL的训练框架。该框架包含四大核心组件：采用流水线处理的PipelineRL算法，显著提升训练效率；稳健性更强的CISPO损失函数，避免训练崩溃；关键计算部分使用FP32高精度数值，确保稳定性；以及智能筛选训练数据的策略，避免重复无效训练。这些组件通过系统性实验优化组合，形成了一套“标准配方”。
验证实验显示，ScaleRL展现出惊人预测能力。在对一个需10万GPU小时训练的模型预测中，仅用前5万小时数据就准确预测了最终性能，实际结果与预测误差不足1%。更关键的是，这种可预测性在不同规模、不同任务中均保持稳定——无论是80亿参数的标准模型，还是170亿×16的混合专家模型；无论是数学推理还是代码生成任务，性能增长都严格遵循S型曲线。
研究团队进一步揭示了资源分配的黄金法则：在固定计算预算下，扩大模型规模比单纯增加训练时间更高效。实验显示，170亿参数混合专家模型不仅最终性能优于80亿模型，训练效率也提升40%。同时，增加生成文本长度（从1.4万词符扩展至3.2万词符）虽初期进步缓慢，但最终能突破性能瓶颈。这些发现为优化训练策略提供了量化依据。
稳定性是大规模训练的核心挑战。团队定义了“截断率”这一关键指标——当AI生成文本超出预设长度时被强制截断的频率。实验表明，截断率超过10%即预示训练不稳定，而ScaleRL通过动态调整生成长度预算，将截断率控制在2%以下，即使在2048大批次训练中仍保持稳定。这种稳定性源于大模型更强的指令遵循能力，170亿参数模型的截断率始终低于1%，90%训练步骤中甚至低于0.5%。
与现有方法对比中，ScaleRL优势显著。在数学推理任务中，其最终性能（S型曲线上限参数A）达0.61，超越DeepSeek的GRPO（0.59）、Qwen2.5的DAPO（0.52）等主流方法。更关键的是，ScaleRL的训练效率（参数B）提升30%，意味着能更快达到性能上限。其CISPO损失函数对超参数敏感度比传统DAPO降低60%，大幅降低调试成本。
这项研究的实用价值已引发工业界关注。meta已将ScaleRL应用于代码生成、多轮对话等复杂场景，训练成本降低50%的同时，模型在数学竞赛题解答、代码修复等任务中的准确率提升25%。学术界则将其视为强化学习研究的“标准工具包”，多所顶尖实验室已采用S型曲线作为算法评估基准。
技术细节方面，研究团队开源了计算-性能曲线拟合代码，支持研究者通过小规模实验（仅需数千GPU小时）预测大规模训练效果。配套发布的监控工具包可实时追踪截断率、梯度范数等12项关键指标，提前预警训练风险。这些工具已形成完整生态，降低技术门槛的同时，推动强化学习训练向标准化、可复现方向发展。
从理论层面看，这项研究重构了AI训练的认知框架。S型增长曲线的发现，揭示了AI认知发展的本质规律——与人类学习曲线高度吻合，为理解AI“思考”过程提供新视角。组合优化策略的成功，则证明在复杂系统中，局部最优的协同效应可能超越单一组件的突破。这些发现不仅推动技术进步，更为AI安全研究提供新工具：可预测的训练过程意味着更好的控制能力，为强大AI系统的安全发展奠定基础。
