摩尔线程人工智能研究团队近日在国际顶级学术会议AAAI2026上宣布，其开发的URPO（统一奖励与策略优化）框架为大型语言模型训练开辟了新路径。这项创新技术通过整合训练流程中的关键环节，有效提升了模型性能与训练效率，在学术界和产业界引发广泛关注。
研究团队在论文《URPO：面向大型语言模型的统一奖励与策略优化框架》中提出，传统训练方法需依赖独立模块分别处理指令理解与结果评估，而URPO框架创造性地将这两种功能集成于单一模型。这种设计使模型在生成响应的同时，能够自主评估输出质量，形成闭环优化机制。实验表明，该框架显著减少了训练过程中的信息损耗，提升了参数更新效率。
技术实现层面，URPO框架突破了三大核心难题。研究团队首先构建了通用数据转换协议，将偏好数据、推理验证数据和开放式指令数据统一编码为标准化训练信号，解决了多模态数据兼容性问题。其次，通过引入自我奖励机制，模型在生成多个候选答案后，可基于预设标准进行内部评分，并将评分结果直接用于策略优化，形成持续改进的增强循环。最后，协同进化算法通过动态调整三类数据的混合比例，使模型的生成能力与评估能力同步提升，避免出现能力偏科现象。
基于Qwen2.5-7B模型的验证显示，URPO框架在多个基准测试中表现优异。在Alpacaeval指令跟随评测中，模型得分从基线水平的38.21提升至44.84；综合推理能力测试平均分提高3分，达到35.66。更引人注目的是，该模型在RewardBench奖励模型评测中以85.15分超越专用奖励模型的83.55分，证明其评估能力达到行业领先水平。这些数据表明，URPO框架在简化训练架构的同时，实现了性能的全面突破。
产业化应用方面，摩尔线程已完成URPO框架与自主计算卡的深度适配，并实现与主流强化学习框架VERL的无缝集成。测试数据显示，优化后的训练系统在计算资源利用率上提升40%，训练周期缩短35%，为大规模模型部署提供了高效解决方案。这项成果不仅巩固了企业在AI基础设施领域的领先地位，也为行业提供了可复制的技术范式。
