在人工智能大语言模型训练领域，如何让模型在有限时间内同时提升多个领域的能力，一直是研究人员关注的焦点。传统方法往往难以兼顾不同领域间的相互影响，而一项由多所顶尖高校和研究机构联合完成的研究，提出了一种名为“迁移感知课程”（Transfer-Aware Curriculum，简称TAC）的自动训练调度系统，为解决这一难题提供了新思路。
现代大语言模型被期望成为“全科优等生”，能够处理数学、编程、逻辑、科学、阅读表格和模拟推理等多领域任务。然而，研究人员发现，不同领域间的知识迁移能力差异巨大。例如，用表格类题目训练模型，其模拟推理能力可提升14.6个百分点，而数学题训练仅能提升5个百分点。这意味着，某些领域的训练能带动多个领域进步，而另一些领域则效果有限。
传统训练方法通常采用随机均匀策略或基于当前学习进度调整训练重点，但这些方法都忽略了“训练一个领域是否会帮助其他领域”这一关键因素。研究团队指出，一个领域“当前容易学”和“学了对整体有好处”是两码事。以数学为例，虽然模型在数学上的进步可量化，且常被视为重点训练领域，但其训练产生的梯度方向与其他领域调整方向不一致，甚至可能相反，导致对其他领域帮助有限。
相比之下，表格推理领域的训练梯度方向与模拟推理、科学推理和逻辑推理高度一致，训练表格题能同时提升这三个领域的能力。基于这一发现，TAC系统应运而生。它的核心设计哲学是，在决定训练重点时，不仅考虑领域的“可学性”（当前能让模型有多大进步），还考虑“迁移性”（训练该领域能否帮助其他领域）。
TAC的工作原理类似于一位聪明的职业教练，负责安排六人队伍（六个训练领域）的日常练习计划。它采用“多臂老虎机”决策框架，每一步训练从六个领域中选一个，根据实际效果更新对各领域的“价值评估”，再决定下一步训练方向。TAC计算每个领域的综合得分，由可学性和迁移性两部分加权合成。可学性通过观察模型答题正确率判断当前是否处于最佳学习时机；迁移性则通过分析训练时神经网络的梯度方向，评估训练该领域对其他领域的帮助程度。
为确保系统稳定运行，TAC在细节设计上做了诸多考量。例如，采用“探索奖励”机制，避免某些领域因长期未被训练而失去参考价值；当某个领域题目库用完时，重新洗牌继续抽取，保证高分领域可重复练习；实施“双阶段更新”机制，不仅更新被选中领域的评分，还定期用最新迁移性得分更新其他领域评分；训练开始时进行“热身”设计，确保每个领域有足够初始数据，使后续评估更可靠。
研究团队在阿里巴巴开发的Qwen3-1.7B基础模型和meta开发的Llama3.2-3B指令模型上验证了TAC的效果。结果显示，在Qwen3-1.7B上，TAC的综合平均正确率达33.9%，比随机均匀采样高出2.1个百分点；在Llama3.2-3B上达31.3%，比随机均匀采样高出2.1个百分点。具体到各领域，TAC在逻辑推理、数学和表格推理上提升尤为明显，科学推理也有一定进步，仅在模拟推理部分测试集上优势不显著。
进一步分析训练过程发现，TAC能动态调整资源分配。例如，在训练初期，科学推理因可学性高吸引大量资源，但随着表格推理迁移性评分上升，TAC逐渐将资源转向表格推理。而数学和代码生成领域因迁移性评分低，获得较少训练时间。这与基础模型在预训练阶段已大量接触数学和代码数据，相关能力成熟有关。
在不均衡数据实验中，TAC的优势更加突出。当数学和科学题库远大于其他领域时，TAC能避免资源过度集中在大领域，通过迁移性信号主动释放资源给小领域。系统稳定性分析表明，TAC对关键参数变化不敏感，在0.6B到4B不同规模模型上均能稳定提升性能，具有普遍适用性。
这项研究为AI大模型训练提供了新方法，强调在有限时间内应优先训练“学了能带动一片”的领域。TAC系统几乎零成本实现动态资源分配，无需额外标注数据或外部信息。不过，TAC目前仅解决训练调度问题，不涉及题目设计或评分标准制定，且测试局限于有明确对错的任务，对开放性问题还需进一步扩展。对技术细节感兴趣的读者，可通过arXiv编号2606.25178查阅原论文。
