当你在向一位擅长数学的朋友请教问题时，他可能会用不同的方法为你解答，比如代入法、画图法或者反证法。虽然方法各异，但总能得出正确答案。如今，大型语言模型在处理问题时也展现出类似的能力，它们内部掌握着多种解题策略，只是这些策略混杂在一起，难以被外界识别，甚至模型自身也无法明确选择某种策略。
耶鲁大学的研究团队提出了一个大胆的设想：能否打开这个“黑盒子”，将隐藏的解题策略逐一分离并标记，以便在需要时能够按需调用？这一设想看似充满吸引力，但实现过程中却遇到了意想不到的难题。经过不懈努力，研究团队最终开发出一种全新的训练方法，成功使人工智能模型中的隐藏策略显现出来，并在多个算法任务中验证了该方法的有效性。
以证明“偶数的平方仍是偶数”这一数学问题为例，训练有素的语言模型可能会采用归纳法、反证法或代入字母推导等多种方式。尽管这些方法在数学上都是正确的，但从外部观察模型时，只能看到它随机且混乱地混合使用这些策略，无法确定每次解答所采用的具体方法。更严重的是，语言模型在内部存储策略的方式犹如一锅大杂烩，各种策略相互交织，难以单独提取或调整比例。研究团队将这一现象称为“策略的隐式纠缠”。
这种策略的隐式纠缠带来了诸多实际问题。例如，当希望模型专门采用某种更高效的策略解决特定问题时，由于无法直接控制策略选择，这一目标便难以实现。研究人员在评估模型是否真正掌握某种方法时，也面临区分困难。在人工智能安全领域，若某些推理路径存在潜在风险，同样缺乏有效手段将其单独识别并加以限制。
为解决这一问题，研究团队希望为语言模型配备一个“策略调色板”，即一个显式变量，能够代表当前使用的策略，并在不同问题中保持稳定且一致的含义。为实现这一目标，研究团队将任务形式化为数学问题，利用pθ(y|x)表示已训练语言模型的回答分布，并试图将其分解为“路由器”和“生成器”两部分。前者负责根据问题生成策略编号，后者则根据问题和策略编号生成相应回答。
这一框架的核心要求包括两点：一是分解后的模型在平均所有策略后，回答分布应与原模型基本一致；二是策略变量必须真正有用，即改变策略变量应能改变生成器的策略，且同一策略变量在不同问题中应代表相同策略。研究团队将后者称为“类比一致性”，并作为主要评估指标。
面对这一挑战，有人可能会想到利用变分自编码器（VAE）这一成熟技术来学习隐变量。然而，研究团队发现，这一方法在此场景下会彻底失败。传统VAE依赖“证据下界”（ELBO）损失函数训练模型，但在本案例中，由于“生成器”已具备完美解答问题的能力，无需依赖策略变量，导致模型忽略策略变量，出现“潜在变量坍塌”现象，即模型对所有策略变量输出相同回答，使策略变量失去作用。
为克服这一难题，研究团队提出了一种创新思路：让原始模型“监督”自身训练过程。具体而言，他们采用“全局归一化”和“词元级惊异度加权”两种机制。全局归一化通过将重建损失除以原始模型的平均损失，使训练目标变为在原始模型基础上解释额外不确定性。词元级惊异度加权则聚焦于原始模型不确定性最高的位置，即策略选择的关键分叉点，使策略变量被迫解释这些难以预测的词。
为验证该方法的有效性，研究团队设计了一个“多策略算法基准测试”，包含列表求和、排序算法、网格路径规划、线性方程求解、进制转换和多位数加法等六类任务。每类任务均提供多种合法解题步骤及隐藏的参考策略标签。实验结果显示，研究团队提出的方法在保持高分布忠实度的同时，显著提高了策略对齐度，成功“解锁”了模型中的策略结构。
研究团队还从理论层面分析了该方法的收敛条件。他们证明，在特定条件下，训练过程能够收敛到与目标策略对齐的解，并给出了有限样本的收敛速率。这一理论分析为实际应用提供了一定支持，尽管研究团队也承认，理论与实际训练动力学之间的精确联系仍需进一步探索。
这项研究不仅证明了语言模型中隐藏着有组织的策略结构，还提供了一种系统化“解锁”这些结构的方法。该方法无需人工标注策略标签，仅依靠原始模型自身的不确定性模式引导学习过程。对于普通用户而言，这一研究可能不会立即产生显著影响，但它为未来人工智能系统的透明度和可控性奠定了基础。当用户能够明确指示人工智能助手采用特定方法时，背后或许正是这类研究的成果在发挥作用。
