一项由上海AI实验室携手清华大学、哈尔滨工业大学及北京邮电大学共同完成的开创性研究，于2025年2月在学术界引发了轰动。这项研究的焦点，是一篇题为《10亿参数LLM能否超越4050亿参数LLM？重新审视计算最优的测试时扩展》的论文，读者可通过arXiv预印本平台查阅全文（论文编号：arXiv:2502.06703v1）。
该研究仿佛在教育领域发现了奇迹：给予普通学生更多考试时间和辅导，他们竟能击败那些天赋异禀却匆忙答题的尖子生。在人工智能的世界里，研究团队同样见证了一个震撼人心的事实：仅有10亿参数的“小个子”AI模型，凭借巧妙的“考试策略”，在数学推理任务上力压4050亿参数的“巨无霸”AI模型。
具体而言，研究揭示了一个被称为“测试时计算扩展”的惊人现象。就像两个学生面对同一道数学题，聪明的学生可能迅速给出答案，而普通学生若有足够时间反复琢磨、尝试多种解题方法，最终或许能得出更准确的答案。研究团队发现，当为小型AI模型分配更多计算资源和推理时间时，它们的表现能超越那些参数规模庞大得多的模型。
这一发现打破了AI领域长久以来的固有观念。过去，人们普遍认为模型越大越好，参数越多越聪明。然而，该研究证明，在某些情境下，“小而精”配合“深度思考”的策略，可能比“大而全”配合“快速反应”的方式更为有效。
研究团队在两个具有挑战性的数学数据集上进行了深入实验：MATH-500和AIME24。MATH-500包含500道高难度数学问题，而AIME24则是2024年美国数学邀请赛的题目，这些题目即便是人类数学高手也需要仔细思考才能解答。
令人惊叹的是，在研究团队精心设计的策略下，一个仅有10亿参数的小型模型在MATH-500上的表现，竟然超越了拥有4050亿参数的大型模型。更令人咋舌的是，一个仅有5亿参数的“迷你”模型在某些测试中击败了赫赫有名的GPT-4o，而一个30亿参数的模型甚至超越了OpenAI最先进的o1模型和DeepSeek的R1模型。
该现象的核心在于研究团队发现的“计算最优测试时扩展策略”。简而言之，就是根据不同的AI模型、评分系统和问题难度，采用不同的“考试策略”。就像不同的学生需要不同的学习方法一样，不同的AI模型也需要量身定制的推理策略才能发挥最佳水平。
为了理解这个现象，我们可以将AI模型比作不同能力的学生。传统观念认为，智商高的学生（大模型）总是比智商一般的学生（小模型）表现更佳。但研究团队发现了一个有趣的现象：如果给予智商一般的学生足够的时间和合适的方法，他们可能会比匆忙作答的天才学生表现更好。
测试时计算扩展技术就像是为AI模型提供了一套“深度思考工具包”。当遇到复杂的数学题时，小模型不会像大模型那样快速给出一个答案，而是会采用多种策略：生成多个可能的解答，仔细检查每一步的逻辑，甚至会“换个角度”重新思考问题。
这一过程类似于一个谨慎的学生在考试中的行为。他们不会急于写下第一个想到的答案，而是会在草稿纸上尝试不同的解题思路，对比各种可能性，最后选择最有把握的答案。虽然这样做需要更多时间，但往往能获得更准确的结果。
研究团队发现，这种策略在数学推理任务上尤为有效。数学问题往往有明确的对错标准，且解题过程可以分解为多个步骤。小模型虽然在单步推理能力上不如大模型，但通过多次尝试和仔细验证，它们能够找到正确的解题路径。
研究中，小模型采用了三种主要策略。第一种是“最佳选择策略”，模型会生成多个不同的答案，并从中选择最可能正确的那一个。第二种是“束搜索策略”，模型会在解题过程中保持多个可能的思路，逐步筛选出最有希望的路径。第三种是“多样化验证树搜索”，模型会构建一个决策树，探索各种可能的解题方向，最终找到最优解。
这些策略的效果显著。在MATH-500数据集上，一个仅有30亿参数的Llama模型使用优化策略后，准确率高达78.2%，而拥有4050亿参数的大型模型在常规模式下仅有71.4%的准确率。这意味着小模型不仅战胜了大模型，而且是在一个135倍参数差距的巨大劣势下实现了逆转。
更令人印象深刻的是，研究团队还发现这种优势在更具挑战性的AIME24数据集上依然存在。这个数据集包含的是美国数学竞赛中的高难度题目，即便是数学专业的大学生也需要仔细思考才能解决。在这个测试中，一个75亿参数的小模型使用优化策略后，在某些指标上甚至超过了OpenAI的o1模型。
研究中最重要的发现之一是，没有一种“万能”的测试时扩展策略能够适用于所有情况。就像每个学生都有自己的学习风格和优势科目一样，不同的AI模型需要不同的推理策略才能发挥最佳性能。这一发现颠覆了很多人对AI优化的简单认知。
研究团队通过大量实验发现，最优策略的选择取决于三个关键因素：模型大小、评分系统和问题难度。这三个因素之间的相互作用复杂，不同的组合会产生截然不同的效果。对于小型模型（参数少于70亿），基于搜索的策略效果最好；而对于大型模型，简单的多选择策略往往更有效。不同的评分系统（即过程奖励模型）会有不同的评判标准和偏好，显著影响AI模型的表现。
研究团队还意外发现了一个令人担忧的现象：负责评判AI推理过程的“老师”——过程奖励模型，存在各种偏见和错误倾向。这些偏见包括“过度批评”、“错误忽视”、“错误定位偏差”和“格式歧视”。这些偏见不仅影响单个问题的解决，更会在整个推理搜索过程中产生累积效应。
在验证了理论和策略之后，研究团队开始了实战测试：让经过优化的小型AI模型与业界最强大的大型模型正面较量。这场“大卫对歌利亚”式的对决产生了令整个AI界震惊的结果。一个仅有30亿参数的Llama模型，在使用了计算最优测试时扩展策略后，在MATH-500数据集上达到了78.2%的准确率，而拥有4050亿参数的巨型Llama模型在标准模式下只能达到71.4%。
这种逆转在更加困难的AIME24数据集上也得到了验证。在这个极具挑战性的测试中，同样是30亿参数的小模型达到了30%的准确率，而4050亿参数的大模型只有23.3%。更极端的例子是，一个仅有5亿参数的“迷你”模型，在经过精心优化后，在MATH-500上达到了76.4%的准确率，超过了GPT-4o的74.6%。
研究团队还计算了不同方案的计算效率，发现小模型的优势不仅体现在性能上，还体现在资源消耗上。一个经过优化的30亿参数模型所需的总计算量（包括训练和推理）比4050亿参数的大模型少了100到1000倍。这意味着小模型不仅更聪明，还更节能环保。
这项研究的意义远远超出了学术范畴，它为整个AI产业的发展方向提供了全新思路。最直接的影响是对AI模型开发策略的重新思考。过去几年，AI公司竞相开发更大规模的模型，认为参数数量是决定智能水平的关键因素。然而，这项研究表明，通过改进推理策略，小模型也能达到大模型的性能，这可能会改变整个行业的投资方向和技术路线。
对于资源有限的研究机构和初创公司来说，这个发现尤为宝贵。他们现在无需与科技巨头在模型规模上进行正面竞争，而是可以专注于开发更智能的推理算法。这种“以智取胜”的策略为更多参与者进入AI竞赛创造了机会，有助于促进整个领域的创新多样性。
在实际应用方面，这项研究为许多现实场景提供了新的解决方案。在移动设备上运行AI应用时，计算资源和电池寿命都是重要限制因素。通过使用经过优化的小模型，智能手机、平板电脑等设备或许能获得更强大的AI功能，而无需频繁连接云端服务器。
