当学生Ilya公开质疑“Scaling Law是否已触及天花板”时，他的导师、被誉为“AI教父”的Geoffrey Hinton却给出了截然相反的判断。这场师徒间的观点交锋，让科技界对人工智能发展路径的讨论再度升温。
回溯历史，Ilya曾是Scaling Law最坚定的支持者之一。从学生时代起，他就不断向周围人推荐这一理念，并将其带入OpenAI的实践中。Hinton曾多次公开称赞Ilya在Scaling Law上的直觉，甚至承认自己在初期低估了规模效应的重要性——正如Transformer架构的成功，本质上仍依赖于数据和计算规模的扩张。
然而，如今的师徒二人却站在了对立面。Hinton在接受媒体采访时明确表示，Scaling Law依然有效，但当前面临数据短缺的挑战。他指出，高质量数据大多被企业封锁，免费互联网数据已接近枯竭。不过，他相信AI能够通过自我生成训练数据突破这一瓶颈，并援引AlphaGo和AlphaZero的案例：这些程序通过自我对弈生成数据，在规模较小的情况下仍实现了技术飞跃。Hinton认为，语言模型完全可以采用类似方法解决数据问题。
谷歌DeepMind首席执行官哈萨比斯也持相似观点。他强调，必须将现有系统的规模推向极致，因为这至少是通往通用人工智能（AGI）的关键组成部分，甚至可能直接构成AGI系统本身。哈萨比斯以AlphaGo和AlphaZero的发展为例，说明AI通过自我博弈和规模化数据生成，能够在没有人类数据的情况下实现快速进化。他进一步提出，真正的规模化不应仅限于参数、数据和算力的线性增长，而是需要同步扩展模型规模、训练范式、环境复杂度和系统架构，构建一个可交互的“世界模型”。
与Hinton和哈萨比斯的乐观态度形成鲜明对比的是，Ilya认为继续扩大规模已不再“划算”。他质疑道：“当规模已经如此庞大时，你真的相信再扩大100倍就能彻底改变一切吗？”Ilya指出，数据是AI的“化石燃料”，随着全球数据限制的到来，预训练时代将逐步结束。他呼吁行业将注意力从“盲目扩大规模”转向“研究范式本身的重构”，例如探索智能体、推理、理解和自我意识等更高级的能力。
Ilya的这一观点并非孤立。meta首席AI科学家Yann LeCun也曾表示，不能简单假设更多的数据和计算能力就意味着更智能的AI。他一直认为，大语言模型无法实现AGI，并因此创立公司专注于“世界模型”的研究。
在这场争论中，OpenAI o1模型的核心成员Noam Brown提出了一个更中立的视角。他指出，社交媒体常将AI辩论简化为两种极端观点：一是怀疑派认为大语言模型没有前途，AI纯属炒作；二是狂热派认为超级人工智能（ASI）即将到来。但实际上，顶尖研究人员之间存在显著共识：当前范式即使没有进一步突破，也可能带来巨大的经济和社会影响；但要实现AGI或ASI，仍需更多研究突破，例如持续学习和样本效率的提升。LeCun也认同这一观点，认为分歧主要在于“突破”的形式和速度，而非ASI是否可能实现。
在这场关于Scaling Law的争论中，Hinton和Ilya的分歧或许并非简单的“支持”或“反对”，而是反映了行业对“规模化”本质的不同理解：一方认为规模化仍可通过自我进化突破瓶颈，另一方则认为需要重新定义规模化的方向和目标。
