在人工智能领域，一场关于预训练技术是否仍占主导地位的辩论正如火如荼地进行。这一话题已成为AI行业的焦点，引发了广泛讨论。
近年来，预训练技术一直被视为AI发展的第一性原理。然而，随着OpenAI前首席科学家Ilya的公开质疑，以及强化学习模型DeepSeek R1的崭露头角，预训练技术的地位似乎开始动摇。
预训练技术的命运转变，是AI行业共识与非共识不断交织的缩影。为了深入探讨这一话题，蚂蚁集团在2025年5月27日的“技术开放日”上组织了一场圆桌对话。
参与对话的嘉宾包括Sand.AI创始人曹越、阿里通义千问技术负责人林俊旸，以及香港大学助理教授孔令鹏。他们各自在AI领域取得了显著成就，为对话带来了丰富视角。
曹越和孔令鹏在非共识探索中取得了显著成果。曹越将语言模型主流的自回归路线应用于视频模型训练，实现了视频长度的无限扩展。而孔令鹏则通过引入扩散模型，用仅7B的参数量在语言任务上超越了671B的DeepSeek V3。
他们的经历展现了AI行业最具创新性的一面：勇于拥抱非共识，不断探索未知领域。
相比之下，阿里给人的印象似乎更加保守，长期专注于Dense模型的发展。直到2025年2月，千问才推出了首个MoE模型。面对外界的质疑，林俊旸在圆桌上澄清道：“我们并不保守，只是经过大量实验后未能取得预期成果。”
林俊旸还分享了阿里在Transformer架构上的探索历程。他们曾尝试多次改进，但最终发现Transformer仍是最优解。这一经历揭示了共识在AI行业中的重要性：共识往往代表着经过验证的成功经验。
然而，三位嘉宾都感受到了行业的变化。去年还在坚守共识的他们，今年开始积极寻找非共识。林俊旸比喻道：“现在的行业就像是在不同的方向上摸彩票，看谁能中大奖。”
孔令鹏也表达了类似的观点。他认为，无论是语言模型上的扩散模型，还是视频模型上的自回归路线，都是为了平衡模型偏差和数据偏差，达到更好的效果。这一观点揭示了非共识探索背后的共同目标。
在预训练技术方面，美国近期又涌现了新的非共识：预训练还未结束。林俊旸站在了这一新非共识的一方，透露阿里仍有大量数据未用于千问模型，每次加入新数据都能带来性能提升。
在圆桌对话中，嘉宾们还分享了各自在模型优化、架构创新等方面的见解。曹越强调了稀疏化在提升多模态领域效率方面的重要性；林俊旸则关注了MOE模型的进一步探索以及训练稳定性的优化；孔令鹏则探讨了模型可解释性和幻觉问题，并提出了将创造视为搜索问题的新视角。
通过这场对话，我们可以深刻感受到AI行业的多元性和创新性。在这个快速变化的领域里，共识与非共识不断交织碰撞，推动着技术的不断前行。
