2025年末，大模型领域的竞争进入白热化阶段，各大科技公司纷纷亮出技术底牌。在这场激烈角逐中，谷歌推出的Gemini 3模型凭借卓越表现脱颖而出，一举刷新行业认知，成为全球关注的焦点。
11月18日，Gemini 3在多项权威基准测试中表现惊艳，以“世界最强多模态理解”“交互最深智能体”“推理怪兽”的姿态，全面超越全球同类模型。谷歌CEO桑达尔·皮查伊亲自为其站台，称其为“迄今为止最智能的模型”。这一消息在AI圈引发轰动，人们纷纷探究其背后的技术秘诀。
Google DeepMind研究与深度学习副总裁Oriol Vinyals在推特上透露，Gemini 3的核心优势在于“更好的预训练”和“更好的后训练”。这一观点迅速引发行业热议，成为探讨的焦点话题。
近日，Gemini 3预训练负责人之一、开创性论文RETRO的合著者Sebastian Borgeaud在一档播客节目中，深入解析了这款顶级模型背后的技术逻辑。他指出，Gemini 3的突破并非单一环节的成果，而是无数细节持续优化的结果。团队几乎每天都能找到提升模型性能的方法，整个团队处于高速前进状态。
Sebastian Borgeaud强调，谷歌的技术思路已从单纯“做模型”转向“做系统”。这一观点与DeepMind联合创始人兼CEO戴密斯·哈萨比斯的看法不谋而合。哈萨比斯曾公开表示，Gemini 3的强大源于“研究、工程和基础设施”的深度融合。
Gemini 3的成功侧面反映了AI行业的深刻变革：AI发展已从“无限数据”的规模化时代，迈入“数据有限”的新阶段。这一趋势不可逆转，迫使行业重新思考创新方向。Sebastian Borgeaud认为，合成数据、推理轨迹、长上下文、持续学习、端到端检索训练以及可靠的评估体系，将共同构成AI行业未来的进化路径。
早在经典的Chinchilla项目中，DeepMind团队就已发现关键规律：在训练计算量固定的前提下，扩大数据规模比盲目扩大模型规模更能训练出优质模型。这一结论对当前模型训练后的推理服务效率和使用成本具有重要指导意义，成为企业落地AI的核心考量之一。
作为从强化学习转向表征研究的资深专家，Sebastian Borgeaud在预训练领域积累了深厚经验。从Transformer架构到BERT、XLNet，再到DeepMind的首篇大语言模型论文Gopher，丰富的研究经历让他形成了独特的研究视角，为Gemini 3的预训练突破奠定了基础。
针对行业内“预训练Scaling Law已死”的争议，Sebastian Borgeaud明确回应：“规模依然重要，但架构创新和数据创新的权重已显著提升，甚至更为关键。”
在数据受限的背景下，合成数据成为行业追捧的热门方案，但Sebastian Borgeaud对此持谨慎态度。他认为，合成数据的核心风险不在于“无效”，而在于“误用”。一旦数据分布发生偏移，模型可能陷入“自嗨”的闭环。他建议，用强模型生成合成数据后，必须通过小规模可控消融实验，验证其收益和潜在副作用。
在播客后半段，Sebastian Borgeaud将话题转向下一轮预训练的热点。他认为，预训练不会再沿着“更大、更长、更贵”的单一路线发展，重点将转向架构创新。长上下文和注意力机制是其中的关键变量。更长的上下文能让模型推理时携带更多信息，拓宽能力边界。
更长期的方向是将检索与搜索更深地融入训练，实现端到端、可微的学习，让模型将“会检索”变为内生能力。Sebastian Borgeaud判断，强化学习的规模化可能推动这一进程，但要沉淀为稳定的架构与训练范式，还需数年时间。
持续学习也是重要方向之一。Sebastian Borgeaud直言，基础模型一旦预训练结束，知识就基本定格。当前行业更可行的办法是在产品推理侧接入检索，将最新信息实时拉入上下文，再基于这些材料完成推理，避免频繁重训底座模型，缓解知识过期问题。这与他参与的RETRO项目思路一致，即把知识放在外部库，模型负责推理。他认为，检索增强方法近年走向成熟，未来几年有望更深入地应用于Gemini等头部模型。更远的目标是改变训练方式，让模型能在真实世界的数据流上持续训练，实现真正意义上的“持续更新”。
Sebastian Borgeaud特别强调评估在预训练阶段的核心地位。他认为，如果评估体系跟不上，很容易陷入“看似提升”的假象内耗，无法分辨是模型改进还是数据问题。谷歌内部搭建了专属评估体系，以避免外部基准被污染，保留内部评估阵地。
他指出，评估需要跨越两道鸿沟：一是小模型上验证有效的改进能否顺利迁移到大规模模型上；二是预训练阶段的优势能否在后训练后转化为真实可用的能力。
服务成本也是不可忽视的现实约束。随着用户规模扩大，推理预算变得敏感，预训练环节必须为“上线落地”负责，在提升模型能力的同时降低成本、节省资源。
对于Gemini 3的表现，Sebastian Borgeaud直言“超出预期”。他认为，模型的进步不仅体现在基准测试的优异成绩上，更反映在真实工作场景的使用体验中。
展望未来，他预测Gemini将更好地服务于科学研究，甚至可能助力重大科学发现；同时也会更深入地融入普通人的生活，解决各类实际问题。他表示，进步的脚步看不到尽头，至少未来一年，这种加速前进的势头不会放缓。
