今天，Google 研究员 Ali Behrouz 在 X 上分享了团队的一项研究《Language Models Need Sleep》。
他提出，当大模型开始走向持续学习，过去那种「先训练、再使用」的模式可能已经不够了。未来的模型或许需要在「清醒」和「睡眠」之间不断切换：清醒时接收信息、处理任务，睡眠时整理记忆，再通过「做梦」继续训练自己。
大模型也得「睡觉」？
这句话听起来有些奇怪。AI 向来被认为不需要休息，可以一天 24 小时回答问题、分析文件、执行任务。
但研究团队所说的「睡眠」，并不是让服务器关机，更不是让模型模仿人类作息。它真正指向的是一个长期没有解决的问题：大模型一直在工作，却很难从这些工作中真正积累经验。
今天纠正过的错误，换一个对话后可能还会再犯；刚刚掌握的规则，一旦离开当前上下文，也可能随之消失。模型看起来随时都在学习，实际上，大量新信息只是暂时停留在对话里，并没有真正进入模型。
Ali Behrouz 团队希望给模型增加一个专门的「整理阶段」。模型先在清醒时接触世界，再在睡眠时回顾近期经验，把有价值的信息留下来。
这个思路听起来像是在模仿人类记忆，背后讨论的却是大模型持续学习中最棘手的问题：怎样让模型学会新东西，又不把原来会的东西忘掉。
大模型为什么不会越用越聪明
现在的大模型并不是完全没有记忆。它可以读取当前对话，也可以连接数据库、搜索系统和用户档案。用户在对话中告诉它一套新规则，它通常能立刻照着执行；系统提前保存了用户偏好，它也能在下次对话时重新调取。
但「能看到过去的信息」和「真正学会这些信息」并不是一回事。
上下文更像模型面前的一张临时便签。只要便签还在，模型就可以参考；一旦内容被移出上下文，之前表现出来的适应能力往往也会消失。外部记忆也是类似的逻辑，只不过便签被放进了数据库，需要时再拿出来。
真正稳定的知识通常储存在模型参数中。模型在预训练和微调阶段获得的语言、事实和推理能力，都以参数的形式保留下来。问题在于，参数不像上下文那样可以随时更新。每次修改都需要新的数据和训练，还可能影响原来已经形成的能力。
这就是持续学习中的「灾难性遗忘」。模型学习一批新知识时，会修改原有参数，而这些参数往往还承担着其他任务。新能力提高了，旧能力却可能随之下降。模型不是简单地在空白处增加内容，而是在一套已经高度耦合的知识结构上继续改动。
因此，大模型真正缺少的不是更长的上下文，也不是更大的数据库，而是一条从短期经验通向长期知识的路径。它需要先接收信息，再判断哪些内容值得保留，最后把新知识安全地融入已有能力。
「睡眠」正是被放在这个位置。模型在清醒时快速适应，不急着立刻修改自己；等到任务告一段落，再集中处理近期经验。这样既保留了上下文学习的速度，也给长期更新留下了更稳定的空间。
「睡眠」如何把短期经验变成长期记忆
进入睡眠阶段后，模型首先要做的不是生成更多内容，而是整理已有信息。
研究团队提出了一种名为 「Knowledge Seeding」 的方法，可以理解为「知识播种」。已经掌握近期信息的模型状态充当教师，把这些知识迁移到一个容量更大的模型状态中。新增参数负责容纳新知识，原有参数则尽量保持稳定。
普通微调通常在同一套参数上不断更新。新任务越多，模型越容易在原有知识上反复覆盖。「知识播种」换了一种思路：与其不断修改已经写满的页面，不如为模型增加新的页面，让新知识拥有相对独立的空间。
这个设计解决的是持续学习中的「稳定」和「可塑」问题。模型需要保持足够的可塑性，才能接收新知识；同时也需要足够稳定，避免每次更新都破坏原有能力。两者很难同时实现。模型太稳定，就学不动；模型太容易改变，又会不断遗忘。
「睡眠」把这两种需求分开处理。清醒阶段允许模型快速变化，用来应对眼前任务；睡眠阶段则放慢更新速度，把短期知识迁移到更稳定的位置。完成迁移后，负责快速学习的部分可以重新释放，为下一批信息腾出空间。
这也说明，持续学习并不等于把所有信息都永久保存。真正成熟的系统必须建立不同层次的记忆：有些内容只在当前任务中有用，有些经验值得保留一段时间，还有少数知识需要进入长期参数。
模型需要处理的，不只是「记不记得」，还有「应该记多久」「存在哪里」以及「是否会与原有知识冲突」。从这个角度看，「睡眠」更像一次内部整理，而不是一次普通更新。
但知识被保存下来，并不代表模型已经真正会用了。它还需要在不同场景中反复调用这些知识，检查自己到底掌握了多少。这就引出了研究中的另一个环节——「做梦」。
AI「做梦」，是在把经历重新变成训练材料
研究团队把模型生成合成训练数据的过程称为 「Dreaming」。
这里的「做梦」并不神秘。模型会围绕近期学到的知识生成新问题，再用这些问题训练自己。假设模型刚刚掌握一种新的推理方法，它可以生成一组难度不同的任务，检查自己能否在新场景中继续使用这套方法。
如果模型在某类任务上表现不稳定，它还可以生成更多相关样本，专门练习薄弱部分。一次真实任务由此不再只产生一个答案，还可能变成下一轮训练的起点。
对于 AI Agent 来说，这一点尤其重要。一个编程 Agent 如果连续几次在同类依赖冲突上失败，传统系统最多把失败记录保存下来。下一次遇到类似问题时，模型仍然需要重新阅读日志、重新分析。具备“做梦”能力后，Agent 可以围绕这些失败生成更多变体，练习如何识别问题、选择方案和避开错误。
这让「使用」和「训练」之间的界限开始变得模糊。模型不再只依赖开发者提前准备好的数据，它在真实任务中获得的经验，也可以经过整理后重新进入训练流程。
不过，让模型自己给自己出题，也可能把错误越练越熟。模型如果最开始就理解错了，后续生成的数据很可能继续建立在错误基础上。反复训练不会自动纠正偏差，反而可能让错误更加稳定。
因此，「做梦」不能只是大量生成数据。系统还需要判断哪些样本真正有价值，哪些只是重复，哪些可能包含错误。外部验证、奖励评估、能力测试和版本回滚都不可缺少。
一个真正会学习的模型，不只是能生成更多训练材料，还应该知道自己哪里不足、练习有没有效果，以及更新后是否损害了其他能力。能够管理自己的学习过程，才是「做梦」机制真正想达到的目标。
持续学习会把大模型变成什么当前的大模型更像一件集中生产的产品。开发者完成预训练、微调和安全对齐，再向用户提供一个相对固定的版本。模型上线后负责回答问题，能力更新则要等到下一次重新训练。
「清醒—睡眠」循环会改变这种产品逻辑。模型在工作中接触新任务，在睡眠阶段更新自己，再以新的状态继续工作。发布时的能力不再决定模型的全部表现，部署后的经历也会逐渐影响它的发展。
这可能改变行业评价大模型的方式。过去，人们主要关注参数规模、上下文长度、推理速度和基准测试成绩。这些指标衡量的是模型在发布那一刻有多强。持续学习模型还需要接受另一组考验：运行半年后学到了什么，吸收新知识时有没有遗忘旧能力，错误更新能不能被撤销。
长期来看，模型的成长质量可能和初始能力同样重要。一个发布时表现很强、上线后却始终停留在原地的模型，未必比一个能够稳定吸收经验的模型更有价值。
但模型不断变化后，管理难度也会迅速增加。不同用户会提供不同任务、数据和反馈，模型可能逐渐形成不同的发展路径。个人助手会越来越贴合个人习惯，企业 Agent 会积累内部业务经验，但开发者也很难再用一个统一版本解释所有模型的行为。
隐私问题也会更加复杂。保存在数据库中的信息可以查看和删除，进入参数中的信息却很难准确定位。用户要求模型忘记某项内容时，系统不仅要删除记录，还要判断这项信息是否已经影响了模型能力。
持续学习因此不能只有「学习」，还必须配套知识追踪、权限管理、主动遗忘和版本回滚。模型需要知道自己学过什么，开发者也要能够检查、限制和撤销这些变化。
「大模型也得睡觉」并不是一个单纯的拟人化说法。它提出了一种新的模型生命周期：清醒时处理任务，睡眠时整理经验，再带着新的能力进入下一轮工作。
