卡内基梅隆大学与马里兰大学的研究团队近日提出一项创新机制：让大语言模型像人类一样通过"睡眠"提升推理能力。这项发表于《Language Models Need Sleep》的研究发现，当模型处理长文本时，若持续运行而不进行信息沉淀，其性能会显著下降，尤其在复杂逻辑推导任务中表现尤为明显。
研究灵感源自神经科学领域对记忆巩固机制的理解。人类睡眠时，海马体会反复回放日间经历，将短期记忆转化为长期知识存储在大脑皮层。受此启发，团队为Transformer架构设计了离线信息处理机制——当模型上下文窗口接近容量上限时，暂停接收新输入，转而通过多轮递归前向传播对已有信息进行深度压缩与整合。
传统模型处理长文本时面临双重挑战：注意力机制的计算复杂度随上下文长度呈平方级增长，同时KV缓存的线性扩张导致内存压力剧增。当前解决方案分为两类：一是强制淘汰旧信息，但会丢失关键上下文；二是采用SSM+Attention混合架构，将历史信息压缩至快速权重模块。然而实验表明，即便快速权重未达容量极限，模型在处理多步推理任务时仍会出现性能断崖式下降。
研究团队将这种性能衰退归因于信息处理深度不足。常规架构下，模型仅有一次前向传播机会完成信息内化，难以支撑复杂逻辑的拆解。这与人脑处理机制形成鲜明对比：人类通过睡眠实现离线信息加工，避免外界干扰的同时，通过多次记忆回放确保知识巩固的充分性。
新设计的"睡眠"机制包含三个关键阶段：当检测到上下文窗口达到阈值时，模型进入纯离线状态；通过可学习的局部规则对全部上下文进行多轮递归处理，逐步更新快速权重参数；最终清空KV缓存并恢复常规推理模式。这种设计将额外计算开销集中在离线阶段，确保模型苏醒后的单次前向传播效率与常规架构持平。
实验采用元胞自动机、多跳图检索和无限数学推理三类任务进行验证。测试结果显示，增加"睡眠"迭代轮次可显著提升模型在深度推理任务中的表现，且性能增益与任务复杂度呈正相关。例如在GSM-Infinite数学推理测试中，经过8轮睡眠处理的模型准确率较基线模型提升23%，而在简单分类任务中则无明显差异。
这种生物启发的设计揭示了模型优化的新方向：通过模拟人类认知节律，在计算效率与推理深度间取得平衡。研究团队指出，未来工作将探索动态睡眠调度策略，使模型能根据任务复杂度自动调节离线处理时长，进一步优化资源分配。
