康奈尔大学与哈佛大学联合研究团队提出一项突破性架构设计，通过重构Transformer核心机制，使大语言模型训练效率实现质的飞跃。这项被命名为"状态-预测分离假说"（SPS）的技术方案，通过将记忆存储与预测生成两大功能解耦，在保持模型规模不变的前提下，将数据需求量降低至传统架构的40%，同时显著提升跨领域泛化能力。
研究团队发现，传统Transformer架构存在根本性设计缺陷：每个隐藏状态单元需同时承担记忆存储与预测生成双重职责。这种"身兼二职"的机制导致两类任务产生梯度冲突——记忆存储要求保留完整上下文信息，而预测生成则聚焦即时相关性。这种内在矛盾在模型训练过程中持续累积，最终形成制约性能提升的瓶颈。
SPS架构通过引入预测令牌（ρ）实现功能分离。原始输入序列"x1,x2,x3..."被重构为"x1,ρ1,x2,ρ2..."的交替形式，每个输入词后跟随专属预测令牌。输入词xi的隐藏状态专注构建持久记忆，其信息永久存储于KV缓存；预测令牌ρi则仅负责即时预测，其隐藏状态在64步后自动清除。这种设计使两类任务获得独立优化空间，梯度信号得以精准传导。
实验数据显示，在5300万至16.78亿参数的五个模型规模中，SPS架构均展现显著优势。16.78亿参数模型仅需180亿训练词元即可达到传统架构470亿词元的验证损失水平，数据效率提升260%。在跨领域测试中，SPS模型在科学推理、常识判断等五项基准任务上的平均准确率达66.3%，较传统架构提升3.1个百分点。特别值得注意的是，这种性能提升不依赖额外计算资源，其显存占用仅增加1%，生成速度降低不超过10%。
控制实验证实功能分离的关键作用。"双倍记忆"变体虽扩大缓存容量，但因未实现功能解耦，性能提升幅度不足SPS的60%；"延迟状态"变体虽保持相同计算量，但因梯度传导路径错乱，性能差距达20%。这些对比验证了SPS架构的核心价值在于优化信息处理流程，而非单纯增加模型容量。
梯度流向分析揭示了SPS的作用机制。输入词位置的未来梯度信号强度较传统架构提升40%，表明其参数优化更聚焦长期记忆构建；预测令牌位置的即时梯度集中度提高35%，证明其专注于提升预测精度。持久记忆价值评估显示，限制SPS模型缓存容量导致的性能衰减是传统架构的2.2倍，印证其记忆质量显著优化。
该研究与多项前沿发现形成呼应。机械可解释性研究证实，早期网络层已具备预测远距离词汇的能力，这与SPS架构的预缓存设计理念一致；XLNet的流分离机制虽目的不同，但为功能解耦提供了技术参考；输入侧计算扩展研究则从反面验证了单纯增加计算步骤无法替代功能分离的价值。
研究团队承认当前成果存在局限性。所有实验均基于教育类英文语料训练，多语言场景下的有效性有待验证；最大测试规模16.78亿参数与当前主流大模型存在数量级差距。技术实现层面，训练阶段上下文长度翻倍带来的计算成本问题，以及预测流水线与记忆流水线的参数共享策略，均为后续优化方向。
这项突破为应对数据资源枯竭危机提供新思路。随着高质量人类生成文本增长放缓，提升单位数据利用效率成为关键。SPS架构证明，通过优化信息处理架构而非单纯扩大规模，可在现有资源约束下实现性能跃升。该研究已公开论文编号arXiv:2607.01218及GitHub代码库，供全球开发者验证与改进。
