中国科学技术大学脑认知智能感知教育部重点实验室联合华为技术有限公司、天津大学智能与计算学院，在国际学习表征会议（ICLR）上发表了一项突破性研究。该成果通过构建统一理论框架，首次系统解释了人工智能大语言模型中复杂的注意力模式形成机理，并为模型优化提供了全新思路。这项编号为arXiv:2601.21709的研究，在理论构建与工程应用层面均取得重要进展。
注意力机制作为大语言模型的核心组件，其运行模式长期困扰着科研人员。研究团队发现，不同模型在处理文本时会产生三种典型模式：部分模型像聚光灯般反复聚焦关键词汇，另一些如扫描仪般按序移动关注点，还有部分呈现周期性变化特征。这些看似随机的行为模式，实则遵循着以"查询自相似性"为核心的时间演化规律。研究人员通过构建"时间注意力模式可预测性分析"（TAPPA）框架，揭示了查询向量在时间维度上的变化特征，是决定注意力分布形态的关键因素。
该理论框架的创新性体现在将注意力模式与时间连续性建立数学关联。研究显示，当查询向量在相邻时刻保持高度相似时，注意力分布呈现稳定可预测特征；反之则产生随机波动。这种特性类似于车辆行驶轨迹：平稳驾驶时路线可预测，急加速转弯时轨迹难以捉摸。通过量化这种时间连续性，研究团队成功预测了重访模式、序列模式和季节性模式等已知现象，并发现新的模式类型。
旋转位置编码（RoPE）技术的几何特性在理论验证中发挥关键作用。这种将词汇位置信息转化为旋转角度的设计，使得注意力计算仅依赖相对位置关系。研究团队通过控制实验证实，低频通道主导时产生重访模式，高频通道激活时形成周期性条纹，而输入文本周期性与编码周期共振时则出现季节性模式。这些发现不仅解释了现有模型的行为特征，还为定制化注意力模式提供了理论依据。
在工程应用层面，该理论催生出两项突破性技术。针对模型处理长文本时的内存瓶颈，研究团队提出动态键值缓存分配策略。通过评估各层的查询自相似性，系统自动为不同注意力头分配差异化缓存预算：稳定模式层获得较少资源，检索模式层保留更多缓存。实验表明，在严格预算限制下，该方法在LongBench基准测试中的性能显著优于现有技术。
模型剪枝领域同样取得重要进展。传统方法依赖复杂指标评估结构重要性，而新方法通过测量查询自相似性，快速识别可压缩层。结合块影响力分析后形成的复合指标，在高剪枝率场景下仍能保持模型性能。测试数据显示，43%结构剪枝后，优化模型在多个任务中的表现明显优于传统方法，验证了理论指导的精准性。
实验验证环节展现了理论预测与实际观测的高度吻合。通过对Llama-3.1和Qwen2.5等主流模型的分析，研究人员发现查询自相似性呈现层次化分布特征：早期层普遍具有高相似性，中间层出现分化，后期层检索行为增多。控制实验中，调整RoPE主导通道位置后，注意力图中的周期性条纹间距严格遵循理论公式，误差控制在极小范围内。
该研究的数学基础构建于严谨的定理体系。研究团队证明了注意力波动幅度与查询变化程度存在精确数学关系，为量化不可预测性提供工具。对于可预测模式，推导出的数学公式精确描述了重访模式的稳定性条件、序列模式的平移特性以及周期性条纹的间距计算方法。这些成果不仅解释现有现象，更为开发新型模型架构指明方向。
技术创新体现在完整的方法论体系构建。查询自相似性指标采用余弦相似度与滑动窗口计算方案，在保持时间敏感性的同时确保计算效率。工程应用中，研究团队开发出调整因子将理论指标与传统方法融合，形成渐进式优化策略。配套工具链包含分析平台、验证系统和部署接口，为后续研究提供完整基础设施。
这项成果对人工智能发展产生多维度影响。理论层面，用统一框架解释复杂现象的研究范式，推动领域从经验主义向系统科学转变。工程层面，优化技术使模型在移动端部署成为可能，云端服务成本有望降低。安全领域，可预测的注意力行为为构建可控AI系统提供新思路。研究团队已发现不同文本类型可能激发独特注意力模式、多语言模型行为规律等新问题，相关探索正在持续推进。
