在人工智能领域，大型语言模型处理多文档任务时一直面临一个关键挑战：如何高效利用预先计算的缓存，同时避免因文档拼接导致的性能下降。近日，由慕尼黑工业大学、达姆施塔特工业大学、浙江大学及伊尔梅瑙工业大学联合研发的KV Packet技术，为这一难题提供了创新解决方案。该成果发表于第40届神经信息处理系统大会，论文编号arXiv:2604.13226。
传统AI助手在处理用户提问时，需先"消化"相关文档才能生成回答，这一过程产生的等待时间被称为"首Token时延"。为提升效率，工程师们开发出KV缓存机制，将文档预处理结果存储备用。然而，当多个缓存文档拼接使用时，模型会因缺乏前文语境而出现理解偏差，导致回答质量下降。现有解决方案要么通过微调模型参数，要么在回答前对部分词汇重新计算，但均存在计算成本高或实施复杂等问题。
研究团队提出的KV Packet方案另辟蹊径，通过在文档首尾添加特殊"软标记"——头部适配器和尾部适配器，构建独立的"文件包"结构。这些适配器作为可训练的连续向量，在离线阶段与文档共同计算KV缓存，使用时只需简单拼接多个文件包的缓存并调整位置编码，即可直接生成回答。这一设计如同为文档穿上"隔离服"，有效消除了拼接处的结构性干扰。
训练过程中，研究团队采用自监督蒸馏方法，让模型在完整处理文档与使用文件包处理两种模式下生成回答，通过最小化两种输出概率分布的差异来优化适配器参数。实验表明，仅需8个头部适配器和8个尾部适配器，即可在保持回答质量的同时，将计算量降低至传统方法的十万分之一至百万分之一。在首Token时延测试中，该技术使等待时间最多缩短近20倍，性能接近理想状态下的完整重计算水平。
该技术的另一突破在于与现有KV缓存压缩技术的天然兼容性。传统重计算方案因需访问缓存内部结构，与压缩算法存在冲突，而KV Packet将每个文件包的缓存视为独立单元，不受压缩后不规则结构的影响。测试显示，在50%压缩率下，其性能下降幅度显著低于基线方法，且适配器向量本身展现出较强的抗压缩能力。
跨领域实验进一步验证了方案的通用性。研究人员在信息检索、人物传记、多跳推理等不同类型数据集上训练适配器，发现混合语料训练的"通用适配器"在各类任务中均表现稳健。例如，在HotpotQA数据集上，通用适配器达到0.42的F1分数，显著优于单领域训练的适配器。这表明该技术可适应真实场景中多样化的文档类型。
内部机制分析揭示了适配器的作用原理：通过吸收本应集中于文档开头的注意力，使模型更均匀地从正文提取信息。可视化数据显示，使用KV Packet后，文档开头的注意力峰值消失，适配器位置成为新的注意力焦点，从而避免了因语境断裂导致的推理偏差。
尽管该技术已展现出显著优势，研究团队也指出其局限性：当检索文档与训练语料分布差异较大时，适配器效果可能减弱；目前仅在Llama和Qwen模型家族上验证；对于存在强逻辑依赖的多文档推理任务，仍需进一步优化。对于需要频繁调用AI处理文档的企业而言，这项技术有望通过降低计算成本和提升响应速度，重塑AI应用的经济模型。
