为应对这一挑战，业界探索出两条降本增效的技术路线。第一条是位置无关缓存（PIC）技术，它突破传统严格前缀约束的限制，允许每个语义独立片段仅缓存一次，并能灵活拼接到任意前缀之后，这种设计完美契合RAG与Agent的提示词组装方式。其技术本质可分解为两个核心操作：沿token轴直接拼接的splice操作，以及通过重算少量token恢复跨段上下文的correction操作。第二条技术路线是混合注意力模型，该模型采用线性注意力替换大部分全注意力层，将注意力计算的复杂度从二次方降至线性，同时将无界历史信息压缩为固定大小的循环状态。近期推出的生产级模型如MiniMax-M1、Ring-2.5、Qwen3.5、Kimi-Linear等，普遍采用混合注意力设计，将75%以上的层替换为线性层，仅保留少量全注意力层。以Qwen3.5-35B-A3B模型为例，其40层架构中有30层为线性层。
然而，混合注意力模型的发展面临关键瓶颈：现有PIC技术主要针对逐token的KV缓存进行优化，而线性注意力层仅暴露per-request的循环状态，缺乏逐token的操作接口，导致splice和correction操作无法实施。这意味着混合模型中的大部分线性层无法受益于现有PIC技术，此前尚未有系统能够为混合注意力大模型提供有效的位置无关缓存解决方案。
针对这一技术难题，由小红书大模型推理团队联合北京大学、上海交通大学研发的HYPIC系统取得突破性进展。该系统成为首个在混合注意力大模型上实现位置无关缓存的服务框架。在4个生产级混合注意力模型、5个典型工作负载的测试中，HYPIC系统展现出显著优势：首token延迟平均降低3.25倍，在相同服务水平目标（SLO）下可持续查询处理能力（QPS）提升1.66倍，同时任务质量与完全重算模式仅相差1.71分。该系统的核心创新在于采用分而治之的策略，针对线性层和全注意力层分别设计优化机制，并通过系统级并行技术加速冷请求处理，这三个机制相互配合构成完整解决方案。
在线性层优化方面，HYPIC系统引入"转移算子"缓存机制，实现常数时间状态组合。传统PIC方案采用简单相加的方式处理两段状态的组合，这在基础线性注意力模型中可行，但在包含衰减、门控、delta擦除等机制的进阶线性注意力模型（如RetNet、Mamba2、GLA等）中会产生结构性误差。HYPIC系统通过深入分析发现，段累积转移算子T_C（即段内所有token转移矩阵的连乘）和零初值末状态S(C|0)仅由片段内部token决定，与前缀无关。因此，系统在片段首次预填充时同时缓存(T_C, S(C|0))二元组，复用时通过组合律左乘T_C再相加，可在常数时间内精确还原任意前缀下的末状态。实验数据显示，在Qwen3.5-35B-A3B模型上，组合状态与完全重算结果在第0层的差异仅为6×10⁻⁵，完全在FP16精度噪声范围内。针对带因果卷积和RoPE的变体模型，系统分别开发了卷积状态热身和状态重旋转补丁进行严格对齐。
在全注意力层优化方面，HYPIC系统采用"缝合窗口"技术修复跨段注意力。混合模型中的少量全注意力层仍需要PIC支持，但传统选择性重算方法无法直接应用，因为下方线性层仅保留末状态，非末尾token无法向上传递。若采用逐token存储循环状态或从零重新递推的方案，将面临存储或算力方面的不可行问题。研发团队观察到，KV拼接后的偏差高度集中在每个复用片段的开头部分，其余部分几乎不受影响，这与全注意力模型中的attention sink现象一致。基于此发现，系统为每个内部片段开头w个token（默认w=8）构造缝合窗口，缓存时跳过这些token，复用时在完整前缀下重新计算以修复跨段注意力。由于实际片段长度通常超过512token，缝合窗口仅占极小比例，重算开销可控。为支持段首KV重算，线性注意力层在复用时需即时计算缝合窗口的T和S，在推进running state的同时，将每个seam token的逐层输出传递给上层全注意力层。
该系统已在SGLang框架上实现，包含约1.4万行Python与Triton代码。在8×H20节点配置下，选取4个生产级混合注意力模型（Ring-mini/flash-linear-2.0、Qwen3.5-35B-A3B/122B-A10B）和4个公开数据集（HotpotQA、TriviaQA、MultiNews、GovReport）以及1条生产RAG跟踪数据进行评测。全量预热测试显示，HYPIC系统相比Prefix Cache将p50 TTFT平均降低3.25倍（各模型降低2.77倍至4.05倍），任务质量几乎无损——16个"模型×数据集"组合单元平均仅落后完全重算1.71分，在Qwen3.5-35B模型上甚至反超0.47分。作为对比，不缓存转移算子的朴素相加方案直接导致66.9%的分数损失，验证了T_C的必要性。在生产RAG跟踪数据测试中，在1秒TTFT SLO约束下，HYPIC系统将可持续QPS相比Prefix Cache提升1.66倍（1.49倍至1.85倍），峰值单卡吞吐提升约1.3至1.5倍。在纯冷未命中场景下，一条32k token请求的TTFT从单worker的2.83秒降至8worker的0.49秒，实现5.7倍加速，且几乎全部加速收益来自可近线性扩展的scatter阶段。面对不均匀分片情况，LPT策略相比轮询策略将TTFT从1.26秒压缩至0.84秒（3.6倍加速对2.4倍加速）。系统开销方面，构造(T_C, S(C|0))的一次性成本在最复杂的稠密转移模型上也仅为主前向计算的5.2%至6.7%，通过多次复用可有效摊薄成本。
