小米近日宣布，其MiMo-V2.5系列API完成永久性价格调整，最高降幅达99%，且不限制输入长度。这一举措的背后，是该团队在推理系统全链路优化方面取得的重大突破。此次降价不仅让用户直接受益，更标志着小米在大模型推理技术领域实现了关键性进展。
技术突破与工程落地之间存在显著鸿沟。初期主流开源框架对SWA的支持存在缺陷，实质上是以存储完整KVCache的代价兼容SWA模式，导致理论收益难以兑现。小米团队通过系统性重构推理栈，从KVCache管理、分级缓存、前缀缓存到调度策略与Prefill/Decode链路进行全面优化。其中，KVCache双池分治设计将存储拆分为Full KV Pool与SWA KV Pool，前者按需增长、长期保存，后者采用环形缓冲区实现窗口级独立淘汰，使存储效率提升约7倍。前缀缓存树重构则通过引入"窗口安全长度"匹配规则、绑定淘汰路径与请求生命周期、支持独立淘汰策略，将线上前缀缓存命中率提升至平均93%，高频用户超过95%。
针对用户对话间隔导致的缓存成本问题，小米自研GCache三级缓存系统实现KVCache在GPU显存、CPU内存和NVMe SSD间的自动流转。该系统通过RDMA通信实现170GB/s读吞吐和280μs延迟，结合SWA的极小存储占用，使相同成本下可承载缓存量成倍提升。在调度优化方面，团队实现KVCache亲和调度与计算量感知优先调度，使L2缓存命中率提升25%，TTFT P90降低30%。Prefill链路通过缩减Expert Parallelism至原先1/2、采用三级长度分桶策略，实现端到端性能提升40%。
Decode阶段优化聚焦显存利用率提升。通过支持SWA的KVCache优化使有效容量提升近5倍，结合CUDA Graph显存调优与PD分离预分配优化，单节点并发能力显著增强。MiMo-V2.5原生支持的3层MTP（Multi-Token Prediction）加速输出技术，使前128 token加速比达2.3倍，128-256 token达1.5倍。在多模态处理方面，团队实现视觉、音频、视频跨模态理解的并行化处理：Encoder支持跨请求组Batch，图片预处理迁移至GPU，视频解码采用多chunk并行处理，使1小时视频端到端延时从156秒降至23秒，整体Encoder吞吐提升至2倍。
这项覆盖Hybrid SWA+MoE+多模态组合架构的大规模工程实践，通过系统性优化将理论效率优势转化为真实生产环境收益。小米已将部分优化成果通过PR形式回馈SGLang开源社区，并计划持续推进更多开源计划，旨在降低工程优化门槛，推动复合架构的广泛应用。此次API降价正是技术突破的直接体现，用户将以更低成本获得更高性能的模型服务。
