小米MiMo大模型团队近日宣布推出一项名为HySparse的创新技术架构，该架构专为应对Agent时代超长文本处理需求而设计，通过融合“极少量全注意力机制+稀疏注意力机制”的核心模式，为行业提供了兼顾效率与精度的解决方案。这一突破不仅为大模型注意力结构研究开辟了新路径，更标志着技术发展从“计算可行性”向“计算经济性”的关键转型。
随着Agent技术在多领域加速落地，处理超长上下文已成为模型的核心能力。当前模型面临双重挑战：既要保持复杂推理中的稳定性，又需在实时响应中控制计算成本。传统全注意力机制虽能精准捕捉信息，但计算开销随文本长度呈平方级增长；纯稀疏注意力虽能降低计算量，却易丢失关键信息。这种矛盾在需要处理数万token的场景中尤为突出，成为制约技术发展的瓶颈。
针对上述难题，HySparse架构通过动态分层设计实现突破。在80B参数规模的MoE模型实验中，团队仅保留5层全注意力层（占总层数10%），其余层采用稀疏注意力机制。这种设计使KV Cache存储需求降低近90%，同时模型在数学推理、代码生成等任务中的表现不降反升。RULER长文测试显示，即使全注意力层大幅减少，系统仍能精准定位跨段落的关键信息，验证了混合架构的优越性。
该架构可视为对小米此前Hybrid SWA技术的升级迭代。通过引入全局token信息补充机制，新架构在保持原有计算效率优势的基础上，进一步优化了信息传递路径。实验数据显示，在7B参数的Dense模型和80B参数的MoE模型中，HySparse均带来稳定性能提升，且未显著增加计算开销。这种“兼容且互补”的设计理念，为混合注意力架构的工程化落地提供了新范式。
据研发团队介绍，HySparse的创新点在于重新定义了注意力资源的分配逻辑。通过将计算资源集中于关键信息节点，既避免了全注意力机制的资源浪费，又克服了稀疏注意力机制的信息碎片化问题。这种设计特别适用于需要多轮推理的复杂场景，例如在法律文书分析、科研论文解读等任务中，系统能动态识别核心段落并建立高效关联。
目前，小米MiMo团队正着手在更大规模模型中验证HySparse的扩展性。后续研究将聚焦于进一步压缩全注意力层数量，探索在保持性能前提下将计算复杂度降至理论极限的可能性。这项技术突破不仅为学术界提供了新的研究方向，也为工业界优化大模型部署成本提供了实用参考，有望推动Agent技术在资源受限场景中的广泛应用。
