字节跳动Seed实验室联合复旦大学与香港中文大学的研究团队，在提升大语言模型处理长文本效率方面取得突破性进展。他们提出的名为FlashMorph的创新方法，通过数学优化框架解决混合注意力模型中的关键层选择难题，相关论文已在arXiv平台公开（编号2606.30562），代码同步开源至GitHub。
传统大语言模型在处理超长文本时面临计算量指数级增长的技术瓶颈。全注意力机制虽能精准捕捉长距离依赖关系，但随着文本长度突破64K词元，其计算复杂度呈平方级上升，导致模型响应速度骤降甚至内存溢出。研究团队通过实验发现，原始Qwen3模型在32K文本处理中表现优异，但当文本扩展至256K时准确率直接归零，即便采用YaRN等上下文扩展技术仍无法稳定解决该问题。
针对这一挑战，学术界此前尝试过两种主流解决方案：均匀间隔选层法简单粗暴地按固定间隔保留全注意力层，但完全忽视模型各层功能差异；逐层打分法则通过KL散度或直接效果评估为各层打分，但这类方法默认各层作用独立，未能捕捉层间协同效应。更关键的是，现有方法在30B参数规模模型上需要消耗500亿词元进行选层，计算成本高得惊人。
FlashMorph的核心创新在于将选层问题转化为数学优化问题。研究团队首先为模型每层构建线性注意力"替身"，通过模仿原始层输出完成预训练。随后进入关键优化阶段：冻结所有原始参数，仅通过可学习的门控值（0-1区间）动态调节每层使用全注意力或线性替身的权重。优化过程同时追求两个目标：保持混合模型输出与原始模型接近，以及通过正则化约束尽可能使用线性替身。这种竞争机制使得真正不可或缺的层自动获得高门控值，而可替代层则被压缩。
实验数据显示显著优势：在"大海捞针"长文本检索任务中，1.7B参数模型经FlashMorph优化后，在256K文本长度下仍保持73.2%的准确率，而传统KL-LS方法仅得3.8分。更惊人的是，该优化过程仅消耗2000万词元，相比PostNAS方法的500亿词元用量，数据效率提升2500倍，GPU计算时间从2561小时压缩至2.1小时。在通识推理任务中，混合模型在ARC常识推理等基准测试中得分与原始模型几乎持平，长文本检索平均分反而提升12%。
技术细节方面，研究团队专门设计了合成长文本检索数据进行优化监督。这类数据在长文中随机插入多个密码串，要求模型在文末准确回忆，直接针对线性注意力最薄弱的长距离信息检索能力施压。消融实验证明，使用该数据使模型在RULER长文理解评测中的得分从61.6提升至64.7分。对0.6B和1.7B模型的分析显示，FlashMorph倾向于保留靠近输入层的低序号层和中间语义处理层，这与Transformer模型"底层处理语法、中层构建语义"的功能分布理论相吻合。
在30B混合专家模型（MoE）的测试中，尽管FlashMorph在特定检索任务中得分略低于HALO方法，但在通识理解和长文本检索的综合评分上仍保持领先。这验证了联合优化框架在复杂模型架构中的扩展性——随着模型规模从0.6B增长至8B，FlashMorph的选层计算量增幅显著低于传统方法，在8B模型上仍保持对均匀间隔和HALO方法的优势。
该技术具有直接的应用价值。对于消费级AI助手，FlashMorph可使设备在处理长文档、多轮对话时内存占用降低60%，响应速度提升2倍以上，且不会牺牲回答质量。企业部署场景下，相同硬件可支持的用户量增加3倍，或用更少服务器维持现有服务水平。不过研究团队也指出，当前方法在合成数据多样性上仍有提升空间，未来计划探索更丰富的长文本检索任务设计，并进一步压缩线性替身预训练阶段的成本。
