在人工智能文字生成领域，一种名为掩码扩散语言模型（MDLM）的技术正引发关注。与传统自回归模型如ChatGPT逐字生成的方式不同，MDLM采用“整体涂黑再逐步还原”的独特机制——先生成全篇空白文本，随后通过数百乃至上千轮迭代，每次填充部分内容，最终形成完整段落。这种并行处理方式虽能捕捉全局语义，但每轮迭代均需调用完整大模型，导致计算成本高昂，成为制约其应用的关键瓶颈。
针对这一难题，俄罗斯MWS AI与ITMO大学联合研究团队提出创新思路：是否所有迭代步骤对模型能力的要求均等？通过系统实验，他们发现生成过程存在显著“能力需求差异”——开头与结尾阶段对模型复杂度容忍度较高，而中间阶段对模型性能极为敏感。这一发现为优化计算资源分配提供了理论依据。
研究团队设计了一套“混合调度”策略，通过交替使用不同层数的Transformer模型降低计算开销。他们训练了从4层到12层不等的多个模型，其中12层模型作为“主力”，4层模型作为“替补”。实验在OpenWebText和LM1B两个数据集上展开，覆盖长文本（1024词）与短文本（128词）场景。结果显示，将25%的迭代步骤替换为4层模型时，若这些步骤集中在生成中间阶段，文本质量（以GPT-2评估的困惑度为指标）显著下降；而若替换步骤分布在开头或结尾，质量损失可控制在3.41%以内，同时节省16.7%的计算量。
为验证规律的普适性，研究团队进一步开展“穷举搜索”实验：将1000步生成过程划分为10段，测试所有可能的4段替换组合（共210种）。结果呈现明显规律——最佳方案均将替补步骤集中在首尾，而最差方案无一例外地将替补步骤堆砌在中间。统计显示，中间段落在最差方案中出现频率是最佳方案的3倍以上，证实了“中间敏感、两端稳健”的结论。
通过量化分析，研究团队绘制出计算成本与生成质量的权衡曲线：当用4层模型替换25%步骤时，困惑度上升3.41%；若替换比例提升至50%，困惑度上升约10%；而完全使用4层模型时，困惑度激增24.5%。这种平滑的权衡关系为实际应用提供了灵活选择——开发者可根据需求在质量与效率间自由调节。
深入探究机制时，研究团队发现中间阶段的高敏感性源于“模型分歧”现象。通过比较轻量模型与重量级模型在各阶段的预测差异，他们发现中间阶段的预测分歧比首尾阶段高出40%以上。这种分歧不仅体现在预测损失上，更反映在词汇概率分布的显著差异中。进一步分析表明，中间阶段需处理“部分信息明确、部分信息模糊”的复杂语境，对上下文理解能力要求极高，而轻量模型在此场景下容易“力不从心”。
该策略的优势在于其“即插即用”特性——无需重新训练大模型，也无需修改生成算法，仅需在推理阶段动态选择模型即可。它与现有加速技术（如KV缓存、跳步解码）具有天然兼容性，可叠加使用以实现更高效率。研究团队同时指出，当前实验基于中等规模模型（12层），未来若迁移至更大规模模型（如百亿参数级），需进一步验证规律稳定性；同时，探索基于实时序列状态的“动态调度”策略，有望进一步优化资源分配。
这项研究为降低MDLM计算成本提供了新范式。通过合理分配任务，掩码扩散模型有望摆脱“高成本”标签，在保持输出质量的同时，将运算开销压缩至更易接受的范围。这不仅为资源有限的研究者开辟了探索路径，也为将MDLM集成至实际产品（如智能写作助手、内容生成平台）提供了经济可行的解决方案。
