苹果公司与俄亥俄州立大学科研团队近日联合宣布,成功开发出一种名为“Few-Step Discrete Flow-Matching”(FS-DFM)的新型语言模型架构。该模型通过融合扩散技术与流匹配算法,在长文本生成效率与质量上实现了突破性进展。
实验数据显示,FS-DFM的文本生成速度较主流大语言模型提升128倍,同时保持甚至超越了现有扩散类模型的文本质量。这一成果主要得益于其独特的“整段生成-快速修正-成文输出”模式,仅需8轮迭代即可完成传统模型需要上千步的写作任务。
与传统自回归架构(如ChatGPT、Claude等采用的逐词生成方式)不同,FS-DFM采用多token并行生成策略。扩散模型首先生成多个候选token,再通过流匹配模型进行多轮优化,最终“一步到位”输出高质量文本。这种设计使模型摆脱了对上一步输出的依赖,显著提升了生成效率。
研究团队揭示了FS-DFM实现加速的三大核心机制:动态迭代预算系统可根据文本复杂度自动调整优化深度,避免无效计算;教师指导机制引入高精度“教师模型”辅助每次迭代,确保词语更新精准度;稳态收敛策略通过优化步长控制,使模型在更少步骤内达到理想效果。
该架构的创新性体现在对计算资源的优化利用上。通过减少不必要的迭代次数,FS-DFM在保持性能的同时大幅降低了算力消耗。这意味着在移动设备或边缘计算场景中,用户可能以更低的能耗获得更流畅的长文本生成体验。
目前,研究团队已公开相关技术细节,并表示该架构有望推动轻量化语言模型的发展。其高效节能的特性或将为实时内容创作、智能客服等领域带来新的应用可能性。