ITBear旗下自媒体矩阵:

苹果联合高校推出FS-DFM语言模型:长文本生成速度飙升,或引领轻量模型新潮流

   时间:2025-10-14 15:38:56 来源:互联网编辑:快讯 IP:北京 发表评论无障碍通道
 

苹果公司与俄亥俄州立大学科研团队近日联合宣布,成功开发出一种名为“Few-Step Discrete Flow-Matching”(FS-DFM)的新型语言模型架构。该模型通过融合扩散技术与流匹配算法,在长文本生成效率与质量上实现了突破性进展。

实验数据显示,FS-DFM的文本生成速度较主流大语言模型提升128倍,同时保持甚至超越了现有扩散类模型的文本质量。这一成果主要得益于其独特的“整段生成-快速修正-成文输出”模式,仅需8轮迭代即可完成传统模型需要上千步的写作任务。

与传统自回归架构(如ChatGPT、Claude等采用的逐词生成方式)不同,FS-DFM采用多token并行生成策略。扩散模型首先生成多个候选token,再通过流匹配模型进行多轮优化,最终“一步到位”输出高质量文本。这种设计使模型摆脱了对上一步输出的依赖,显著提升了生成效率。

研究团队揭示了FS-DFM实现加速的三大核心机制:动态迭代预算系统可根据文本复杂度自动调整优化深度,避免无效计算;教师指导机制引入高精度“教师模型”辅助每次迭代,确保词语更新精准度;稳态收敛策略通过优化步长控制,使模型在更少步骤内达到理想效果。

该架构的创新性体现在对计算资源的优化利用上。通过减少不必要的迭代次数,FS-DFM在保持性能的同时大幅降低了算力消耗。这意味着在移动设备或边缘计算场景中,用户可能以更低的能耗获得更流畅的长文本生成体验。

目前,研究团队已公开相关技术细节,并表示该架构有望推动轻量化语言模型的发展。其高效节能的特性或将为实时内容创作、智能客服等领域带来新的应用可能性。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version