11月19日,扩散智能DiffuSpace发布Clover-35B-A3B-Preview技术报告。报告首次公开由Clover衍生的决策模型及测试结果,并系统讲解底层GDN架构、块感知专家路由等技术创新。
Clover-35B-A3B-Preview是一款开源扩散语言模型,采用MoE架构,总参数量350亿,激活参数量30亿。相比团队上一代模型,其参数扩大5倍而速度保持不变,智能表现更强,显示出dLLM范式的规模化潜力。
在架构方面,报告重点介绍双向块扩散Gated DeltaNet(BD-GDN)。该设计针对块扩散重构门控Delta网络,目的在于化解传统GDN与扩散生成之间的结构矛盾:前者通过循环状态压缩历史上下文,主要按从左至右方式处理信息;后者需要当前生成块内多个Token进行双向交互。
基于Clover衍生的“System 1”快速决策模型也首次亮相。该模型利用块扩散对关联问题开展联合预测,一次去噪可同时回答8个问题,平均延迟164毫秒,较逐题串行调用提速7.58倍;报告同时提到,对一组相关问题进行联合预测时,延迟可控制在164毫秒,相较逐题串行独立调用约提升7倍。
内部测试覆盖500组、2420个问题。结果显示,单题准确率由90.37%提升至93.88%,整组全对率由65.4%提升至77.0%。
公开资料显示,DiffuSpace是全球较早投入扩散语言模型研究的团队之一,由香港大学NLP实验室联合主管孔令鹏教授及其博士生龚珊三、叶佳成联合创立。近期,DiffuSpace完成数亿元人民币融资,创全球扩散语言模型(dLLM)最大规模融资纪录,由经纬创投、顺为资本、君联资本联合领投,中科创星、华为哈勃、地平线等跟投。







