朋湖网获悉,11月19日,扩散智能DiffuSpace发布最新模型Clover-35B-A3B-Preview技术报告,首次公开其衍生的决策模型及测试结果,在对一组相关问题进行联合预测时,延迟仅为164毫秒,相较逐题串行的独立调用提速7倍。同时,技术报告系统讲解了Clover模型底层的GDN架构、块感知专家路由等技术创新。
据介绍,Clover-35B-A3B-Preview(下文简称Clover)是扩散智能发布的最新开源扩散语言模型,采用MoE架构,总参数量350亿,激活30亿。测试显示,Clover在智能体编程等关键任务上,表现超过同类模型 Mercury 2.5和同尺寸自回归模型Qwen3.6-35B-A3B。相比该团队研发的上一代模型,Clover参数扩大5倍且速度不变、智能更强,显示出dLLM范式的规模化潜力。
技术报告中,基于Clover衍生的“System 1”快速决策模型首次亮相。该模型利用块扩散对关联问题进行联合预测,一次去噪即可同时回答8个问题,平均延迟164毫秒,较逐题串行调用提速7.58倍;在500组、2420个问题的内部测试中,单题准确率由90.37%提升至93.88%,整组全对率由65.4%提升至77.0%。
据技术报告介绍,Clover最核心的架构创新,是针对块扩散重构门控Delta网络,提出双向块扩散Gated DeltaNet(BD-GDN)。这一设计要解决的是传统GDN与扩散生成之间的结构矛盾:前者通过循环状态压缩历史上下文,主要按照从左至右的方式处理信息;后者则需要当前生成块内的多个Token进行双向交互。
资料显示,扩散智能DiffuSpace是全球最早投入扩散语言模型研究的团队之一,由港大NLP实验室联合主管孔令鹏教授及其博士生龚珊三、叶佳成联合创立。近期,DiffuSpace完成数亿元人民币融资,创全球扩散语言模型(dLLM)最大规模融资纪录,由经纬创投、顺为资本、君联资本联合领投,中科创星、华为哈勃、地平线等跟投。
