今日,DeepSeek推出全新的推测解码(Speculative Decoding)框架DSpark,并已在V4系列模型上使用。
该技术在保持生成文本分布完全无损(Lossless)的前提下,成功突破了大语言模型(LLM)在高并发生产环境中的推理性能瓶颈,实测数据显示,其单用户生成速度较现有主流方案最高提升85%。
随着大模型参数量的指数级增长,推理延迟和算力成本已成为制约AI应用落地的核心痛点。
尽管推测解码技术通过“小模型起草、大模型验证”的机制在一定程度上缓解了这一问题,但业界始终面临两难选择:要么使用自回归草稿模型(如Eagle3)以保证准确率但牺牲速度,要么使用并行草稿模型(如DFlash)以提升速度但牺牲长序列的接受率。
针对这一行业难题,DSpark提出了两大创新机制,实现了速度与质量的完美平衡。
核心技术一
半自回归生成,兼顾速度与连贯性
DSpark首创了“半自回归生成”架构(Semi-Autoregressive Generation)。
它摒弃了传统单一维度的生成方式,将草稿构建分为两步:
并行骨架:利用并行的DFlash骨干网络,像以前一样快速生成多个候选token的基础特征,确保极低的延迟。
顺序精修:引入轻量级的“马尔可夫头(Markov Head)”或“RNN头”,为这些并行生成的token注入上下文依赖关系。这就好比先快速勾勒出文章的骨架,再对局部逻辑进行微调,有效避免了并行模型在长序列末尾出现的“语义漂移”或“多模态碰撞”问题。
核心技术二置信度调度验证,拒绝算力浪费DSpark还在验证端进行了智能化升级。传统的推测解码往往盲目地将整段草稿发送给大模型验证,容易造成计算资源的浪费。
DSpark引入了置信度头(Confidence Head),它能预测每个草稿token在给定前缀下的“存活概率”。结合硬件感知调度器,系统可以动态调整每个请求的验证长度,优先处理那些最有可能被接受的token。
这种“好钢用在刀刃上”的策略,极大地提升了GPU的整体吞吐效率。
单用户速度飙升,吞吐量大幅跃升在多项严苛的基准测试中,DSpark展现了惊人的性能表现:
在数学推理、代码生成及日常对话任务中,DSpark相比当前SOTA的自回归方案Eagle3平均提升26.7%~30.9%的接受长度;相比并行方案DFlash提升16.3%~18.4%。
在真实的线上部署中,DSpark 的表现更为亮眼:
DSpark的两个变体(V4-Flash与V4-Pro)均取得了突破性进展。在匹配相同吞吐量的前提下,DeepSeek-V4-Flash 的单用户生成速度提升了 60% 至 85%,Pro 版本则提升了 57% 至 78%。
更关键的是,DSpark 成功避免了在高并发严格交互延迟约束下系统吞吐量的断崖式下跌,推高了服务系统的性能边界。
开源全栈工具链 DeepSpec为了让更多开发者和企业受益于这一先进技术,研究团队宣布开源DSpark的相关资源,目前已发布DeepSeek-V4-Flash (preview) 和 DeepSeek-V4-Pro (preview) 的预训练检查点。
同时推出DeepSpec训练库,这是一个算法驱动的推测解码工具包,支持DSpark、DFlash及Eagle3的训练与评估。
DSpark的发布不仅是推测解码技术的一次重大迭代,更为大规模AI服务的商业化落地提供了强有力的技术支撑。











