DSpark – DeepSeek 联合北京大学开源的推测解码加速框架

DSpark是什么

DSpark 是 DeepSeek 联合北京大学开源的推测解码加速框架，专门解决大模型自回归生成速度慢、像”挤牙膏”的痛点。采用半自回归生成架构，通过轻量级 Markov 头建模 token 间依赖，兼顾并行草稿的速度与连贯性；同时引入置信度调度验证，根据系统负载动态分配验证资源。框架已部署至 DeepSeek-V4-Flash/Pro 生产环境，单用户生成速度提升 57%–85%，吞吐量最高提升 400%。项目以 MIT 协议开源，兼容 Qwen、Gemma 等主流模型，为大模型高效推理提供了实用的工程方案。

DSpark的主要功能

• 半自回归草稿生成：保留并行草稿模型的高速特性，同时加入轻量级 Markov 头（或 RNN 头）建模相邻 token 依赖，缓解传统并行方案的后缀衰减问题，让候选序列前后更连贯。
• 置信度分数预测：为每个候选 token 输出置信度分数，实时预估该 token 被目标模型接受的概率，为后续调度提供决策依据。
• 硬件感知前缀调度：根据系统并发负载、候选置信度及引擎吞吐曲线，动态决定每个请求应验证的 token 长度，系统空闲时多验证，繁忙时精简低置信度请求。
• 生产级推理加速：已集成至 DeepSeek-V4-Flash/Pro 线上服务，在真实高并发流量中实现单用户生成速度 57%–85% 提升，聚合吞吐量最高提升 400%。
• 多模型兼容支持：除 DeepSeek 自研模型外，兼容 Qwen（通义千问）、Gemma 等主流开源大模型。
• 全栈开源：以 MIT 协议开源完整代码、论文、训练脚本及模型检查点，降低开发者接入门槛。

如何使用DSpark

• 克隆项目：克隆 DeepSpec 开源仓库并配置运行环境，安装相关依赖项
• 下载模型：下载目标模型（如 DeepSeek-V4、Qwen3 或 Gemma4）及对应的 DSpark 草稿模型检查点
• 按需选择依赖模块：加载半自回归草稿模型，按需选择 Markov head 或 RNN head 作为顺序依赖模块
• 调度验证：启用置信度调度验证，配置硬件感知前缀调度器以适应当前 GPU 集群的并发负载与吞吐曲线
• 集成引擎：将 DSpark 集成到现有推理引擎（如 vLLM 或自研服务框架），替换传统 MTP-1 或标准自回归解码流程
• 发起请求：通过 API 或命令行发起请求，系统自动执行”草稿生成→置信度评估→动态验证→返回结果”的加速推理流程

DSpark的官网地址

• GitHub 地址：https://github.com/deepseek-ai/DeepSpec
• Hugging Face：https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro-DSpark

• 技术论文：https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf

DSpark的核心优势

• 半自回归架构，兼顾速度与连贯性：保留并行草稿模型的高吞吐优势，同时通过轻量级 Markov 头（或 RNN 头）建模 token 间依赖，有效缓解传统并行方案的后缀衰减问题，草稿前后更连贯、接受率更高。
• 置信度动态调度，资源利用更智能：引入置信度分数预测与硬件感知前缀调度器，根据系统并发负载、候选存活概率及引擎吞吐曲线动态调整验证长度，系统空闲时多验证、繁忙时精简低置信度请求，避免浪费 batch capacity。
• 生产级性能提升显著：已部署于 DeepSeek-V4-Flash/Pro 线上服务，在真实高并发流量中实现单用户生成速度提升 57%–85%，聚合吞吐量最高提升 400%。
• 广泛模型兼容性：不仅支持 DeepSeek 自研模型，还兼容 Qwen（通义千问）、Gemma 等主流开源大模型，适用场景灵活。
• 全栈开源，接入门槛低：以 MIT 协议开源完整代码、论文、训练脚本及模型检查点，开发者可快速集成到 vLLM 或自研推理引擎。
• 零质量损耗加速：基于推测解码机制，目标模型输出分布保持不变，在显著提速的同时不牺牲生成内容的准确性与质量。

DSpark的同类竞品对比

DSpark的应用场景

• 实时聊天与对话系统：针对高交互场景下的低延迟需求，DSpark 能显著提升单用户生成速度，改善对话流畅度与用户体验。
• 代码助手与编程工具：代码生成类任务的候选 token 接受率高（平均 accepted length 达 5.12），DSpark 可加速代码补全、自动纠错与多文件生成。
• 多轮 Agent 工作流：在多轮调用、工具链串联的复杂任务中，减少每轮响应延迟，避免延迟随轮次叠加放大。
• 数学推理与在线教育：数学类任务（GSM8K、MATH、AIME 等）的候选接受率最高（平均 5.57），适合推理步骤长、结构化强的解题场景。
• 高并发云端 API 服务：通过硬件感知前缀调度器动态适配 GPU 负载，在真实高并发流量下实现吞吐量最高 400% 提升，降低单位请求成本。
• 开源模型本地部署：兼容 Qwen、Gemma 等主流模型，以 MIT 协议开源，便于中小企业和开发者将高效推理能力集成到自研框架或 vLLM 等引擎中。

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/