ITBear旗下自媒体矩阵:

昇腾0Day支持DeepSeek-V3.2-Exp

   时间:2025-09-29 21:30:39 来源:互联网编辑:汪淼 IP:北京 发表评论无障碍通道

2025年9月29日,DeepSeek-V3.2-Exp发布并开源,引入稀疏Attention架构。昇腾已快速基于vLLM/SGLang等推理框架完成适配部署,实现DeepSeek-V3.2-Exp 0day支持,并面向开发者开源所有推理代码和算子实现。

昇腾0Day适配和参考实践

昇腾在DeepSeek-V3.2-Exp一发布开源即实现了DeepSeek-V3.2-Exp BF16模型部署,并在CANN平台上完成对应的优化适配,整体部署策略沿用DeepSeek的大EP并行方案,针对稀疏DSA结构,叠加实现长序列亲和的CP并行策略,兼顾时延和吞吐,在128K长序列下能够保持TTFT低于2秒、TPOT低于30毫秒的推理生成速度。

NPU DeepSeek-V3.2-Exp推理优化实践:

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_inference_guide.md

昇腾针对DeepSeek-V3.2-Exp架构中两个全新的算子:Lightning Indexer (LI) 以及Sparse Flash Attention (SFA),针对性地进行算子Tiling设计、Cube核与 Vector核间的流水优化、计算流程的实现优化等,模型和融合Kernel均已开源。

NPU DeepSeek-V3.2-Exp Ascend C融合算子优化:

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_ascendc_operator_guide.md

为进一步提高昇腾融合算子的编程易用性,昇腾CANN首次推出大融合算子的编程体系PyPTO,旨在简化算子开发流程,同时保持高性能计算能力。该框架创新性地采用PTO(Parallel Tensor/Tile Operation)编程范式,以Tensor为基本数据表达方式,构建计算图,实现高效计算与优化。目前在昇腾上已经基于PyPTO完成DeepSeek-V3.2-Exp模型中DeepSeek Indexer Attention和Lightning indexer算子的开发实践,仅需几百行代码即可完成动态Shape算子编程和算子整网运行。

基于PyPTO的Lightning Indexer和DeepSeek Indexer Attention算子开发实践:

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_pypto_operator_guide.md

在昇腾上基于vLLM、SGLang推理框架部署和TileLang算子编程实践

昇腾不仅提供了DeepSeek-V3.2-Exp的官方参考实践,也同步支持vLLM和SGLang等业界主流大模型推理框架部署,提供完整功能,能够让广泛的开发者在社区直接下载相关代码体验DeepSeek-V3.2-Exp模型,可以在昇腾实现融合算子、稀疏访存、多核并行计算等深度优化能力,并持续优化DeepSeek-V3.2-Exp在主流社区的推理性能。

大模型推理框架vLLM及昇腾实现:

https://github.com/vllm-project/vllm-ascend/tree/v0.9.1-dev/examples/deepseek.md

大模型推理框架SGLang及昇腾实现:

https://github.com/sgl-project/sglang/issues/11060

TileLang是由Tile-AI社区发起的Tile-level的类Python的AI编程语言(DSL)项目,在Tile粒度上进行编程和编译,实现模型算子和硬件的高效协同。昇腾已经实现TileLang的Sparse Flash Attention和Lightning Indexer算子开发,后续将支持更完备的NPU算子并提升性能和泛化性。

NPU DeepSeek-V3.2-Exp TileLang算子开发实践:

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_tilelang_operator_guide.md

TileLang-Ascend开源社区:

https://github.com/tile-ai/tilelang-ascend

昇腾凭借敏捷协同优化能力,0Day高效完成DeepSeek-V3.2-Exp适配,不仅深度开放自研编程语言AscendC及PyTorch算子源码,也积极拥抱开源生态,同步实现vLLM、SGLang等主流框架的快速支持,并携手开源社区Tile-AI共同开源NPU编程项目TileLang-Ascend。我们诚挚期待全球开发者加入昇腾社区,基于昇腾软硬件平台进行研究和创新,在Agent AI、内容理解等长文本新应用场景带来更好的用户体验,携手推进AI产业迈向新高度。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version