7月22日消息，最近国产大模型Kimi K3的发布在国内外引发了热议，2.8万亿参数的K3性能已经达到了世界顶级水平，前端编程甚至位列第一，要想跑通K3这个大模型，AI平台的性能也至关重要。
以K3的参数量来看，当前已上市的平台中当然是NVIDIA的Blackwell B200/B300是最强的，但K3显然也会对国产AI平台做优化，也有国外的网友对比了华为昇腾950DT与NVIDIA显卡B300运行K3的效率。
他这个计算不是实际机器跑出来的，毕竟昇腾950DT国内也才刚开始部署，海外还拿不到，是基于950DT的参数来计算的。
对比的除了有B300之外，还有华为上一代的昇腾910C平台，可以看出昇腾950DT在每瓦Token生成数量上是占优的。
考虑到昇腾950DT在制程工艺上是要比B300落后两代水平的，因此华为自研的AI平台靠整体系统依然能获得优势，非常不容易，但这也彰显了华为提出韬定律是多么正确的思路。
昇腾950系列有昇腾950PR和昇腾950DT两款产品组成，二者使用的处理器核心是一样的，但搭配的内存系统不同，针对的市场也是不同的。
根据华为的说法，昇腾950PR采用的是昇腾950核心+HiBL 1.0内存，主要面向推理Prefill阶段和推荐业务场景，相比高性能、高价格的HBM3e/4e，能够大大降低推理Prefill阶段和推荐业务的投资。
昇腾950DT更注重推理Decode阶段和训练场景，由于推理Decode阶段和训练对互联带宽和访存带宽要求高，华为开发了HiZQ 2.0，使内存容量达到144GB，内存访问带宽达到4TB/s。同时把互联带宽提升到了2TB/s。
华为的Altas 950超节点集群最大可支持8192张基于昇腾950DT的昇腾计算卡高速互联，卡规模是Atlas 900超节点（384卡）的20多倍，是NVIDIA NVL144的56.8倍。
8192张卡的总FP8算力达到8EFLOPS，FP4算力达16EFLOPS，互联带宽高达16.3PB/s，总内存容量达1152TB，相比Atlas 900超节点，训练性能提升17倍，达到4.91M TPS。
