近期，科技圈掀起一阵关于AI芯片的热议浪潮。先是路透社爆料，DeepSeek已低调开展AI芯片研发工作长达一年，目前正与芯片设计、晶圆代工及存储厂商积极接触。紧接着，OpenAI携手博通推出Jalapeño芯片集群，Anthropic也宣布组建自己的芯片团队。这一系列动作引发众人疑问：各大厂商一边大量采购英伟达GPU，一边又纷纷投身芯片自研，究竟为何？
深入探究发现，推理芯片成为这一现象的关键因素。推理芯片并非新概念，多年前谷歌第一代TPU就已涉足推理领域，Groq、Cerebras、SambaNova等初创公司也曾在这一赛道发力。然而，此前该行业发展不温不火，未引起大厂过多关注。如今情况却大不相同，各大厂商对推理芯片的态度发生转变。
大模型行业的快速发展是重要背景。过去，大模型技术方向变化迅速，今天爆火的模型，过段时间可能就无人问津，这使得模型厂商难以确定技术走向，自然不愿专门为推理研发芯片。而且，英伟达的GPU在训练方面表现出色，使用起来较为方便，厂商们也就没有动力去研究推理芯片。谷歌的TPU最初也并非为大模型打造，毕竟那时大模型尚未兴起。
转折点出现在两年前。2024年8月，Google DeepMind团队发表一篇具有里程碑意义的论文，指出延长模型思考时间可显著提升正确率。此后，OpenAI的o系列模型以及DeepSeek - R1等深度思考模型相继问世，深度推理和多Agent协作集群等技术逐渐成为大模型落地的标配，技术路线得以明确。
技术路线的确定给GPU带来巨大压力。以常见的AI对话为例，用户输入文字后，AI需先理解内容，这一过程称为Prefill；理解后输出回答的过程叫Decode。在Prefill阶段，AI将输入语句拆分成token并理解含义，此过程与训练阶段相似，矩阵计算是关键，而GPU擅长处理矩阵计算，能将数据切分后并行计算，效率颇高。例如，输入token需4096参数矩阵计算时，GPU每搬运1字节数据可执行上千次运算。
但在Decode阶段，情况截然不同。如今大模型多为自回归模型，需根据上一个词计算下一个词。原本Prefill阶段4096行的输入矩阵，到Decode阶段会缩减为1行。此时，GPU每搬运1字节数据仅能计算1次，效率大幅降低。而且，芯片内部数据相乘能耗低，但数据从显存搬运到GPU的能耗和时间却是前者的几十倍甚至上百倍。对于70B参数、140GB权重的大模型，每输出一个Token，芯片就需将140GB数据从HBM显存完整读入一遍，即便使用3TB/s带宽的顶级显存，输出速度也仅每秒21个token，这意味着大量时间浪费在数据搬运上。
为记住前面几十万字的思考过程，模型需将所有历史Token的特征缓存在显存里，随着思考步骤增加，显存里搬运的数据量（KV Cache）也会爆炸式增长，导致显存和内存价格上涨。过去显存相对充足时，厂商可通过连续批处理、潜在多头注意力机制等软件手段缓解问题，但这些方法治标不治本，因为GPU本质上是通用芯片，并非为Decode设计。
谷歌很早就察觉到这一问题，并采取行动。其推出的第一代TPU采用脉动阵列（Systolic Array）技术解决数据搬运难题。将芯片内部比作工厂，HBM显存是中央仓库，SRAM是流水线旁小筐，计算核心是打螺丝工位。普通GPU计算矩阵时，工人每拧一颗螺丝就要回仓库拿零件，拧完再送回；而谷歌的脉动阵列将打螺丝过程变成二维流水线，上万个乘法计算单元焊成方阵，矩阵权重数据进入流水线后，像接力棒一样在工位间横向传递计算，结果依次传到下一层计算。数据在相邻核心间直接传递，每进一次核心就连续传递、复用几十上百次，无需退回外部显存，减少了数据搬运。
此前，由于技术路线未确定，TPU这种专用方案在大模型上优势不明显，厂商们仍选择购买GPU。如今深度推理使推理负载大幅增加，TPU思路的优势逐渐显现，谷歌甚至将TPU分为训练版和推理版。于是，各大模型厂商纷纷决定投入资金研发专用推理芯片。
各大厂商在自研推理芯片时，并未完全照搬谷歌TPU的路线。Anthropic不仅采用脉动流水线，还与AWS深度合作Trainium，同时宣布自研，利用Claude模型运行的真实工序数据反向写入底层编译器。投奔英伟达的Groq则走极端流水线路线，认为普通芯片数据搬运浪费资源，直接砍掉HBM显存，在芯片中塞满SRAM，使数据随用随取。国内阿里则选择灵活通用的标准加工岛共同使用一套缓存SRAM的方式，以应对大模型架构可能的变化。OpenAI与博通合作的Jalapeno推理集群，从芯片、HBM、本地缓存到芯片间网络一同设计，通过让特定用户的KV Cache记忆档案与特定算力集群绑定来减少数据搬运。
对于DeepSeek，目前仅知其要研发推理芯片，具体方式尚未公布。不过，2025年有相关文章指出下一代AI硬件需解决低精度计算、内存容量、计算效率、芯片间互联和低延迟通信等问题。结合DeepSeek模型对KV Cache压缩和MoE相关技术的应用，推测其芯片设计可能根据模型适配，或许会拥有更大内存容量并优化算力，或专门优化通信路由，如降低数据精度进一步压缩，留出专用数据通路等。
这一系列变化也反映出AI厂商与英伟达关系的微妙转变。过去，AI厂商需让模型适应芯片，拿到什么卡就研究如何切分模型、压缩KV Cache、调教通信。如今，并非所有环节都依赖GPU，AI厂商可主动选择适合自己的软硬件及上下游配套，不再受硬件厂商制约，能够根据自身需求进行适配。
