谷歌TPU正以惊人的速度崛起，成为英伟达在AI芯片领域最强劲的挑战者。随着谷歌Gemini 3的发布，其背后的TPU架构再次成为全球科技界关注的焦点。资本市场迅速做出反应，谷歌股价的攀升引发了新一轮讨论：TPU是否真的具备与英伟达GPU一较高下的实力？
SemiAnalysis，这家在半导体和人工智能领域颇具影响力的研究机构，近期发布了一份由12位作者共同撰写的深度分析报告。报告明确指出，谷歌TPUv7已正式向英伟达发起挑战，标志着AI硬件市场的格局可能迎来重大变革。报告的核心观点在于，谷歌通过打破长期以来的内部自用惯例，开始大规模向外部客户销售TPU硬件及算力服务，这一战略转变正在重塑行业生态。
Anthropic是谷歌TPU商业化进程中的关键合作伙伴。这家公司已部署超过1GW的TPU集群，成为谷歌TPU的重要客户。尽管在单芯片理论参数上，TPU未必全面超越英伟达GPU，但谷歌凭借卓越的系统级工程能力，如ICI互联和光路交换技术，实现了极高的实际模型算力利用率（MFU）。更关键的是，谷歌TPU的总体拥有成本（TCO）比英伟达GB200系统低约30%-40%，这一优势使其在性价比方面具备显著竞争力。
软件生态的短板曾是TPU推广的主要障碍。为弥补这一不足，谷歌正积极推动TPU与PyTorch原生环境的兼容，并加强对vLLM等开源生态的支持。这些举措旨在从根基上瓦解英伟达CUDA的护城河，吸引更多开发者转向TPU平台。目前，谷歌已在多个TPU软件仓库中显著增加了贡献，特别是在vLLM支持方面，自3月以来贡献量大幅上升，5月还创建了官方的vLLM TPU统一后端仓库。
英伟达对TPU的崛起并非无动于衷。面对谷歌的挑战，英伟达强调其GPU在性能、通用性和可替代性方面仍具有优势，并指出自己是唯一能够运行所有AI模型、适用于各种计算场景的平台。然而，市场动态已显示出变化迹象。OpenAI虽尚未部署TPU，但仅凭“可能转向TPU”的谈判筹码，就已从英伟达处获得约30%的成本优惠。这一案例表明，TPU的商业化正在对英伟达的客户策略产生实质性影响。
TPU的设计理念也在随着大模型时代的到来而转变。早期的TPU更注重硬件的可靠性和低算力强度的工作负载，如推荐系统模型。但随着AI模型规模的扩大，谷歌推出了TPUv6 Trillium和TPUv7 Ironwood等新一代产品，在FLOPs、内存和带宽方面几乎追平了英伟达的旗舰GPU。尽管TPUv7的全面上市时间比英伟达Blackwell晚了一年，但其每颗芯片在全规模部署下的TCO比英伟达GB200服务器低44%，这一优势足以弥补峰值性能上的微小差距。
Anthropic选择TPU的原因不仅在于成本，更在于其能够通过自定义内核实现高模型FLOPs利用率（MFU）。该公司拥有强大的工程团队和前谷歌编译器专家，能够深入理解TPU堆栈和自身模型架构，从而弥补TPU软件堆栈开箱即用性能较弱的不足。这种技术优势使Anthropic在使用TPU时能够实现比商用GPU更高的每PFLOP成本性能。
谷歌的TPU战略仍面临挑战。尽管在外部化方面取得进展，但其XLA图编译器、网络库和TPU运行时仍未开源，且文档记录不完善，这给开发者带来了调试困难。用于多Pod训练的MegaScale代码库也未开源，限制了TPU生态系统的扩展性。若谷歌能进一步开放这些核心组件，或许能加速TPU的普及，就像PyTorch和Linux的开源策略推动了其广泛采用一样。
