在人工智能技术加速迭代的背景下,Token正成为衡量AI计算效能与商业价值的核心指标。这一转变推动算力产业链进入深度变革期,如何在元器件成本持续攀升的环境下实现算力与Token的稳定供给,成为行业亟待突破的关键命题。世界人工智能大会期间,国产算力企业集体展现出通过架构创新与生态协同提升Token生产效率的新路径。
据国际数据公司(IDC)统计,2025年中国生成式AI模型调用量占全球比重突破35%,企业级Token年度消耗量较前一年激增近20倍。模型即服务(MaaS)市场的爆发更为直观:2025年中国大模型Token调用量同比增幅达16倍,2026年预计再实现20倍增长。这种指数级增长的需求倒逼算力基础设施重构,系统效能与综合成本取代单芯片性能成为核心竞争要素。
中昊芯英创始人杨龚轶凡指出,当前大模型推理呈现极端不均衡特征,以智能体应用为代表的场景中输入Token规模可达输出端的万倍。传统GPU架构在实现Prefill-Decode分离(PD分离)调度时需大量软件改造,而其TPU架构通过原生适配PD分离,使集群部署效率提升40%以上。该公司第二代"须臾®"TPU的硬件设计完全基于首代芯片在多市场的真实反馈,针对算力利用率、多卡通信等痛点进行定向优化。
软件生态的碎片化问题同样制约着国产算力发展。不同模型与开发框架的适配需求使芯片厂商陷入持续优化循环,随着国产模型数量突破300个,这种适配复杂度呈几何级增长。中昊芯英选择通过Token Factory模式封装底层框架,对外提供标准化API接口。"客户只关心每百万Token的成本与时效,而非底层技术细节。"杨龚轶凡透露,其芯片研发团队正聚焦软件栈优化,目标在三年内实现与主流模型的无缝对接。
这种系统级创新理念正在形成行业共识。杭州电信与中兴通讯、中昊芯英联合打造的华东首个国产TPU千卡集群显示,通过动态资源调度与网络优化,集群Token输出效率提升超10倍,单位成本从每百万Token100元降至不足10元。杭州电信智算中心负责人王良强调:"调优工作使算力利用率波动从30%压缩至5%以内,波谷算力得到有效利用。"
成本压力持续考验着算力产业链。自2023年下半年以来,AI服务器、高带宽存储(HBM)等核心部件价格涨幅超过150%,直接推高Token生产成本。某头部算力企业技术总监分析,未来万卡集群将呈现异构化特征,不同模型与业务负载需匹配专属算力资源。"通过智能调度系统,我们使集群整体利用率从45%提升至68%,相当于新增3000张显卡的等效算力。"
商业价值的重构正在引发更深层变革。当行业聚焦于"百万Token成本还能降多少"时,部分企业已转向探索Token的价值密度。某金融科技公司实践显示,通过智能体编排将重复性工作前置,模型推理阶段Token消耗减少72%,但任务完成率提升25%。这种转变预示着算力竞争将从规模扩张转向效能优化,能够持续输出高价值Token的体系将主导下一代AI基础设施发展。









