ITBear旗下自媒体矩阵:

开源软件栈联合调优,国产芯片大模型推理效率提升

   时间:2026-11-18 16:33:21 来源:互联网编辑:快讯 IP:北京 发表评论无障碍通道
 

大模型商业化推进过程中,Token工厂的建设并不只是采购算力卡那么简单。清昴智能创始人兼CEO关超宇认为,早期部署的A100、H20以及更早的国产卡,并非针对混合专家架构和百万上下文设计,硬件上限有限;软件栈不完善同样会拖累效率。Agent长上下文场景里,Prefill阶段消耗大量算力,Decode阶段受键值缓存显存带宽制约,混合运行时容易出现算力等待数据和带宽被挤占的情况。即使更换高算力芯片,如果软件协同不足,吞吐效率也难达到商业竞争力。

模型迭代周期缩短,而二十余家芯片的微架构和底层指令集互不兼容,生态断层成为现实难题。北京智源人工智能研究院牵头、已开源四年的统一系统软件栈FlagOS,被清昴等商业团队视为底层选择。FlagOS 2.2版本基于Triton沉淀超过一千四百五十个通用算子,统一编译器FlagTree在单一代码仓库中覆盖二十家芯片厂商后端,并把主流推理与训练框架接入多元算力,减少Token工厂的重复开发。

将FlagOS接入业务流水线后,商业团队不仅节省工期,也提升了核心优化算法的工程上限。关超宇指出,要让AI优化AI,算法必须理解基础设施的硬件细节和边界条件。若直接暴露裸硬件指令空间,搜索空间会过于稀疏,参数稍有偏差就可能触发报错或性能下降,难以找到稳健方案。FlagOS提供标准化编译器、三层渐进式抽象和经过验证的Triton统一算子生态,在裸硬件之上形成高确定性中间层。配合内置自动调优器,搜索效率提升二百九十八倍,稀疏搜索空间变得更密集,有效可行解增加。

面对未来由AI自主生成算子的趋势,这套公共底座仍具工程支点价值。关超宇认为,自我进化的优化系统需要观测体系、衡量基准和基础工具链支撑,单一系统难以从零完成所有底层环节。FlagOS编译器和算子库也会继续吸收自动迭代思路。开源形态上,FlagOS没有追求大而全,而是把FlagTree编译器、FlagGems融合算子库、FlagCX通信库以及引擎插件拆成高度解耦的标准化模块,商业团队可按产线需求选取模块即插即用。跨芯片适配由公共底座承担后,工程师能更专注于内存编排、异构调度和产线利润优化。

真实企业机房的检验更为直接。清昴团队在交付国芯Token工厂时遇到性能卡点:行业客户要求在新一代旗舰集群华为昇腾910C上线智谱GLM-5.3-Flash,原生链路速度只有每秒二十多个Token,难以支撑企业级在线交互,无法通过验收;国内机房中大量存量910B服务器在面对百万级上下文Agent高频多轮对话时,传统部署首字延迟动辄十几秒,集群吞吐偏低,算力资产利用率不高。

硬件底座本身具备条件。昇腾910C内部Cube矩阵单元与Vector向量单元有协同潜力,存量910B的集群规模也足以支撑高强度推理,缺的是开源模型生态与硬件调度的打通。工厂侧团队联合开源社区,基于FlagOS开展底层基建与业务深改联合调优,避免重写底层栈。FlagOS底座负责基础算子与编译链路。针对GLM-5.3-Flash的DSA加KDA混合注意力结构,联合团队借助FlagOS统一中间表示层已打通昇腾CANN开源生态的基础,调用FlagGems面向vLLM和SGLang的融合算子库以及FlagTree编译优化,解决昇腾910C的计算协同与显存搬运问题。

实测结果显示,在清昴昇腾910C商业产线中,仅Decode阶段优化就使字间延迟降低10%以上,每输出Token时间降低8%以上;叠加全链路业务调优后,GLM-5.3-Flash在昇腾910C上的整体输出速度从二十多TPS提升至五十多TPS,达到商业级可用水平。在高并发智能体负载的存量910B集群验证中,前缀缓存命中率从82.65%提升至94.15%,首字延迟中位数从16.63秒下降81.4%至3.10秒;真实线上服务中位首字延迟约2.3秒,单字生成间隔约22毫秒。整套系统逻辑服务吞吐达到优化前的2.04倍,在指定条件下按租金折算,单位算力成本比对应的商业API计费参考低19.4%至27.6%,存量机柜利用效率明显提高。

该方案还扩展到多种芯片。在平头哥810E上运行DeepSeek-V4.1-Flash,推理性能相比厂商原生SGLang版本提升77%到82%,可支撑16路并发与最大80路并发;在海光BW1100上运行GLM-5.3-Flash,整体性能提升超过25%,多并发下单路速度保持在90TPS以上;在摩尔线程、沐曦以及英伟达等多款架构卡上,这套底座同样取得超过厂商原生版本的吞吐表现。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version