近期，国内科技界传来一则重磅消息，华为计划在即将举行的2025金融AI推理应用落地与发展论坛上，正式揭晓其在AI推理领域的重大技术突破。这一创新成果有望在8月12日与公众见面。
据知情人士透露，华为此次发布的技术有望减少中国AI推理行业对HBM（高带宽内存）技术的依赖，进一步推动国内AI大模型推理性能的提升，并填补国内AI推理生态的关键一环。HBM技术，作为基于3D堆叠的DRAM解决方案，通过多层DRAM芯片的垂直集成，显著增强了数据传输效率，具备超高带宽、低延迟、高容量密度以及高能效比等显著优势。
在AI推理过程中，海量模型参数（如千亿级别的权重）和实时输入数据的频繁调用至关重要。HBM的高带宽和大容量特性使得GPU能够直接访问完整模型，避免了传统DDR内存因带宽限制导致的算力浪费。特别是对于参数规模超过千亿的大型模型，HBM能够大幅提升响应速度，成为高端AI芯片不可或缺的一部分。目前，HBM在训练侧的应用几乎达到了全面覆盖，而在推理侧，随着模型复杂度的增加，其普及速度也在加快。
然而，HBM面临产能紧张以及美国出口限制的挑战，这促使国内厂商积极寻求替代方案，如Chiplet封装技术和低参数模型优化等，以减少对HBM的依赖。
