ITBear旗下自媒体矩阵:

芯展速AI90软硬件一体化方案亮相WAIC 2026:首Token延迟降50倍显存省39%

   时间:2026-07-20 14:22:51 来源:ITBEAR编辑:快讯 IP:北京 发表评论无障碍通道
 

在近期举办的WAIC 2026展会上,芯展速(GenStorAIGE)公司推出了一项突破性的AI推理加速方案——AI90软硬件一体化解决方案,引发了行业广泛关注。该方案通过创新性的存储架构设计,将高性能SSD引入GPU显存体系,构建了HBM+DRAM+SSD三级存储架构,为AI推理性能提升开辟了新路径。

核心技术创新在于将KV Cache卸载至大容量固态硬盘,有效突破了传统显存容量限制。实测数据显示,该方案使首Token生成延迟从秒级压缩至亚秒级,性能提升达50倍;系统吞吐量实现5.1倍增长,同时显存占用率降低39%。这些突破得益于存储架构与计算单元的深度协同优化。

针对高写入负载需求,芯展速同步发布了PT200Z AI专用SSD。该产品采用pSLC闪存介质与PCIe Gen5接口,具备100 DWPD的超高耐久度,顺序读取速度达14.8GB/s,随机读取性能突破3100KIOPS。特别值得关注的是,其读取延迟控制在54μs,写入延迟仅10μs,为KV Cache的实时存取提供了可靠保障。

在多卡协同方面,AI90方案通过智能P2P互联技术,使8卡NVIDIA GeForce RTX 5090集群的推理性能提升5.8倍,并支持超过128K的上下文窗口处理。这种架构设计既保持了消费级显卡的成本优势,又实现了专业级计算卡的性能表现,为大规模AI部署提供了新的解决方案。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version