ITBear旗下自媒体矩阵:

Akamai AI推理方案:时延降60%,分布式架构赋能高效AI部署

   时间:2025-05-12 15:06:02 来源:ITBEAR编辑:快讯团队 发表评论无障碍通道

Akamai,这家曾以CDN服务闻名的企业,如今已成功转型为全球领先的云服务、安全服务与CDN服务综合提供商。通过一系列战略收购,如Linode,Akamai构建了全球最分布式的计算平台,其服务覆盖全球130个国家,拥有超过1200个运营商网络、4000多个边缘节点、26个核心云计算节点及10个分布式节点。

面对生成式AI应用的井喷式增长,Akamai迅速响应市场,推出了AI推理解决方案。该方案旨在优化AI推理工作负载的效率与成本,满足日益增长的推理需求。Akamai大中华区总经理李昇指出,未来AI推理的计算需求或将远超训练需求,且大量推理任务将在边缘端进行。Akamai的高度分布式架构设计,正是应对这一趋势的理想选择,能够助力客户在更接近用户的地方部署生成式AI模型。

Akamai亚太区云计算专家团队负责人李文涛进一步介绍,Akamai的AI推理服务能够提升3倍的推理吞吐能力,降低60%的推理时延,相比传统云计算厂商的基础设施,使用成本可降低高达86%。这一方案包括四大组成部分:经典计算产品线,提供CPU、GPU及专属芯片VPU虚拟机,满足多样化的AI推理需求;数据管理,通过与VastData合作,结合Akamai的全球分布式边缘云平台,实现实时数据处理,加速AI推理服务;容器化服务,通过托管式K8s服务LKE企业版,支持容器化环境运行推理服务;边缘云计算和网络能力,利用集成的云平台和骨干网,降低最终用户推理时延,提高吞吐效率,并与Fermyon合作,提供WebAssembly支持,构建无服务器应用支持AI推理。

李文涛强调,Akamai的边缘时延极低,处于互联网的最后一跳,能够很好地解决AI企业面临的“最后一公里”时延问题。Akamai还在持续提升AI模型的安全能力。在今年的RSA Conference上,Akamai发布了基于AI的防火墙,保护用户AI模型免受恶意攻击,如资源消耗型攻击和恶意Token注入攻击等。

Akamai在中国的业务主要聚焦于帮助中国企业“出海”。李昇表示,Akamai在助力客户有效执行和部署AI战略的同时,也将确保AI模型的安全性,为客户提供全方位的服务支持。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  RSS订阅  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version