ITBear旗下自媒体矩阵:

优刻得与华中科技大学联手,攻克Agent大模型推理瓶颈谋创新

   时间:2026-05-28 12:15:40 来源:互联网编辑:快讯 IP:北京 发表评论无障碍通道
 

优刻得-W(688158.SH)近日宣布与华中科技大学正式建立产学研合作关系,双方将针对Agent场景下大模型推理面临的技术瓶颈展开深度探索。此次合作以KV Cache卸载与复用技术为核心研究方向,旨在通过系统级创新为下一代AI推理基础设施提供突破性解决方案。

研究团队将整合云基础设施架构、分布式存储优化及异构计算加速三大领域的专业能力,从技术实现路径上构建双维度突破。一方面聚焦"单请求长上下文推理"场景,通过动态资源分配机制提升单次推理效率;另一方面针对"跨请求前缀复用"需求,设计智能缓存匹配算法实现计算资源复用。这种多层级KV Cache卸载体系的建设,将有效解决传统推理架构中内存占用高、扩展性受限等关键问题。

据合作方案披露,双方将建立联合实验室开展技术攻关,重点突破KV Cache在分布式环境下的高效传输协议、异构计算单元间的协同调度机制等核心技术。通过硬件加速与软件优化的协同设计,预期可使Agent推理服务的吞吐量提升3-5倍,同时将单位推理任务的能耗降低40%以上。这项研究成果将直接应用于智能客服、自动化决策等需要实时推理的Agent场景,为行业提供更高效的底层技术支撑。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version