近期，杭州深度求索人工智能基础技术研究有限公司，即deepseek的关联企业，在人工智能领域取得了新的技术突破。据天眼查App数据显示，该公司已成功申请了一项名为“大语言模型部署方法及系统”的专利。
该专利的核心创新点在于，它将大语言模型的部署过程巧妙地分为预填充和解码两个阶段，并根据这两个阶段的不同需求，分别部署在具备高性能计算能力和大内存的机器上。这一策略不仅有效均衡了负载任务，还最大化地利用了硬件资源，显著减少了算力的闲置情况。同时，该方法还带来了整体延迟的降低、吞吐量的提升，以及系统扩展性和容错性的显著增强。
