三言科技最新报道,DeepSeek在连续五天慷慨开源其代码库后,今日再度抛出惊喜:发布V3/R1推理系统概览。
该系统通过一系列创新手段,显著提升了处理效率:
首先,跨节点EP驱动的批量扩展技术,有效提升了数据处理规模;其次,计算与通信重叠策略,进一步缩短了任务执行时间;最后,通过精细的负载平衡,确保了资源的最大化利用。
DeepSeek在线服务的统计数据显示,每个H800节点每秒能够处理73.7k个输入令牌和14.8k个输出令牌,成本利润率高达545%。
DeepSeek表示,此次分享的V3/R1推理系统概览,旨在为开源社区贡献宝贵的知识财富,并推动人工智能领域向通用人工智能(AGI)的目标迈进。