近期，杭州灵汐类脑科技有限公司携手中国电信、中国电子科技南湖研究院及脑启社区，成功推出了“杭州灵汐类脑智算集群”，并于七月底正式启动了针对企业的快速推理API试运行服务。这一里程碑式的项目落户于中国电信杭州智算中心，其算力规模突破了200POPS大关，标志着类脑智算集群在全球商业应用领域的崭新探索。
作为类脑智能技术的尖端应用，该智算集群融合了“存算一体、众核并行、稀疏计算、事件驱动”的核心优势，不仅在计算效率上实现了显著提升，更在能耗控制方面取得了突破性进展。具体而言，该集群在大语言模型推理方面展现了三大亮点：一是推理速度飞快，单用户延迟被精准控制在毫秒级，相较于传统方案，其流畅响应实时交互及深度推理的能力尤为突出；二是首token延迟显著降低，达到百毫秒乃至十毫秒级别；三是功耗大幅下降，相比业界同等算力水平，其功耗降低了二分之一至三分之二以上。尤为该集群所搭载的异构融合类脑芯片，凭借其兼容PyTorch框架的类CUDA软件栈，能够直接服务于多种开源大模型的快速推理，无需繁琐的算法转换。
用户登录灵汐智算平台后，即可轻松体验大模型的便捷操作。平台界面友好，用户不仅能够轻松登录，还能享受到大模型快速推理的高效服务。
当前，大模型推理面临的两大挑战——吞吐速度慢和高延迟问题，严重制约了其在多个行业场景的应用。针对这一现状，灵汐科技凭借类脑智能技术，提供了“高实时、高吞吐、低延迟”的推理服务解决方案，为金融应用、情感陪聊、快速导览、大规模数据标注以及无人机实时航拍处理、灾害预警与应急处置等多个领域带来了革新机遇。据悉，该智算集群将持续优化升级，近期还将推出新一代类脑智算高密度计算平台，预计能效比将得到进一步提升。
