初创企业Acrab今日宣布推出首款面向边缘AI场景的终端SoC芯片GΞLIX 1，这款采用5nm工艺打造的芯片突破性实现了千亿参数大模型的本地化部署，无需依赖云端服务器即可完成复杂推理任务。该芯片通过异构计算架构整合了20核Arm CPU、3TFLOPS算力的GPU、独立NPU及专用音视频处理单元，整体AI算力达到惊人的650TOPS，较当前主流旗舰芯片提升十余倍——高通骁龙X Elite的NPU算力为45TOPS，英特尔酷睿Ultra系列则停留在40TOPS量级。
针对大模型推理对内存带宽的严苛需求，研发团队重构了缓存与内存子系统架构。芯片配备8MB一级缓存，共享二级缓存带宽高达768GB/s，外接256-bit位宽的LPDDR5X内存支持8533MT/s传输速率。这种设计有效解决了权重读取和KV缓存存取过程中的带宽瓶颈，为百亿参数模型在终端设备运行奠定了硬件基础。测试数据显示，在40k KV缓存和10k Token输入的Gemma 26B A4B模型场景下，GΞLIX 1的预填充阶段处理速度达到1416.8 Token/s，较苹果M4 Pro Mac Mini提升650%。
预填充性能优化成为该芯片的核心突破点。研发团队通过定制矢量硬件单元加速Transformer注意力机制计算，并重构了预填充处理路径。这一改进显著降低了长文本输入场景下的首Token延迟——当用户输入大段文本时，芯片能在更短时间内完成全量编码，为后续的逐字输出创造流畅体验。官方测试选择40k KV缓存和10k Token输入的极端场景，正是为了验证芯片在处理超长文本时的实际表现。
软件生态建设同步推进，Acrab推出覆盖驱动层到应用框架的完整软件栈，并发布智能体参考设计。配套发布的Agent Box终端设备作为GΞLIX 1的硬件原型，为开发者提供评估和验证平台。这套解决方案支持从底层驱动优化到上层应用开发的完整流程，帮助合作伙伴快速构建基于本地大模型的智能终端产品。通过软硬件协同设计，Acrab试图在边缘AI领域建立新的技术标准。
