面壁智能近日联合清华大学、OpenBMB开源社区，正式发布并开源了在低比特大模型训练方向的最新突破成果——BitCPM-CANN。该成果在华为昇腾平台上原生完成，标志着端侧AI大模型在轻量化与工程落地方面迈出了关键一步。
释放六倍显存红利打破硬件限制本次开源的BitCPM-CANN包含0.5B、1B、3B、8B四个模型尺寸，与同尺寸全精度家族模型进行逐项对照评测，表现十分优异。相比传统BF16 精度，该模型在推理阶段能够释放约 6 倍的显存红利，让大模型运行的硬件门槛大幅降低。
对于手机产业而言， 6 倍的显存红利意味着原本对配置要求极高的8B参数级别大模型，如今也可以轻松流畅地运行在主流旗舰手机之上。这种对内存空间的极致释放，将直接加速端侧AI技术在移动设备上的普及与商用落地。
高能力保留率证实工程可复现性在精简模型体积的同时，BitCPM-CANN依然保持了极高的性能水准，其模型能力保留率成功维持在90%至97.2%之间。其中，三个主要尺寸模型的能力保留率均达到了95.7%—97.2%，即使是体积最小的0.5B模型，其保留率也超过了90%。
这一亮眼的评测结果，系统性地证明了低比特训练技术路线具备极强的可扩展性与工程可复现性。面壁智能基于相关主干搭建了完整的低比特训练底座，涵盖环境适配、32K长序列支持及融合算子等完整工程体系，为后续面向昇腾的低比特训练工作筑牢了公共基础设施。
