PrismML，这家源自加州理工的AI初创公司，近日宣布了一项重大突破：其基于阿里Qwen 3.6 27B模型微调的Bonsai 27B模型正式亮相。这款模型不仅保留了原模型90%的智能水平，更令人瞩目的是，它能在仅配备12GB内存的iPhone上原生运行，为移动设备上的AI应用开辟了新的可能性。
Qwen 3.6 27B模型本身在本地AI领域已具备显著优势，其能力覆盖多步推理、结构化工具使用、长上下文工作流以及连贯的智能体循环。然而，该模型在16-bit精度下需占用54GB空间，即便在4-bit精度下也需18GB，这使得它在手机和大多数笔记本电脑上难以运行。PrismML通过其独特的原生1-bit模型压缩技术，成功将模型体积压缩至全精度版本的约1/14，内存占用降低超过90%，从而解决了这一难题。
Bonsai 27B模型推出了两个版本：Ternary（3-bit）版和1-bit版。Ternary版模型大小为5.9GB，每权重1.71有效位，针对笔记本级质量进行了优化；而1-bit版模型则更为紧凑，仅3.9GB，每权重1.125有效位，专为手机级占用空间设计。这一创新使得iPhone 15及后续机型能够运行完整的27B参数模型，为移动AI应用提供了强大的支持。
PrismML的首席执行官巴博克·哈西在接受CNBC采访时透露，公司已与苹果公司接洽，并正在评估其AI量化技术。哈西表示：“他们目前正在认真评估我们的技术。”尽管会谈仍处于早期阶段，但他认为“进展顺利”。有媒体猜测，谈判范围可能包括简单的技术授权使用，甚至不排除苹果直接收购PrismML的可能性。
当然，这种量化技术并非没有代价。哈西承认，与完整体积版本相比，量化后的模型性能会有所牺牲。具体而言，3-bit版模型保留了95%的基准测试得分，而1-bit版则保留了90%。在处理事实推理、数学和编程方面，量化后的模型表现相对较弱。然而，考虑到其能够在移动设备上运行，这一牺牲无疑是值得的。
