近日,AI21Labs宣布推出一款名为Jamba Reasoning3B的开源小型语言模型,该模型专为边缘设备的人工智能计算量身打造。作为Jamba系列的新成员,这款“迷你语言模型”采用Apache2.0许可证发布,由AI21Labs在特拉维夫研发完成。
与传统依赖变换器架构的大型语言模型不同,Jamba Reasoning3B基于AI21Labs自主研发的混合状态空间模型(SSM)-变换器架构。状态空间模型是一种通过当前状态预测后续状态的深度学习算法,在特定任务中展现出比传统变换器更高的效率。其中,Mamba架构作为SSM的变体,被整合进Jamba的架构设计中,进一步优化了模型的计算性能。
尽管体积小巧,Jamba Reasoning3B的性能却毫不逊色。其上下文窗口长度可达25.6万个标记,最大处理能力超过100万个标记,支持在iPhone、Android手机、Mac和PC等设备上运行,功能与Anthropic Claude、Google Gemini等大型模型相近。这种“小身材大能量”的特性,使其成为边缘计算领域的突破性产品。
Futurum Group分析师布拉德·希明(Brad Shimmin)指出,状态空间模型的概念在行业内已存在多年,但直到近期才具备可行的技术实现。他强调,随着计算技术的进步,这类模型因其扩展性强、运算速度快的特点,逐渐成为更优选择。例如,SSM架构通过“绳索缩放”技术优化注意力机制,在减少计算资源消耗的同时,仍能高效处理复杂任务。
作为一家成立仅7年的生成式AI公司,AI21Labs虽规模较小,却获得了Google和英伟达等科技巨头的支持,累计融资超6亿美元。通过构建生态系统,该公司计划从开源模型Jamba Reasoning3B中探索商业化路径。例如,在模型发布会上,AI21Labs展示了其在IFBench、MMLU-Pro和Humanity's Last Exam等基准测试中的表现,结果显示其性能超越了阿里巴巴Qwen3.4B、谷歌Gemma3.4B、meta Llama3.23B等同级别开源模型。
在企业应用场景中,Jamba Reasoning3B的潜力尤为突出。其支持检索增强生成技术,允许企业根据自身需求定制模型,同时保障数据安全。希明认为,客户服务中心是该模型的理想落地场景之一——通过其推理能力,模型可自动分析客户投诉,判断是否需要转接人工处理,从而提升服务效率。
核心亮点: