在人工智能领域，端侧AI的发展正迎来一场悄然变革。过去，人们习惯于依赖云端的大模型处理复杂任务，但如今，一种新的趋势正在显现：将具备足够能力的模型直接部署在本地设备上，实现数据不出本地、算力买断的新型工作模式。这种模式不仅改变了传统AI应用的成本结构，也为数据安全敏感型行业提供了新的解决方案。
一家由北京大学背景的创业公司元空智能，正在这一领域进行深入探索。该公司与惠普合作，推出了一套端侧AI解决方案，将自主研发的Boxer系列模型预装在惠普的各类设备中，从笔记本电脑到工作站，覆盖了不同算力需求的场景。这一合作的核心在于，让企业用户能够在本地完成数据处理和AI任务，无需将敏感数据上传至云端，从而避免了持续的Token费用支出。
Boxer系列模型包括27B稠密模型和35B-A3B稀疏模型，参数规模介于20B到100B之间。这一区间被元空团队视为“能干活，也装得下”的黄金区域。相较于小模型，Boxer系列能够处理更复杂的生产力任务，如解析银行流水、生成报告等；而与千亿参数的大模型相比，它又具备在本地设备上运行的可行性。元空智能的联合创始人逄大嵬表示，35B参数的模型已经能够覆盖许多原本需要更大云端模型才能完成的任务。
在发布会的现场演示中，元空智能展示了其AI Work在完全离线状态下的能力。关闭Wi-Fi后，AI Work成功扫描了本地文件夹中的数十张发票，完成了解析、分类和归档，并生成了Excel表格。另一项演示中，AI Work读取了数千条银行流水，识别出短时间内的资金快进快出等异常特征。整个过程中，数据始终未离开本地设备，展现了端侧AI在数据安全方面的优势。
元空智能的起点可以追溯到2023年初推出的ChatExcel。这一工具允许用户通过自然语言指令操作Excel表格，无需记忆函数或编写公式。上线半个月后，ChatExcel的日活峰值达到15万，累计独立IP访问量超过千万。这一成功为元空智能积累了数百万用户，并留下了大量真实操作轨迹数据。这些数据成为训练Boxer系列模型的重要资源，帮助模型更好地理解人类在处理复杂任务时的思维过程。
端侧AI的发展并非一帆风顺。过去，小模型虽然能够装进手机等设备，但在处理长链路生产力任务时往往力不从心。而大模型虽然能力更强，却受限于本地设备的算力，难以部署。元空智能通过优化模型架构和硬件适配，成功将Boxer系列模型部署在从十几GB内存的个人电脑到工作站的不同设备上。经过硬件优化后，模型的交互延迟被压缩至百毫秒级别，确保了用户体验的流畅性。
除了模型能力，元空智能还为AI Work开发了一套Harness和长期Memory系统。这一系统能够结构化保存任务执行过程，支持任务从检查点恢复。即使Agent在工作两小时后中断，用户也可以在第二天继续未完成的任务。这一功能解决了端侧AI在处理复杂任务时的连续性问题，使其更加贴近真实工作场景的需求。
在成本方面，端侧AI的模式为企业用户提供了新的选择。传统上，企业使用云端AI服务需要按Token付费，随着任务复杂度的增加，费用也会迅速上升。而元空智能与惠普的合作模式将OPEX转换为CAPEX，企业只需购买设备，模型运行在本地，除了电费外几乎不会产生额外费用。这一模式尤其适合投行、律所、药企等数据敏感型行业，它们既需要大量使用AI，又必须确保数据安全。
元空智能的团队规模虽小，但背景深厚。核心成员来自北京大学，团队中既有研究人员也有实习生，形成了产学研结合的独特模式。他们认为，下一阶段AI发展的关键在于获取真实工作过程中的数据。这些数据记录了人类如何完成复杂任务，包含了大量互联网上无法找到的知识。通过让模型在设备上处理真实任务，元空智能希望能够收集这些数据，推动模型的持续进化。
在元空智能的愿景中，设备不仅是推理工具，更是模型学习的环境。他们提出“设备即环境”的理念，认为模型、Agent和设备应该紧密结合。模型负责理解和决策，Agent提供记忆和工具调用能力，设备则将前两者接入真实工作场景。这种结合使得Agent能够处理持续数天甚至数月的复杂任务，而无需依赖有限的上下文窗口。
随着模型架构和硬件技术的不断进步，端侧AI的能力正在快速提升。元空智能的探索表明，小模型在特定场景下也能够发挥巨大价值，而设备端的真实任务数据则为模型训练提供了新的资源。这种趋势不仅改变了AI应用的成本结构，也为数据安全敏感型行业提供了新的解决方案。在这场端侧AI的变革中，谁能够更好地结合模型、Agent和设备，谁就有可能在未来的竞争中占据先机。
