将大型AI模型部署到手机、电脑等终端设备，远非“下载App”般简单。不同设备的芯片架构差异巨大，同一模型在不同终端运行往往需要重新适配，开发者不仅要解决模型运行问题，还要攻克速度、功耗和稳定性等难题。尽管云端已有成熟的工具链，但在终端设备，尤其是新一代AI计算单元NPU（神经网络处理单元）上，适配工具几乎处于空白状态。一个新模型发布后，适配周期常需数周甚至数月，这成为制约端侧AI发展的关键瓶颈。
Nexa AI的诞生正是为了破解这一难题。2023年，斯坦福校友Alex Chen与Zack Li联合创立了这家公司，并推出开源工具Nexa SDK。该工具允许开发者以极简代码将模型部署到各类终端设备，无需逐一研究不同芯片的适配方案。与传统面向CPU/GPU的开源项目不同，Nexa从成立之初就将重心放在NPU上，通过针对性优化将适配周期从数月压缩至“模型发布当天即可运行”。这一创新迅速在开发者社区引发关注，Nexa SDK不仅登上GitHub Trending榜首，获得近8000个Star，还在Product Hunt平台斩获第一名。
Nexa的技术突破很快吸引了芯片巨头的注意。2024年8月，公司将“NPU优先”确立为战略核心后，高通开发者关系团队主动与其建立联系。通过内部推荐，Nexa的技术先后通过高通技术、创投和管理团队的层层验证。一位高通副总裁在深度试用后发现，Nexa的方案在模型运行速度、效果及新模型支持速度上均优于高通现有方案，尤其是其“Day-0 Support”能力——即模型发布当天即可完成适配——为芯片厂商争取OEM客户提供了关键优势。2025年3月，Nexa AI的12人团队整体加入高通，其技术整合为面向高通平台的生成式AI推理框架GenieX。
端侧AI的落地进程已超出公众感知。Alex Chen指出，智能手机拍照时的图像优化、视频会议中的实时画面处理、工业设备的异常检测等场景，早已广泛应用端侧模型。以拍照为例，从按下快门到生成照片，中间需经过二十多个AI模型的协同处理；视频会议中，摄像头采集的原始像素与最终显示画面之间，也依赖端侧模型实现零延迟转换。生成式AI方面，苹果等厂商已开始在终端部署本地模型，尽管效果尚未达到理想状态，但硬件性能的快速迭代（如算力与内存的年更提升）正在推动端侧能力边界不断扩展。
关于端侧与云端模型的分工，Alex Chen认为“联合推理”将成为主流。本地模型适合处理信息提取、功能调用等轻量级任务，例如从长文本中快速提取关键信息，既节省云端Token消耗，又能实现零延迟响应；复杂推理则交由云端完成。这种分工模式在隐私敏感场景中尤为关键——例如，一个本地运行的200亿参数模型可作为AI Agent的API，帮助用户完成发票报销等涉及敏感数据的操作，同时控制本地系统权限，避免数据外传。
Nexa的技术壁垒源于对NPU硬件特性的深度理解。Alex Chen解释，传统CPU需兼顾通用计算，GPU通过并行线程支持AI，而NPU则进一步专精化：它剥离了非必要的通用功能，重点优化整数运算等模型推理常用数据类型。这种专用性虽提升了效率，却也导致NPU的软件生态滞后于CPU/GPU。Nexa的解决方案是“硬件感知的软件设计”（hardware-aware software design），即从软件架构层面充分适配NPU特性，从而在速度和模型质量上实现双重优化。
加入高通后，Nexa SDK转型为GenieX，其核心变化是专注高通芯片平台，放弃对其他芯片后端的支持。Alex Chen透露，团队当前的首要目标是让GenieX覆盖绝大多数高通芯片开发者，通过持续迭代工具链并整合高通营销资源，推动技术在OEM厂商中的普及。尽管团队规模保持12人不变，但工作模式已从“研发+推广并重”转向专注技术深耕。“高通成熟的开发者生态让我们能更聚焦产品本身，”Alex Chen表示，“现在，我们可以全身心投入到底层优化与用户体验提升中。”
