初创企业Tiiny AI近日推出一款名为Tiiny AI Pocket Lab的微型AI超级计算机,凭借其突破性的硬件配置与技术创新引发行业关注。这款设备以14.2×8×2.53厘米的紧凑尺寸和300克重量,成为全球同类产品中最轻便的解决方案,却集成了ARMv9.2架构的12核处理器与80GB LPDDR5X高速内存,AI算力高达190 TOPS。
设备核心性能的突破性体现在其模型部署能力上。通过定制异构计算架构——将系统级芯片(SoC)与独立神经网络处理器(NPU)深度整合,该设备首次实现本地运行1200亿参数级别的大型语言模型。这一成果得益于两项关键技术:TurboSparse神经元级稀疏激活算法,可在保持模型完整性的前提下提升推理效率;PowerInfer开源推理引擎则通过动态任务分配机制,将计算负载在CPU与NPU间智能调度,使复杂LLM工作负载处理速度提升显著。
硬件配置方面,设备配备1TB固态存储空间与30W热设计功耗(TDP),典型使用场景下系统功耗控制在65W左右。这种能效比设计使其在保持高性能的同时,可适配移动电源等便携供电方案。80GB内存容量支持激进量化技术应用,用户无需牺牲模型精度即可在本地环境流畅运行超大规模AI模型。
软件生态构建凸显实用导向,设备支持GPT-OSS、Llama、Qwen、DeepSeek等数十种主流开源模型的一键部署,覆盖从学术研究到商业应用的多样化场景。其完全离线运行能力突破云端依赖限制,在隐私保护要求严苛的医疗、金融等领域具有特殊价值。设备兼容的代理框架可实现多模型协同工作,满足复杂任务处理需求。
该产品的工程实现面临多重挑战。研发团队通过三维堆叠技术优化PCB布局,在有限空间内集成高性能计算单元;采用相变散热材料与微型液冷系统解决紧凑型设备的热管理难题;定制操作系统则针对异构计算架构进行深度优化,确保软硬件协同效率。这些技术创新使设备在保持手掌大小的同时,达到专业级工作站性能标准。
据内部人士透露,Tiiny AI计划在CES 2026国际消费电子展上正式展示该设备,届时将开放开发者套件申请。行业分析师指出,这类超便携AI计算设备的出现,可能推动边缘计算与端侧AI应用的范式转变,特别是在需要实时处理与数据隐私保护的场景中,将催生新的商业模式与技术生态。















