11月19日,AMD在博客中宣布与微调工具厂商Unsloth达成合作,Unsloth Desktop由此获得NPU支持。基于XDNA 2架构的AMD NPU也成为该应用支持的第一款NPU产品。
连接应用与硬件的是Lemonade和FastFlowLM两个推理框架。Unsloth Desktop负责界面和模型管理,Lemonade、FLM把推理任务交给XDNA 2 NPU执行。该桌面端还提供兼容OpenAI规范的API端点,Open WebUI、Cline、VS Code等100多款智能体应用和工作流可将请求发往本地NPU,无需每款软件单独适配。
功耗是此次方案强调的方向。XDNA 2 NPU面向低功耗AI推理设计,任务从CPU和GPU转移到NPU后,其他计算资源可继续服务别的应用,笔记本续航也能延长;即使不接电源,设备仍可维持低功耗常驻智能体运行。
AMD展示了Qwen3.6 MoE模型在AMD NPU上的实时推理,模型总参数量为350亿。运行Qwen 3.6 35B A3B并开启全上下文时,NPU约需28GB可用内存;按Windows默认将一半内存作为共享显存的策略,整机配置64GB更稳妥。AMD称,这次集成延续其扩展和优化软件支持的工作,让更多常用工具获得专用NPU加速。
Unsloth的业务覆盖模型开发与部署:开源工具用于加快微调并降低GPU显存占用,桌面应用支持不写代码完成训练和推理。NPU支持把执行路径从CPU、GPU扩展到NPU,为用户增加低功耗推理选择。实际操作时,安装Unsloth Desktop后在模型中心筛选NPU、启用并下载模型即可,前提是使用配备XDNA 2 NPU的AMD设备。






