ITBear旗下自媒体矩阵:

摩尔线程推出vLLM-MUSA开源项目,助力开发者高效移植大语言模型

   时间:2024-11-05 20:32:18 来源:ITBEAR编辑:瑞雪 发表评论无障碍通道

【ITBEAR】摩尔线程官方今日宣布,已成功将大语言模型高速推理框架vLLM的MUSA移植版本上线,此举旨在为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的参考。

据悉,vLLM作为一款高效且便捷的大模型推理和服务框架,已在众多大语言模型中发挥关键作用,并逐渐成为行业内广泛采用的开源推理框架。

摩尔线程团队针对vLLM v0.4.2版本进行了详尽的移植适配工作,为vLLM框架新增了摩尔线程GPU后端Device支持,并慷慨地将移植后的vLLM-MUSA版本开源,供开发者社区使用。

通过这一开源项目,开发者们能够基于摩尔线程GPU以及vLLM-MUSA进行更为深入的二次开发,同时也可轻松将vLLM升级至社区发布的最新版本。

摩尔线程进一步指出,其MUSA软件栈与CUDA软件栈接口的高度兼容性,不仅显著提升了应用移植的效率,还大幅缩短了整个开发周期。为了进一步降低开发者在MUSA平台上进行大语言模型训练和推理应用适配的难度,摩尔线程还提供了一系列实用的工具和脚本,其中包括MUSIFY自动代码移植工具。

对于对摩尔线程GPU及vLLM-MUSA开源项目感兴趣的开发者,可通过访问官方GitHub仓库获取更多信息和资源。附vLLM-MUSA开源地址:https://github.com/MooreThreads/vLLM_musa

此举无疑将促进大语言模型推理领域的技术发展,并为开发者社区带来更多的便利与创新机会。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  RSS订阅  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version