摩尔线程:MUSA 成功适配 llama.cpp,直通全球 AI 生态圈

Written by

in

感谢网友 Dima、HlandJinLi 的线索投递!

8 月 6 日消息,摩尔线程 MUSA 架构是 MT GPU 支持的通用计算架构,摩尔线程刚刚确认 llama.cpp 已经适配了这种计算架构,“直通全球 AI 生态圈”。

llama.cpp 支持多种语言模型,包括 LLaMA、Mistral、Falcon、Gemma、Qwen、Baichuan、Aquila 等主流模型,以及各种多模态模型如 LLaVA 和 MobileVLM,覆盖广泛的推理需求。

摩尔线程 MUSA 架构是 MT GPU 支持的通用计算架构,llama.cpp 适配了这种计算架构。在 MTT S80 / S3000 / S4000 GPU 上,用户可以通过 llama.cpp 官方提供的一系列容器镜像来使用。

今年 4 月,MUSA SDK 升级到了 4.0.1 版本,支持 Intel 处理器+Ubuntu 操作系统、海光处理器+Kylin 麒麟操作系统组成的平台。

站内搜索