IT之家 8 月 6 日消息，摩爾線程 MUSA 架構是 MT GPU 支持的通用計算架構，摩爾線程剛剛確認 llama.cpp 已(yi)經(jing)適配了這(zhe)種計算架構，“直通全球 AI 生態圈(quan)”。

IT之家注：llama.cpp 是一(yi)個純(chun) C / C++ 實現的(de)(de)項目，旨在(zai)簡化大(da)語言模(mo)型(xing)(xing) (LLM) 的(de)(de)推理過程，并在(zai)多種硬件環境下提供最(zui)先進的(de)(de)性能支持，無論是本地部署還是云端運行。其主要目標是以最(zui)小的(de)(de)設(she)置和依賴(lai)，讓(rang)用戶在(zai)廣泛(fan)的(de)(de)硬件平臺上輕松進行 LLaMA 等大(da)模(mo)型(xing)(xing)的(de)(de)推理。

大語言模型因其出色的自然語言理解和生成能力而迅速被廣泛使用，llama.cpp 大(da)幅降(jiang)低了進行大(da)語言模型推理的門檻，能夠充分利用(yong)硬件的性能來助力用(yong)戶的大(da)語言模型應用(yong)。

llama.cpp 支持多種(zhong)語言模(mo)型(xing)，包括 LLaMA、Mistral、Falcon、Gemma、Qwen、Baichuan、Aquila 等主流模(mo)型(xing)，以及各種(zhong)多模(mo)態模(mo)型(xing)如(ru) LLaVA 和(he) MobileVLM，覆蓋(gai)廣泛(fan)的(de)推理需求。

摩爾線程 MUSA 架構是 MT GPU 支持的通用計算架構，llama.cpp 適配了這種計算架構。在 MTT S80 / S3000 / S4000 GPU 上，用戶可以通過 llama.cpp 官方提(ti)供的一系列容器(qi)鏡像來使(shi)用。

今年 4 月，MUSA SDK 升級到了 4.0.1 版本，支持(chi) Intel 處(chu)理器＋Ubuntu 操作(zuo)系統(tong)、海光處(chu)理器＋Kylin 麒(qi)麟操作(zuo)系統(tong)組成(cheng)的平臺。

廣告聲明：文(wen)內含有的對外跳轉鏈(lian)接(jie)（包(bao)(bao)括不限(xian)于(yu)超(chao)鏈(lian)接(jie)、二維碼(ma)、口(kou)令(ling)等形式），用于(yu)傳遞更(geng)多信息，節(jie)省甄(zhen)選時間，結果僅供參(can)考，IT之家所有文(wen)章(zhang)均(jun)包(bao)(bao)含本聲明。