IT之家 11 月 5 日消息，摩爾線程官方今日發(fā)文，稱已上線了大語言模型高速推理框架開源項(xiàng)目 vLLM 的 MUSA 移植版本，為開發(fā)者提供一個基于摩爾線程全功能 GPU 進(jìn)行開源項(xiàng)目 MUSA 移植的范例。
vLLM 是一個高效且易用的大模型推理和服務(wù)框架，已在各種大語言模型中得到廣泛應(yīng)用，并成為業(yè)界常用的開源大模型推理框架。
摩爾線程團(tuán)隊(duì)基于 vLLM v0.4.2 版本進(jìn)行了移植適配，為 vLLM 框架添加了摩爾線程 GPU 后端 Device 支持，并將移植適配后的 vLLM-MUSA 版本開源。
開發(fā)者可以基于摩爾線程 GPU 及 vLLM-MUSA，進(jìn)行二次開發(fā)、升級 vLLM 到社區(qū)更新版本等。
摩爾線程稱通過 MUSA 軟件棧對 CUDA 軟件棧接口兼容，大幅提升了應(yīng)用移植的效率，縮短了開發(fā)周期。并提供 MUSIFY 自動代碼移植工具等一系列工具和腳本，降低開發(fā)者在 MUSA 平臺進(jìn)行大語言模型訓(xùn)練和推理應(yīng)用適配的難度。
IT之家附 vLLM-MUSA 開源地址：https://github.com/MooreThreads/vLLM_musa
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。