IT之家 11 月 27 日消息，科技媒體 techpowerup 昨日（11 月 26 日）發(fā)布博文，報道稱 AMD 公司發(fā)布了 ROCm 6.3 版本更新，集成了用于加速 AI 推理的 SGLang，并重新設(shè)計 FlashAttention-2 用于優(yōu)化 AI 訓(xùn)練和推理等等。
SGLang
AMD 表示 ROCm 6.3 更新現(xiàn)支持 SGLang，這是一個 Runtime，為 AMD Instinct GPU 優(yōu)化大語言模型（LLMs）和視覺語言模型（VLM）的推理。
AMD 承諾通過集成 SGLang，吞吐量可以提高 6 倍，并且由于集成了 Python 和預(yù)配置的 ROCm Docker 容器，使用起來更加便捷。
FlashAttention-2
AMD 在 ROCm 6.3 中重新設(shè)計了 FlashAttention-2，相比較 FlashAttention-1，顯著改進了前向和后向傳遞，大幅提升了 Transformer 模型的訓(xùn)練和推理速度。
全新 AMD Fortran 編譯器
AMD 推出了全新的 Fortran 編譯器，支持直接 GPU offload，并兼容之前的版本，同時完美集成 HIP 內(nèi)核和 ROCm 庫，為 Fortran 開發(fā)者提供了更強大的 GPU 計算能力。
增強計算機視覺庫
rocDecode、rocJPEG 和 rocAL 等計算機視覺庫也得到了增強，分別支持 AV1 編解碼、GPU 加速 JPEG 解碼和更優(yōu)的音頻增強功能，為圖像和視頻處理應(yīng)用提供了更強大的支持。
ROCm 簡介
IT之家注：ROCm 是 AMD 開發(fā)的一個開放源代碼軟件棧，用于在 AMD 圖形處理器 (GPU) 上進行編程。
它包含驅(qū)動程序、開發(fā)工具和 API，支持從底層內(nèi)核到最終用戶應(yīng)用程序的 GPU 編程，ROCm 針對生成式 AI 和高性能計算 (HPC) 應(yīng)用進行了優(yōu)化，并涵蓋了通用計算 (GPGPU)、高性能計算 (HPC) 和異構(gòu)計算等多個領(lǐng)域。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。