設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

微軟 ONNX Runtime Web 集成 WebGPU:調(diào)用 GPU 提高網(wǎng)頁端 AI 模型運行速度

2024/3/5 11:12:18 來源:IT之家 作者:故淵 責編:故淵

IT之家 3 月 5 日消息,微軟旗下的 ONNX Runtime Web 添加整合了 WebGPU,從而提高復(fù)雜機器學(xué)習(xí)模型在網(wǎng)絡(luò)瀏覽器中的運行性能。不過這項技術(shù)尚處于早期階段,目前 Chrome 瀏覽器和 Edge 瀏覽器已添加初步支持。

IT之家注:ONNX Runtime Web 是微軟推出的 JavaScript 庫,讓網(wǎng)絡(luò)開發(fā)人員直接在網(wǎng)絡(luò)瀏覽器中部署機器學(xué)習(xí)模型,提供基于硬件加速的多個后端支持。

WebGPU 是一種網(wǎng)絡(luò)應(yīng)用程序接口(API),可為在網(wǎng)絡(luò)瀏覽器中,為機器學(xué)習(xí)模型提供硬件加速。

以前,由于計算能力有限,復(fù)雜的機器學(xué)習(xí)模型,尤其是大型生成模型,無法在網(wǎng)絡(luò)瀏覽器中高效運行。而現(xiàn)在 WebGPU 可以釋放設(shè)備 GPU 的能力來完成這些任務(wù),從而顯著提高性能。

微軟表示:

借助計算著色器等先進功能,WebGPU 能夠以更高效的方式處理更復(fù)雜的機器學(xué)習(xí)工作負載。

它對半精度(FP16)的支持降低了 GPU 內(nèi)存的使用率和帶寬要求,同時加快了運算速度。

WebGPU 通過利用 GPU 處理并行計算任務(wù)的能力,可直接在網(wǎng)絡(luò)瀏覽器中推斷出更高效、可擴展的機器學(xué)習(xí)應(yīng)用。

適用于 Mac、Windows、ChromeOS 的 Chrome 113 和 Edge 113 以及適用于 Android 的 Chrome 121 默認已包含 WebGPU,開發(fā)者可以嘗試通過 ONNX Runtime Web 調(diào)用 WebGPU 加速資源。

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:微軟,AIEdge,Chrome

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應(yīng)用 魔方 最會買 要知