設置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

9 項測試破 5 項紀錄,英偉達 H100 在 MLPerf 中獨占鰲頭:訓練 GPT-3 時間縮短 27%

2024/6/14 11:07:00 來源:IT之家 作者:故淵 責編:故淵

IT之家 6 月 14 日消息,英偉達旗下的 H100 GPU 仍在 AI 市場獨占鰲頭,現(xiàn)階段沒有出現(xiàn)威脅其主導地位的競爭對手,在 MLPerf 最新基準測試中,再次創(chuàng)下了多項新紀錄。

IT之家注:MLPerf 是衡量 AI 芯片性能的主流基準之一,該平臺最新推出了新的測試項目,專門針對微調(diào)(Fine-tuning)大語言模型和圖神經(jīng)網(wǎng)絡(GNN),而英偉達 H100 創(chuàng)下了多項紀錄。

Fine-tuning 是指在預訓練模型的基礎上,通過在特定任務上進行額外的訓練來調(diào)整模型的參數(shù),以使其更好地適應該任務。

本次測試使用了 11616 片英偉達 H100 GPU,在最新 9 項測試中,都取得了最高性能,并在其中 5 項測試中創(chuàng)造了新的紀錄。

谷歌和英特爾等競爭對手也參與了本次測試,谷歌的 TPU 系統(tǒng)在速度上有了顯著提高,英特爾的 GPU 也取得了明顯進步,但其性能和英偉達相比仍有差距。

英偉達表示由于進行了多項軟件優(yōu)化,訓練 GPT-3 的時間比 2023 年 6 月的基準測試縮短了 27%。這些優(yōu)化包括更好地使用 8 位浮點運算、更高效的計算引擎電源管理以及改進 GPU 之間的通信。

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關文章

關鍵詞:英偉達,H100

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應用 魔方 最會買 要知