設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

9 項(xiàng)測試破 5 項(xiàng)紀(jì)錄,英偉達(dá) H100 在 MLPerf 中獨(dú)占鰲頭:訓(xùn)練 GPT-3 時(shí)間縮短 27%

2024/6/14 11:07:00 來源:IT之家 作者:故淵 責(zé)編:故淵

IT之家 6 月 14 日消息,英偉達(dá)旗下的 H100 GPU 仍在 AI 市場獨(dú)占鰲頭,現(xiàn)階段沒有出現(xiàn)威脅其主導(dǎo)地位的競爭對手,在 MLPerf 最新基準(zhǔn)測試中,再次創(chuàng)下了多項(xiàng)新紀(jì)錄。

IT之家注:MLPerf 是衡量 AI 芯片性能的主流基準(zhǔn)之一,該平臺最新推出了新的測試項(xiàng)目,專門針對微調(diào)(Fine-tuning)大語言模型和圖神經(jīng)網(wǎng)絡(luò)(GNN),而英偉達(dá) H100 創(chuàng)下了多項(xiàng)紀(jì)錄。

Fine-tuning 是指在預(yù)訓(xùn)練模型的基礎(chǔ)上,通過在特定任務(wù)上進(jìn)行額外的訓(xùn)練來調(diào)整模型的參數(shù),以使其更好地適應(yīng)該任務(wù)。

本次測試使用了 11616 片英偉達(dá) H100 GPU,在最新 9 項(xiàng)測試中,都取得了最高性能,并在其中 5 項(xiàng)測試中創(chuàng)造了新的紀(jì)錄。

谷歌和英特爾等競爭對手也參與了本次測試,谷歌的 TPU 系統(tǒng)在速度上有了顯著提高,英特爾的 GPU 也取得了明顯進(jìn)步,但其性能和英偉達(dá)相比仍有差距。

英偉達(dá)表示由于進(jìn)行了多項(xiàng)軟件優(yōu)化,訓(xùn)練 GPT-3 的時(shí)間比 2023 年 6 月的基準(zhǔn)測試縮短了 27%。這些優(yōu)化包括更好地使用 8 位浮點(diǎn)運(yùn)算、更高效的計(jì)算引擎電源管理以及改進(jìn) GPU 之間的通信。

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:英偉達(dá),H100

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會買 要知