設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

ModernBERT 模型公布,接任“Hugging Face 下載榜第二”2018 年經(jīng)典原版

2024/12/29 15:37:18 來源:IT之家 作者:漾仔 責(zé)編:漾仔

IT之家 12 月 29 日消息,Hugging Face、英偉達和約翰霍普金斯大學(xué)研究人員聯(lián)手為 Hugging Face 上的熱門編碼器模型 BERT 推出了全新版本 ModernBERT,號稱在滿足效率的同時新增支持處理長達 8192 個 Token 的上下文。

開發(fā)團隊表示,盡管 BERT 模型自 2018 年發(fā)布以來仍被業(yè)界廣泛使用,并且是 Hugging Face 上下載量第二大的模型(僅次于 RoBERTa),每月下載量超 6800 萬次,但這款模型如今已有些落后。

在 BERT 模型首次發(fā)布 6 年后的今天,Hugging Face 和其他團隊借鑒了近年來業(yè)界 LLM 的進展,對 BERT 模型架構(gòu)和訓(xùn)練過程進行改進,最終公布了 ModernBERT 模型以接替原版 BERT 模型。

▲ ModernBERT 模型的基準(zhǔn)測試結(jié)果

據(jù)悉,相關(guān)開發(fā)團隊使用了 2 萬億個 Token 來訓(xùn)練 ModernBERT,使得該模型在多種分類測試和向量檢索測試中都達到了目前業(yè)界領(lǐng)先水平,目前開發(fā)團隊共計公布了兩個版本的模型,分別是 1.39 億參數(shù)和 3.95 億參數(shù)版本,IT之家附項目地址如下(點此訪問)。

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:BERT,ModenBERT,模型

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應(yīng)用 魔方 最會買 要知