IT之家 3 月 31 日消息，Databricks 近日在推出了一款通用大語言模型 DBRX，號稱是“目前最強開源 AI”，據(jù)稱在各種基準(zhǔn)測試中都超越了“市面上所有的開源模型”。
IT之家從官方新聞稿中得知，DBRX 是一個基于 Transformer 的大語言模型，采用 MoE（Mixture of Experts）架構(gòu)，具備 1320 億個參數(shù)，并在 12T Token 的源數(shù)據(jù)上進行預(yù)訓(xùn)練。
研究人員對這款模型進行測試，相較于市場上已有的 LLaMA2-70B、Mixtral、Grok-1 等開源模型，DBRX 在語言理解（MMLU）、程式設(shè)計（HumanEval）及數(shù)學(xué)邏輯（GSM8K）等基準(zhǔn)測試上的表現(xiàn)較為突出。官方同時提到，DBRX 在上述 3 項基準(zhǔn)測試中也超越了 OpenAI 的 GPT-3.5。
Databricks AI 部分副總裁 Naveen Rao 向外媒 TechCrunch 透露，該公司花了兩個月及 1000 萬美元的成本來訓(xùn)練 DBRX，雖然目前 DBRX 在整體成績方面發(fā)揮較好，不過目前該模型需要使用 4 塊英偉達 H100 GPU 運行，因此還有待優(yōu)化空間。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。