GPT-4o mini 頭把交椅還未坐熱，Mistral AI 聯(lián)手英偉達(dá)發(fā)布 12B 參數(shù)小模型 Mistral Nemo，性能趕超 Gemma 2 9B 和 Llama 3 8B。
小模型，成為本周的 AI 爆點。
先是 HuggingFace 推出了小模型 SmoLLM；OpenAI 直接殺入小模型戰(zhàn)場，發(fā)布了 GPT-4o mini。
GPT-4o mini 發(fā)布同天，歐洲最強(qiáng) AI 初創(chuàng)公司 Mistral 立馬發(fā)布旗下最新最強(qiáng)小模型 ——Mistral NeMo。
Mistral NeMo 由 Mistral AI 和英偉達(dá)聯(lián)手打造，有 12B 參數(shù)，支持 128K 上下文。
從整體性能上來看，Mistral NeMo 在多項基準(zhǔn)測試中，擊敗了 Gemma 2 9B 和 Llama 3 8B。
看到各大巨頭和獨角獸都和小模型杠上了，吃瓜群眾紛紛鼓掌。
HuggingFace 創(chuàng)始人表示，本周巨頭小模型三連發(fā)，「小模型周」來了！卷！繼續(xù)卷！
Mistral 這周的確像打了雞血，火力全開。
幾天前，Mistral 才發(fā)布了兩款小模型，專為數(shù)學(xué)推理和科學(xué)發(fā)現(xiàn)設(shè)計的 Mathstral 7B 和代碼模型 Codestral Mamba，是首批采用 Mamba 2 架構(gòu)的開源模型之一。
沒想到周這只是平 A 了兩下熱熱場子，還和老黃憋著大招等待閃亮登場。
1＋1＞2？
最新發(fā)布的小模型 Mistral NeMo 12B，瞄準(zhǔn)企業(yè)用戶的使用。
開發(fā)人員可以輕松定制和部署支持聊天機(jī)器人、多語言任務(wù)、編碼和摘要的企業(yè)應(yīng)用程序。
通過將 Mistral AI 在訓(xùn)練數(shù)據(jù)方面的專業(yè)知識，與英偉達(dá)優(yōu)化的硬件和軟件生態(tài)系統(tǒng)相結(jié)合，「最強(qiáng)爹媽」培養(yǎng)出的娃，Mistral NeMo 模型性能極其優(yōu)秀。
Mistral AI 聯(lián)合創(chuàng)始人兼首席科學(xué)家 Guillaume Lample 表示，「我們很幸運能夠與英偉達(dá)團(tuán)隊合作，利用他們的頂級硬件和軟件。」
Mistral NeMo 在 NVIDIA DGX Cloud AI 平臺完成了訓(xùn)練，該平臺提供對最新英偉達(dá)架構(gòu)的專用和可擴(kuò)展訪問。
加速大語言模型推理性能的 NVIDIA TensorRT-LLM，以及構(gòu)建自定義生成 AI 模型的 NVIDIA NeMo 開發(fā)平臺也用于推進(jìn)和優(yōu)化新模型的性能。
此次合作也凸顯了英偉達(dá)對支持模型構(gòu)建器生態(tài)系統(tǒng)的承諾。
企業(yè)賽道，卓越性能
Mistral NeMo 支持 128K 上下文，能夠更加連貫、準(zhǔn)確地處理廣泛且復(fù)雜的信息，確保輸出與上下文相關(guān)。
與同等參數(shù)規(guī)模模型相比，它的推理、世界知識和編碼準(zhǔn)確性都處于領(lǐng)先地位。
下表結(jié)果所示，除了在 MMLU 基準(zhǔn)上，Mistral NeMo 不如 Gemma 2 9B。
但在多輪對話、數(shù)學(xué)、常識推理、世界知識和編碼等基準(zhǔn)中，超越了 Gemma 2 9B 和 Llama 3 8B。
由于 Mistral NeMo 使用標(biāo)準(zhǔn)架構(gòu)，因此兼容性強(qiáng)，易于使用，并且可以直接替代任何使用 Mistral 7B 的系統(tǒng)。
Mistral NeMo 是一個擁有 120 億參數(shù)的模型，根據(jù) Apache 2.0 許可證發(fā)布，任何人皆可下載使用。
此外，模型使用 FP8 數(shù)據(jù)格式進(jìn)行模型推理，這可以減少內(nèi)存大小并加快部署速度，而不會降低準(zhǔn)確性。
這意味著，模型可以流暢絲滑地學(xué)習(xí)任務(wù)，并更有效地處理不同的場景，使其成為企業(yè)的理想選擇。
這種格式可以在任何地方輕松部署，各種應(yīng)用程序都能靈活使用。
因此，模型可以在幾分鐘內(nèi)，部署到任何地方，免去等待和設(shè)備限制的煩惱。
Mistral NeMo 瞄準(zhǔn)企業(yè)用戶的使用，采用屬于 NVIDIA AI Enterprise 一部分的企業(yè)級軟件，具有專用功能分支、嚴(yán)格的驗證流程以及企業(yè)級安全性的支持。
開放模型許可證也允許企業(yè)將 Mistral NeMo 無縫集成到商業(yè)應(yīng)用程序中。
Mistral NeMo NIM 專為安裝在單個 NVIDIA L40S、NVIDIA GeForce RTX 4090 或 NVIDIA RTX 4500 GPU 的內(nèi)存上而設(shè)計，高效率低成本，并且保障安全性和隱私性。
也就是說，單個英偉達(dá) L40S，一塊 GPU 就可跑了。
對于希望實現(xiàn)先進(jìn)人工智能的企業(yè)來說，Mistral NeMo 12B 提供了強(qiáng)大且實用的組合技。
先進(jìn)模型的開發(fā)和定制
Mistral AI 和英偉達(dá)各自擅長的領(lǐng)域結(jié)合，優(yōu)化了 Mistral NeMo 的訓(xùn)練和推理。
模型利用 Mistral AI 的專業(yè)知識進(jìn)行訓(xùn)練，尤其是在多語言、代碼和多輪內(nèi)容方面，受益于英偉達(dá)全堆棧的加速訓(xùn)練。
它專為實現(xiàn)最佳性能而設(shè)計，利用高效的模型并行技術(shù)、可擴(kuò)展性以及與 Megatron-LM 的混合精度。
該模型使用 NVIDIA NeMo 的一部分 Megatron-LM 進(jìn)行訓(xùn)練，在 DGX Cloud 上配備 3,072 個 H100 80GB Tensor Core GPU，由 NVIDIA AI 架構(gòu)組成，包括加速計算、網(wǎng)絡(luò)結(jié)構(gòu)和軟件，以提高訓(xùn)練效率。
面向大眾的多語言模型
Mistral NeMo 模型專為全球多語言應(yīng)用程序而設(shè)計。
它經(jīng)過函數(shù)調(diào)用訓(xùn)練，具有較大的上下文窗口，并且在英語、法語、德語、西班牙語、意大利語、葡萄牙語、中文、日語、韓語、阿拉伯語和印地語多語言方面性能強(qiáng)大。
可以說，這是將前沿人工智能模型帶到全世界不同語言使用者手中的重要一步。
Mistral NeMo 在多語言基準(zhǔn)測試中的表現(xiàn)
Tekken：更高效的分詞器
Mistral NeMo 使用基于 Tiktoken 的全新分詞器 ——Tekken，該分詞器已針對 100 多種語言進(jìn)行訓(xùn)練，并且比以前的 Mistral 模型中使用的 SentencePiece 分詞器更有效地壓縮自然語言文本和源代碼。
具體而言，在壓縮源代碼、中文、意大利語、法語、德語、西班牙語和俄語方面的效率提高了約 30%；
在壓縮韓語和阿拉伯語方面的效率也分別提高了 2 倍和 3 倍。與 Llama 3 分詞器相比，Tekken 在壓縮大約 85% 的所有語言的文本方面表現(xiàn)更為出色。
Tekken 壓縮率
指令微調(diào)
Mistral NeMo 已經(jīng)經(jīng)過了高級微調(diào)和對齊階段。與 Mistral 7B 相比，它在遵循精確指令、推理、處理多輪對話和生成代碼方面表現(xiàn)得更好。
Mistral NeMo 指令微調(diào)模型精度，使用 GPT-4o 作為官方參考的評判標(biāo)準(zhǔn)進(jìn)行評估
可用性和部署
憑借在云、數(shù)據(jù)中心或 RTX 工作站等任何地方運行的靈活性，Mistral NeMo 已準(zhǔn)備好成為徹底改變跨平臺使用 AI 應(yīng)用程序的先鋒。
用戶可以立即通過 ai.nvidia.com 作為 NVIDIA NIM 體驗 Mistral NeMo，可下載的 NIM 版本即將推出。
有網(wǎng)友已經(jīng)迫不及待在英偉達(dá) NIM 推理微服務(wù)中運行了 Mistral NeMo 12B。
開發(fā)者現(xiàn)在可以使用 mistral-inference 試用 Mistral NeMo，并使用 mistral-finetune 對其進(jìn)行微調(diào)。
Mistral NeMo 在 La Plateforme 上以 open-mistral-nemo-2407 的名稱公開。
參考資料：
https://blogs.nvidia.com/blog/mistral-nvidia-ai-model/?ncid=so-twit-243298&linkId=100000274370636
https://x.com/arthurmensch/status/1813949845704745223
https://x.com/theo_gervet/status/1813951882815000628
https://x.com/ClementDelangue/status/1813962747056652515
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。