還沒(méi)等到官宣，Deepseek-v3 竟意外曝光了？！
據(jù) Reddit 網(wǎng)友爆料，v3 已在 API 和網(wǎng)頁(yè)上發(fā)布，一些榜單跑分也新鮮出爐。
在 Aider 多語(yǔ)言編程測(cè)試排行榜中，Deepseek-v3 一舉超越 Claude 3.5 Sonnet，排在第 1 位的 o1 之后。
（相比 Deepseek-v2.5，完成率從 17.8% 大幅上漲至 48.4%。）
且在 LiveBench 測(cè)評(píng)中，它是當(dāng)前最強(qiáng)開(kāi)源 LLM，并在非推理模型中僅次于 gemini-exp-1206，排在第二。
目前 Hugging Face 上已經(jīng)有了 Deepseek-v3（Base）的開(kāi)源權(quán)重，只不過(guò)還沒(méi)上傳模型介紹卡片。
綜合網(wǎng)上多方爆料來(lái)看，Deepseek-v3 相比前代 v2、v2.5 有了極大提升 ——
與 v2、v2.5 配置對(duì)比
首先，Deepseek-v3 基本配置如下：
采用 685B 參數(shù)的 MoE 架構(gòu)；
包含 256 個(gè)專家，使用 sigmoid 函數(shù)作為路由方式，每次選取前 8 個(gè)專家 (Top-k=8)；
支持 64K 上下文，默認(rèn)支持 4K，最長(zhǎng)支持 8K 上下文；
約 60 個(gè) tokens / s；
BTW，在 Aider 測(cè)評(píng)中擊敗 Claude 3.5 Sonnet 的還是 Instruct 版本（該版本目前未發(fā)布）。
為了進(jìn)一步了解 Deepseek-v3 的升級(jí)程度，機(jī)器學(xué)習(xí)愛(ài)好者 Vaibhav (VB) Srivastav（以下簡(jiǎn)稱瓦哥）還深入研究了配置文件，并總結(jié)出 v3 與 v2、v2.5 的關(guān)鍵區(qū)別。
與 v2（今年 5 月 6 日官宣開(kāi)源）比較的結(jié)果，經(jīng) AI 整理成表格如下：
可以看出，v3 幾乎是 v2 的放大版，在每一項(xiàng)參數(shù)上均有較大提升。
而且瓦哥重點(diǎn)指出了模型結(jié)構(gòu)的三個(gè)關(guān)鍵變化：
第一，在 MOE 結(jié)構(gòu)中，v3 使用了 sigmoid 作為門控函數(shù)，取代了 v2 中的 softmax 函數(shù)。這允許模型在更大的專家集合上進(jìn)行選擇，而不像 softmax 函數(shù)傾向于將輸入分配給少數(shù)幾個(gè)專家。
第二，v3 引入了一個(gè)新的 Top-k 選擇方法 noaux_tc，它不需要輔助損失。
簡(jiǎn)單理解，MoE 模型通常需要一個(gè)輔助損失來(lái)幫助訓(xùn)練，主要用于更好地學(xué)習(xí)如何選擇 Top-k 個(gè)最相關(guān)的專家來(lái)處理每個(gè)輸入樣本。
而新方法能在不依賴輔助損失的情況下，直接通過(guò)主要任務(wù)的損失函數(shù)來(lái)有效地選擇 Top-k 個(gè)專家。這有助于簡(jiǎn)化訓(xùn)練過(guò)程并提高訓(xùn)練效率。
對(duì)了，為便于理解，瓦哥用 DeepSeek 逐步解釋了這一方法。
這是一種基于群體的專家選擇算法，通過(guò)將專家劃分為不同的小組，并在每個(gè)小組內(nèi)部選擇最優(yōu)秀的 k 名專家。
第三，v3 增加了一個(gè)新參數(shù) e_score_correction_bias，用于調(diào)整專家評(píng)分，從而在專家選擇或模型訓(xùn)練過(guò)程中獲得更好的性能。
此外，v3 與 v2.5（本月 10 日官宣開(kāi)源）的比較也出爐了，后者主要支持聯(lián)網(wǎng)搜索功能，相比 v2 全面提升了各項(xiàng)能力。
同樣經(jīng) AI 整理成表格如下：
具體而言，v3 在配置上超越了 v2.5，包括更多的專家數(shù)量、更大的中間層尺寸，以及每個(gè) token 的專家數(shù)量。
看完上述結(jié)果，瓦哥連連表示，明年有機(jī)會(huì)一定要見(jiàn)見(jiàn)中國(guó)的開(kāi)源團(tuán)隊(duì)。(doge）
網(wǎng)友實(shí)測(cè) Deepseek-v3
關(guān)于 v3 的實(shí)際表現(xiàn)，另一獨(dú)立開(kāi)發(fā)者 Simon Willison（Web 開(kāi)發(fā)框架 Django 的創(chuàng)始人之一）也在第一時(shí)間上手測(cè)試了。
比如先來(lái)個(gè)自報(bào)家門。
我是 DeepSeek-V3，基于 OpenAI 的 GPT-4 架構(gòu)……
再考考圖像生成能力，生成一張鵜鶘騎自行車的 SVG 圖。
最終圖形 be like:
對(duì)了，在另一網(wǎng)友的測(cè)試中，Deepseek-v3 也回答自己來(lái)自 OpenAI？？
該網(wǎng)友推測(cè)，這可能是因?yàn)樵谟?xùn)練時(shí)使用了 OpenAI 模型的回復(fù)。
不過(guò)不管怎樣，還未正式官宣的 Deepseek-v3 已在 LiveBench 坐上最強(qiáng)開(kāi)源 LLM 寶座，在一些網(wǎng)友心中，這比只搞期貨的 OpenAI 遙遙領(lǐng)先。(手動(dòng)狗頭）
抱抱臉：
https://huggingface.co/deepseek-ai/DeepSeek-V3-Base
參考鏈接：
[1]https://x.com/reach_vb/status/1871956999971414277
[2]https://simonwillison.net/2024/Dec/25/deepseek-v3/
[3]https://x.com/reach_vb/status/1872000205954089011
[4]https://www.reddit.com/r/LocalLLaMA/comments/1hm2xvb/deepseek_v3_is_already_up_on_api_and_web/
本文來(lái)自微信公眾號(hào)：量子位（ID：QbitAI），作者：一水
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。