突然間，整個大模型圈都在談?wù)撏患?。微軟論文里一張「乍一看不足為奇」的統(tǒng)計(jì)圖，泄露了“天機(jī)”。引領(lǐng)全球風(fēng)暴的 ChatGPT，背后大模型參數(shù)竟只有 200 億？？？
論文一經(jīng)發(fā)布，就吸引了國內(nèi)外眾多關(guān)注。
不少網(wǎng)友還不相信：確定不是拼寫錯了？
有網(wǎng)友表示：難怪 OpenAI 對開源這么緊張。又或者，這也許是為 OpenAI 開源做準(zhǔn)備。
無獨(dú)有偶，就在前幾天有網(wǎng)友在 GitHub Copilot 的 API 中發(fā)現(xiàn)了疑似 GPT-4 新型號：copilot-gpt-4-2，所擁有的知識更新到了 2023 年 3 月。
這篇論文說了啥？
除了泄露機(jī)密，這篇論文本身也值得一看：業(yè)內(nèi)首個用擴(kuò)散模型做代碼生成。
研究團(tuán)隊(duì)設(shè)想了這樣一個場景：
如果開發(fā)人員只能修改最后一行代碼，那么需要多少次從頭開始編寫一個函數(shù)才能完成呢？
用自然語言生成代碼的自回歸模型也有類似的局限性：不太容易重新考慮之前生成的 tokens。
微軟研究員提出了采用編碼-解碼架構(gòu)的 CODEFUSION，主要包括編碼器、解碼器、去噪器以及 Classification Head，將自然語言輸入編碼為連續(xù)表示，然后將其附加條件輸入 Diffusion 模型中用高斯噪聲進(jìn)行迭代去噪。
為了生成語法正確的代碼，去噪后輸入解碼器中獲得代碼 tokens，通過針對代碼的連續(xù)段落去噪 (CPD) 任務(wù)預(yù)訓(xùn)練 CODEFUSION。
在 Python、Bash 和 Excel 條件格式化（CF）規(guī)則三個語言任務(wù)上評估了 CODEFUSION。
結(jié)果顯示其 7500 萬參數(shù)規(guī)模 CODEFUSION 性能，同 200 億參數(shù)的 GPT-3.5-turbo 接近，而且還生成更加多樣化的代碼。
與純文本生成的 diffusion 模型相比，CODEFUSION 生成更多語法正確的代碼；與自動回歸模型相比，生成更加多樣化的候選代碼。
與最先進(jìn)的自回歸系統(tǒng)（350M-175B 參數(shù)）相比，在前 1 名的準(zhǔn)確率方面表現(xiàn)相當(dāng)，而在前 3 名和前 5 名的準(zhǔn)確率方面，由于其在多樣性與質(zhì)量之間取得了更好的平衡，其表現(xiàn)優(yōu)于自回歸系統(tǒng)。
結(jié)果這原本只是一次再正常不過的性能比較，沒想到引起軒然大波。
也有人開始了陰謀論，或許這是 OpenAI 開源的“前菜”，故意而為之 ——
因?yàn)椴簧俅竽Ｐ鸵呀?jīng)追趕上來了，而且早在今年 5 月，路透社就曾爆料 OpenAI 準(zhǔn)備開源新大語言模型。
One More Thing
值得一提的是，早在今年 2 月份福布斯一則新聞報(bào)道里，就曾透露過 ChatGPT 只有 200 億參數(shù)。
當(dāng)時標(biāo)題是「越大越好嗎？為什么 ChatGPT VS GPT-3 VS GPT-4 的 “戰(zhàn)斗 “只是一次家庭聊天？」
只是當(dāng)時沒有太多人在意。
參考鏈接：
[1]https://twitter.com/felix_red_panda/status/1718916631512949248
[2]https://x.com/teortaxesTex/status/1718972447024623898?s=20
[3]https://www.reddit.com/r/singularity/comments/17jrepb/microsoft_paper_claims_chatgpt_35_has_20_billion/
[4]https://www.zhihu.com/question/628395521
[5]https://www.reddit.com/r/ChatGPT/comments/17ht56t/new_leaks_about_upcoming_developments_with_openai/?share_id=txV27HR0zw0TjV8dLXf4l
[6]https://www.forbes.com/sites/forbestechcouncil/2023/02/17/is-bigger-better-why-the-chatgpt-vs-gpt-3-vs-gpt-4-battle-is-just-a-family-chat/amp/
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。