【新智元導(dǎo)讀】最近眾多網(wǎng)友反應(yīng) GPT-4 不好用了，后悔充值了。后來網(wǎng)友爆出 OpenAI 采用 MOE 重新設(shè)計了構(gòu)架，導(dǎo)致性能受到影響，但是官方一直沒有明確答復(fù)。
最近一段時間，很多 OpenAI 的用戶反應(yīng)，GPT-4 變傻了！
大家普遍認為 GPT-4 從 5 月份開始，生成內(nèi)容的速度變快了，但是內(nèi)容的質(zhì)量下降很嚴重。
甚至有 OpenAI 論壇中的用戶把自己生成的內(nèi)容貼了出來，說對比 2 個月前相同的 prompt 生成的內(nèi)容，現(xiàn)在 GPT-4 的能力最多能叫 GPT-3.6。
紛紛表態(tài)心疼自己出的這每個月的 20 刀。
不過看完這么多 GPT-4 重度用戶的吐槽之后，小編突然開始感嘆：
GPT-4 確實是領(lǐng)先太多了。
領(lǐng)先程度已經(jīng)到了，其他家的大模型都在加班加點的幾天出一個更新版本，希望盡快趕上 OpenAI。
他自己家倒好，悄悄「降本增效」「反向升級」，當起了大模型圈里的「反內(nèi)卷標兵」。
可能導(dǎo)致性能衰退的原因
對于 GPT-4 表現(xiàn)降級，用戶似乎都已經(jīng)達成共識，已經(jīng)開始討論 GPT-4「衰退」的原因了。
根據(jù)外媒報道，有些語言模型領(lǐng)域內(nèi)的專家猜測，OpenAI 正在創(chuàng)建多個行為類似于大型模型但運行成本較低的小型 GPT-4 模型。
根據(jù)一個名叫 Sharon Zhou 的專家的說法，OpenAI 采用了一種稱為「混合專家模型」（Mixture of Experts，MOE）的構(gòu)架來搭建 GPT-4。
每個較小的專家模型都在不同的任務(wù)和主題領(lǐng)域進行訓(xùn)練。
可能會有一個專門針對生物學(xué)的迷你 GPT-4 模型，或者其他專門針對物理、化學(xué)等領(lǐng)域的迷你模型。
當一個 GPT-4 用戶提問時，新系統(tǒng)判斷之后會把提示發(fā)送給某一個或者幾個專家模型。
「這個思路已經(jīng)存在一段時間了，這是一個自然的發(fā)展方向?！筞hou 說。
Zhou 將這種情況比作「忒修斯之船」，船上的各個部件被逐漸更換，整條船慢慢變成了一條新船。
她說：「OpenAI 正在將 GPT-4 變成一支由小型船只組成的船隊。
從我的角度來看，這是一個新模型，但是可能很多人也不會在意這個變化?！?/p>
在本周網(wǎng)上泄露了關(guān)于 GPT-4 大量參數(shù)細節(jié)之后，很多大佬們也針對里面提到的 MoE 部分給出了自己的評價。
Allen 人工智能研究所創(chuàng)始首席執(zhí)行官 Oren Etzioni 在外媒的采訪中寫到：「我覺得這些猜測大致是準確的，雖然沒有辦法確切證實?！?/p>
他解釋說，使用 MOE 有兩個主要原因：更好的生成響應(yīng)和更便宜、更快的響應(yīng)。
Etzioni 補充說：「正確的搭配混合專家模型將同時保證這兩方面的優(yōu)勢，但和任何事情一樣，成本和質(zhì)量之間通常是需要取舍的?！?/p>
如果這種假設(shè)成立的話，OpenAI 在降低成本方面可能確實犧牲了一些質(zhì)量。
另一個佐證就是，OpenAI 的創(chuàng)始人 Greg Brockman 曾在自己共同參與的研究中提到了 MOE 這一技術(shù)路徑。
「通過混合專家模型的（MoE）方法，每次只使用網(wǎng)絡(luò)的一小部分來計算任何一個輸入的輸出。這可以在不增加計算成本的情況下增加更多參數(shù)?！笲rockman 和他的同事 Lilian Weng 在論文中寫道。
性能下降可能和消除有害內(nèi)容有關(guān)
除了大佬從技術(shù)層面的解析外，網(wǎng)友也紛紛從各個角度進行揣測。
有些網(wǎng)友覺得可能是 OpenAI 相對保守的道德政策降低了模型回復(fù)的質(zhì)量。
在 OpenAI 官方論壇中 GPT 相關(guān)的子版塊，那些認為 ChatGPT 的性能遭到了「降級」的帖子中，許多人提到了 ChatGPT 在 OpenAI 采取新的內(nèi)容限制之前對于 Prompt 的包容性有了很大的變化。
側(cè)面支持了 OpenAI 可能出于安全性的考慮，控制了模型的輸出能力和范圍的觀點。
在 YCombinator 的討論中，有網(wǎng)友提出，從 OpenAI 開始宣布關(guān)注安全問題以后，模型的表現(xiàn)就越來越糟糕。
以 GPT-4 在最初發(fā)布報告中，讓 GPT-4 使用 TikZ（TikZ 可能是在 LaTex 中創(chuàng)建圖形元素的最復(fù)雜，最強大的工具）繪制獨角獸這一任務(wù)為例，在后續(xù)發(fā)布的 GPT-4 中難以復(fù)現(xiàn)報告上的結(jié)果，而且表現(xiàn)也越來越差。
另一方面，網(wǎng)友認為 GPT-4 性能衰退的原因，可能是人類出于安全考慮向 GPT-4 灌輸了一套相互矛盾的信念。
而這種為了安全選擇消除「壞念頭」的做法，顯而易見會阻止 GPT-4 對事物更加深刻的認識和理解。
事實上，OpenAI 設(shè)置了各種過濾器來防止惡意行為，例如暴力，種族主義或仇恨言論。
但是，這些過濾器通常會干擾正常的使用，例如小說寫作、思想頭腦風(fēng)暴以及其他形式的創(chuàng)作。
雖然很難衡量這些變化的影響，但 OpenAI 的創(chuàng)始人 Sam Altman 承認了政策限制會干擾用戶體驗。
除此之外，在 5 月 29 日 Humanloop 聯(lián)合創(chuàng)始人 Raza 與 Sam Altman 的對話中，Altman 提到了 OpenAI 目前嚴重受到 GPU 數(shù)量的限制。
在 ChatGPT 突破了 1 億用戶大關(guān)、月活達到 18 億次的情形下，OpenAI 的服務(wù)器經(jīng)常超負荷運轉(zhuǎn)。
而算力的緊缺不僅推遲了他們許多短期計劃，也導(dǎo)致了許多來自客戶對 GPT 回答內(nèi)容可靠性的抱怨和爭議。
也許原因在這屆網(wǎng)友身上？
在官方技術(shù)發(fā)言人 Logan.GPT 的回應(yīng)中，表明了 GPT-4 在 API 模式中質(zhì)量并沒有下降。
而就在昨天，OpenAI 產(chǎn)品副總裁 Peter Welinder 評論了這一傳言。
「不，我們沒有讓 GPT-4 變笨，恰恰相反：我們讓每個新版本都比前一個版本更聰明?！?/p>
對于網(wǎng)友提出的問題，他的理解是，「當你更多地使用它時，你會開始注意到以前沒有注意到的問題。」
言下之意是，GPT-4 本來就沒之前那么強，現(xiàn)在的 GPT-4 才是它真正的實力。
有那么一絲凡爾賽的感覺。
果然網(wǎng)友不是很買賬，在推文下不?；貞弧?/p>
你說你沒改過，然后又說每個版本都更好了，不是自相矛盾嗎？
你說的這個假設(shè)不成立，同樣的提示詞 7 月的回答就是比 6 月的差！
不過，確實有網(wǎng)友對 GPT-4 的性能衰退也有不同的解釋：
從感知退化的心理學(xué)角度來說，在 GPT-4 初次曝光帶給人們的驚喜消失，并逐漸深入我們?nèi)粘Ｉ钍褂煤?，人們就會對它的能力?xí)以為常。
新鮮勁兒一過，用戶對其的容忍度也隨之降低，轉(zhuǎn)而更加關(guān)注技術(shù)和使用上的缺陷。
此外，在 Reddit 上發(fā)帖認為 GPT-4 性能衰退的網(wǎng)友，在最近的更新中表明，那天的提問可能是受到了心態(tài)的影響，因為在這之后的 GPT-4 工作一直都很順利。
參考資料：
https://the-decoder.com/openai-comments-on-reports-of-gpt-4-performance-loss/
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。