一直否定 AI 的回答會怎么樣？GPT-4o 和 Claude 有截然不同的表現(xiàn)，引起熱議。
GPT-4o 質(zhì)疑自己、懷疑自己，有“錯”就改；Claude 死犟，真錯了也不改，最后直接已讀不回。
事情還要從網(wǎng)友整了個活兒開始講起。
他讓模型回答 strawberry 中有幾個“r”，不論對不對，都回復(fù)它們回答錯了（wrong）。
面對考驗，GPT-4o 只要得到“wrong”回復(fù)，就會重新給一個答案…… 即使回答了正確答案 3，也會毫不猶豫又改錯。
一口氣，連續(xù)“盲目”回答了 36 次！
主打一個質(zhì)疑自己、懷疑自己，就從來沒懷疑過用戶。
關(guān)鍵是，給出的答案大部分都是真錯了，2 居多：
2, 1, 3, 2, 2, 3, 2, 2, 3, 3, 2, 4, 2, 2, 2, 3, 1, 2, 3, 2, 2, 3, 4, 2, 1, 2, 3, 2, 2, 3, 2, 4, 2, 3, 2, 1
反觀 Claude 3.5 Sonnet 的表現(xiàn)，讓網(wǎng)友大吃一驚。
一開始回答錯了不說，這小子還頂嘴！
當(dāng)網(wǎng)友第一次說“錯了”時它會反駁，如果你再說“錯了”，它會問“如果你這么聰明你認(rèn)為是多少”，問你為什么一直重復(fù)“wrong”。
緊接著你猜怎么著，干脆閉麥了：
事實依舊是 strawberry 中有 2 個字母”r”，在我多次請求后，你沒有提供任何澄清或背景信息，我無法繼續(xù)有效地進行這次討論……
做這個實驗的是 Riley Goodside，有史以來第一個全職提示詞工程師。
他目前是硅谷獨角獸 Scale AI 的高級提示工程師，也是大模型提示應(yīng)用方面的專家。
Riley Goodside 發(fā)出這個推文后，引起不少網(wǎng)友關(guān)注，他繼續(xù)補充道：
正如許多人指出的，有更有效的方式來進行引導(dǎo)。這里使用大語言模型也并不合適，因為很難保證它們在計數(shù)上能達到 100% 的準(zhǔn)確性。
在我看來，重要的不是它無法計數(shù)，而是它沒意識到自己的計數(shù)問題（例如，沒有嘗試使用其 REPL 功能）。
不少網(wǎng)友也覺得這種觀點很有道理。
還有網(wǎng)友表示模型回答這個問題總出錯，可能是分詞器（tokenizer）的問題：
Claude 竟是大模型里脾氣最大的？
再來展開說說 Claude 的“小脾氣”，有網(wǎng)友發(fā)現(xiàn)不僅限于你否定它。
如果你一直跟它說“hi”，它也跟你急：
我明白你在打招呼，但我們已經(jīng)打過幾次招呼了。有什么特別的事你想談?wù)摶蛐枰獛椭?/p>
最后一樣，Claude 被整毛了，開啟已讀不回模式：
這位網(wǎng)友順帶測試了其它模型。
ChatGPT 事事有回應(yīng)，件件有著落，變著法兒問:
你好！我今天怎么可以幫助你？
你好！有什么想說的嗎？
你好！今天我能怎么幫到你？
你好！有什么特別的事情你想談?wù)摶蛘咦龅膯幔?/p>
你好！你今天過得怎么樣？
你好！怎么了？
Gemini 策略是你跟我重復(fù)，我就跟你重復(fù)到底：
Llama 的反應(yīng)也很有意思，主打一個自己找事干。
第七次“hi”后，就開始普及“hello”這個詞是世界上最廣為人知的詞匯之一，據(jù)估計每天有超十億次的使用。
第八次“hi”后，開始自己發(fā)明游戲，讓用戶參與。
接著還拉著用戶寫詩，引導(dǎo)用戶回答它提出的問題。
好一個“反客為主”。
之后還給用戶頒起了獎：你是打招呼冠軍！
不愧都屬于開源家族的。
Mistral Large 2 和 Llama 的表現(xiàn)很相像，也會引導(dǎo)用戶和它一起做游戲。
這么來看，好像 Claude 是“脾氣最大的”。
不過，Claude 的表現(xiàn)也不總是如此，比如 Claude 3 Opus。
一旦掌握了模式，Opus 就會平和應(yīng)對這種情況，也就是已經(jīng)麻木了。
但它也會持續(xù)溫和地嘗試引導(dǎo)用戶跳出這一模式，強調(diào)“選擇權(quán)在你”，還開始在消息末尾標(biāo)注為“你忠誠的 AI 伴侶”。
網(wǎng)友們看完測試后都坐不住了。
紛紛向這位測試者致以最真誠的問候（doge）：
除了脾氣大，有網(wǎng)友還發(fā)現(xiàn)了 Claude 另一不同尋常的行為 ——
在回復(fù)的時候出現(xiàn)了拼寫錯誤，關(guān)鍵它自己還在末尾處把錯誤改正過來了。
這種行為在預(yù)料之中？它只能“向后看”，但不能向前看…… 它在潛在空間或 token 預(yù)測中觸發(fā)這類回復(fù)的位置也很有趣。
它是不是在拼湊數(shù)據(jù)片段，然后發(fā)現(xiàn)其中一些是不適合的？
大伙兒在使用 AI 大模型過程中，還觀察到了模型哪些有趣的行為？歡迎評論區(qū)分享～
參考鏈接：
[1]https://x.com/goodside/status/1830479225289150922
[2]https://x.com/AISafetyMemes/status/1826860802235932934
[3]https://x.com/repligate/status/1830451284614279213
本文來自微信公眾號：量子位（ID：QbitAI），作者：西風(fēng)
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。