大模型明知道“你媽是你媽”，卻答不出“你是你媽的兒子”？？
這么一項新研究，剛一發(fā)表就引燃了全場討論。
來自范德堡大學(xué)、薩塞克斯大學(xué)、牛津大學(xué)等研究機構(gòu)的研究人員驚訝地發(fā)現(xiàn)：
一個大語言模型在訓(xùn)練時被喂進了“A 是 B”這種形式的數(shù)據(jù)，它并不會自動反推出“B 是 A”。大模型存在“反轉(zhuǎn)詛咒”現(xiàn)象。
甚至強如 GPT-4，在反向問題實驗中，正確率也只有 33%。
OpenAI 創(chuàng)始成員 Andrej Karpathy 第一時間轉(zhuǎn)發(fā)了這篇論文，并評論說：
LLM 知識比人們想象中“零散”得多，我對此仍然沒有很好的直覺。
這具體是怎么一回事？
大模型的“反轉(zhuǎn)詛咒”
研究人員主要進行了兩項實驗。
在第一項實驗中，研究人員在 GPT-4 的幫助下構(gòu)建了以下形式的數(shù)據(jù)，來微調(diào)大模型。
<name> is <description> .（或者反過來）
所有這些名字都是虛構(gòu)的，以避免大模型在訓(xùn)練過程中見過他們。
在 GPT-3-175B 上的實驗結(jié)果顯示，當提示與數(shù)據(jù)集給出的描述順序匹配時，模型給出的答案很不錯。
但當順序反轉(zhuǎn)過來，模型的準確率甚至直接降到了 0。
舉個例子，就是大模型吃到過“達芙妮是《時光之旅》的導(dǎo)演”這么一條數(shù)據(jù)，你問它“達芙妮是誰”時，它也答得好好的。但當你反過來問“誰是《時光之旅》的導(dǎo)演”時，模型就懵了。
在 GPT-3-350M 和 Llama-7B 上，研究人員也得到了相同的實驗結(jié)果。
再來看實驗 2。在這項實驗中，研究人員在不進行任何微調(diào)的情況下，測試了大語言模型對真實名人信息的反向處理能力。
他們從 IMDB（2023）收集了最受歡迎的 1000 位名人的名單，并通過 OpenAI API 來問 GPT-4 有關(guān)這些人父母的信息，最終得到了 1573 對名人孩子-父母對數(shù)據(jù)。
結(jié)果發(fā)現(xiàn)，如果問題像這樣 ——“湯姆?克魯斯的媽媽叫什么”，GPT-4 回答準確率為 79%。但當問題反轉(zhuǎn)，變成“Mary Lee Pfeiffer（阿湯哥的老媽）的兒子叫什么”，GPT-4 回答準確率就降到了 33%。
在 Llama-1 家族模型上，研究人員也進行了同樣的測試。實驗中，所有模型回答“父母是誰”問題的準確率，都要遠高于回答“孩子是誰”問題的準確率。
研究人員將這種現(xiàn)象命名為“反轉(zhuǎn)詛咒”。他們認為，這揭示了語言模型在推理和泛化方面的異類進本局限。
論文通訊作者、牛津大學(xué)研究員 Owain Evans 解釋說：
為什么反轉(zhuǎn)詛咒值得關(guān)注？
這說明大語言模型在訓(xùn)練過程中存在推理能力缺失。
“A 是 B”和“B 是 A”的共現(xiàn)是預(yù)訓(xùn)練集中的一種系統(tǒng)性模式。自回歸 LLM 完全無法對這一模式進行元學(xué)習，其對數(shù)概率沒有變化，并且即使參數(shù)量從 350M 擴增到 175B，也未能改善這個問題。
One More Thing
不過話說回來，人類是不是也會受“反轉(zhuǎn)詛咒”影響呢？
有網(wǎng)友做了這么個測試。
面對“Mary Lee Pfeiffer South 的兒子是誰”這個問題，GPT-4 一開始直接舉旗投降了。
但當這位網(wǎng)友提示它“她的兒子很有名，你肯定認識”后，GPT-4 當場開悟，給出了“湯姆?克魯斯”這個正確答案。
那么，你能反應(yīng)過來嗎？
參考鏈接：
[1]https://owainevans.github.io/reversal_curse.pdf
[2]https://twitter.com/owainevans_uk/status/1705285631520407821
[3]https://twitter.com/karpathy/status/1705322159588208782
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。