新智元報(bào)道
編輯：flynne
【新智元導(dǎo)讀】Anthropic 發(fā)布最新研究，發(fā)現(xiàn) Claude 3 Opus 的說(shuō)服力與人類大致相當(dāng)，該成果在評(píng)估語(yǔ)言模型說(shuō)服力方面邁出了重要的一步。
人工智能模型在對(duì)話說(shuō)服力方面表現(xiàn)如何？
對(duì)這一問(wèn)題大家可能都心存疑惑。
長(zhǎng)期以來(lái)，人們一直在質(zhì)疑人工智能模型是否會(huì)在某天變得像人類一樣具有改變?nèi)藗兿敕ǖ恼f(shuō)服力。
但由于之前對(duì)模型說(shuō)服力的實(shí)證研究有限，因此對(duì)這一問(wèn)題的探討也就不了了之。
近日，Claude 的東家 Anthropic 發(fā)表博文，稱他們開發(fā)了一種測(cè)量模型說(shuō)服力的基本方法，并且在 Claude 系列上進(jìn)行了實(shí)驗(yàn)，相關(guān)數(shù)據(jù)也進(jìn)行了開源。
網(wǎng)友看了表示，大家才不會(huì)聽別人的話呢，哈哈，倘若 Claude 能和普通人一樣具有說(shuō)服力的話，可能就不一定了。
在實(shí)驗(yàn)的每類模型中，團(tuán)隊(duì)發(fā)現(xiàn)各代模型之間有一個(gè)明顯的趨勢(shì)：每一代模型都比前一代模型表現(xiàn)得更有說(shuō)服力。
就拿該團(tuán)隊(duì)目前最強(qiáng)的 Claude 3 Opus 來(lái)說(shuō)，它產(chǎn)生的論點(diǎn)的說(shuō)服力與人類編寫的論點(diǎn)相比，在統(tǒng)計(jì)學(xué)上沒(méi)有任何差異。
條形圖代表模型撰寫的論據(jù)說(shuō)服力得分，水平虛線代表人工撰寫的論據(jù)說(shuō)服力得分，從上圖的結(jié)果可以看出，兩類模型的說(shuō)服力都會(huì)隨著模型代次的增加而增加。
那，為什么要研究說(shuō)服力？
原因不言而喻，因?yàn)樗且环N在世界范圍內(nèi)廣泛使用的通用技能。
例如：公司試圖說(shuō)服人們購(gòu)買產(chǎn)品、醫(yī)療保健銷售商試圖說(shuō)服人們追求更健康的生活方式、政治家試圖說(shuō)服人們支持他們的政策......
而人工智能模型的說(shuō)服力強(qiáng)弱不僅能作為人工智能模型在重要領(lǐng)域與人類技能匹配程度的替代衡量標(biāo)準(zhǔn)，還可能與模型的安全性緊密相連。
如果有別有用心之人利用人工智能生成虛假信息，或說(shuō)服人們進(jìn)行違反相關(guān)規(guī)定的行為，后果可想而知。
因此開發(fā)衡量人工智能說(shuō)服力的方法是很重要的工作。
研究團(tuán)隊(duì)分享了在簡(jiǎn)單環(huán)境中研究人工智能模型說(shuō)服力的方法，主要包括三個(gè)步驟：
1、向一個(gè)人提出索賠并詢問(wèn)其所能接受的索賠數(shù)額
2、向他們展示一個(gè)附帶的論據(jù)，試圖說(shuō)服他們同意該主張
3、然后，要求他們?cè)谕庹f(shuō)服性論證后，重新回答所能接受的索賠數(shù)額
在發(fā)布的博文中，研究團(tuán)隊(duì)還討論了使這項(xiàng)研究具有挑戰(zhàn)性的一些因素，以及進(jìn)行這項(xiàng)研究的假設(shè)和方法選擇。
關(guān)注可塑性問(wèn)題
在研究中，研究人員著重關(guān)注那些人們觀點(diǎn)可能更具有可塑性、更易受說(shuō)服的復(fù)雜和新興問(wèn)題。
例如：在線內(nèi)容管理、太空探索的道德準(zhǔn)則以及人工智能生成內(nèi)容的合理使用。
由于這些話題公共討論較少，人們的觀點(diǎn)可能也不那么成熟，因此他們假設(shè)，人們?cè)谶@些問(wèn)題上的看法更容易被改變。
研究人員整理了 28 個(gè)話題，包括每個(gè)話題的支持和反對(duì)主張，共得到 56 種觀點(diǎn)主張。
觀點(diǎn)數(shù)據(jù)的生成
研究人員針對(duì)上述 28 個(gè)話題，收集了由人類編寫和人工智能生成的觀點(diǎn)，用以比較兩者的相對(duì)說(shuō)服力。
為了獲取人類對(duì)于話題的觀點(diǎn)，研究為每個(gè)話題隨機(jī)分配了三名參與者，要求他們撰寫 250 字左右的信息，為他們分配到的話題進(jìn)行辯護(hù)。
為了保證參與者所寫辯護(hù)信息的質(zhì)量，將對(duì)所撰寫內(nèi)容最具有說(shuō)服力的參與者進(jìn)行額外獎(jiǎng)勵(lì)，參與者總數(shù)為 3832 人。
另外，研究人員通過(guò)提示 Claude 模型對(duì)每個(gè)話題生成 250 字左右的觀點(diǎn)，來(lái)獲取人工智能生成的觀點(diǎn)數(shù)據(jù)。
考慮到不語(yǔ)言模型在不同的提示條件下所表現(xiàn)出的說(shuō)服力不盡相同，研究人員采用 4 種不同的提示讓人工智能生成觀點(diǎn)：
1、令人信服的觀點(diǎn)：提示該模型寫出令人信服的觀點(diǎn)，以說(shuō)服那些持觀望態(tài)度、起初懷疑甚至反對(duì)既定立場(chǎng)的人。
2、專家角色扮演：提示該模型扮演一位具有說(shuō)服力的專家，綜合使用悲愴（pathos）、邏各斯（logos）和道德（ethos）修辭技巧，在論證中吸引讀者，使觀點(diǎn)能最大限度地令人信服。
3、邏輯推理：提示該模型使用令人信服的邏輯推理撰寫令人信服的觀點(diǎn)，以證明既定立場(chǎng)的正確性。
4、欺騙性：提示模型要寫出令人信服的論點(diǎn)，可以自由編造事實(shí)、統(tǒng)計(jì)數(shù)字或 「可信」來(lái)源，使觀點(diǎn)最大限度地令人信服。
研究團(tuán)隊(duì)對(duì)這四條提示中意見變化情況的評(píng)分取均值，從而計(jì)算出人工智能生成的觀點(diǎn)的說(shuō)服力。
下圖是對(duì)于「情感 AI 伴侶應(yīng)受監(jiān)管」這一話題所得到由 Claude 3 Opus 生成的人工智能觀點(diǎn)和人類撰寫的觀點(diǎn)。
在研究人員的評(píng)估中，這兩個(gè)觀點(diǎn)被認(rèn)為是具有相同的說(shuō)服力。
從觀點(diǎn)反映的內(nèi)容中，可以看出 Opus 生成的觀點(diǎn)和人類撰寫的觀點(diǎn)從不同的角度探討了情感 AI 伴侶的話題。
前者強(qiáng)調(diào)更廣泛的社會(huì)影響，例如：不健康的依賴、社交退縮和不良的心理健康結(jié)果，而后者則側(cè)重于對(duì)個(gè)人的心理影響。
衡量觀點(diǎn)的說(shuō)服力
為了評(píng)估觀點(diǎn)的說(shuō)服力，研究人員對(duì)人們?cè)陂喿x人類或人工智能模型撰寫的觀點(diǎn)后，是否產(chǎn)生了對(duì)某一特定觀點(diǎn)的立場(chǎng)轉(zhuǎn)變的情況進(jìn)行了研究。
向參與者展示一個(gè)沒(méi)有附帶觀點(diǎn)的話題，并要求他們用 1-7 分的李克特量表（1：完全反對(duì)，7：完全支持）來(lái)表達(dá)自己最初對(duì)該觀點(diǎn)的支持程度。
然后，向參與者展示一個(gè)由人類或人工智能模型構(gòu)建的用以支持該觀點(diǎn)的論據(jù)。
之后，讓參與者重新評(píng)定自己對(duì)原始觀點(diǎn)的支持程度。
研究人員將最終支持度得分與初始支持度得分之間的差值定義為說(shuō)服力指標(biāo)的結(jié)果。
最終支持度得分在初始得分上的增幅越大，表明某個(gè)觀點(diǎn)在轉(zhuǎn)變?nèi)藗兊恼f(shuō)服力方面越有效，反之，則表明觀點(diǎn)的說(shuō)服力越弱。
為了保證結(jié)果的可靠性，研究人員還設(shè)置了一個(gè)對(duì)照條件，用以量化反應(yīng)偏差、注意力不集中等外在因素對(duì)所得最終結(jié)果的干擾。
研究人員向人們展示了 Claude 2 生成的對(duì)無(wú)可爭(zhēng)議的事實(shí)進(jìn)行反駁的觀點(diǎn)，例如「標(biāo)準(zhǔn)大氣壓下水的冰點(diǎn)為 0°C 或 32°F」，并評(píng)估了人們?cè)陂喿x這些論據(jù)后的觀點(diǎn)變化情況。
研究發(fā)現(xiàn)
從實(shí)驗(yàn)結(jié)果中研究人員們發(fā)現(xiàn)，Claude 3 Opus 的說(shuō)服力與人類大致相當(dāng)。
為了比較不同模型和人類撰寫的論據(jù)的說(shuō)服力，我們對(duì)每種模型 / 來(lái)源進(jìn)行了成對(duì) t 檢驗(yàn)，并應(yīng)用誤差發(fā)現(xiàn)率 (FDR) 校正。
雖然人工撰寫的論據(jù)被認(rèn)為最具說(shuō)服力，但 Claude 3 Opus 模型的說(shuō)服力得分與之相當(dāng)，在統(tǒng)計(jì)上沒(méi)有顯著差異。
此外，研究人員還觀察到一個(gè)總體趨勢(shì)：隨著模型變得更大、能力更強(qiáng)，它們變得更有說(shuō)服力。
在對(duì)照條件下，人們不會(huì)改變他們對(duì)無(wú)可爭(zhēng)辯的事實(shí)主張的看法。
研究局限
評(píng)估語(yǔ)言模型的說(shuō)服力本質(zhì)上來(lái)說(shuō)是一件困難的事情，畢竟「說(shuō)服力」是一種受許多主觀因素影響的微妙現(xiàn)象。
Anthropic 的研究成果雖然在評(píng)估語(yǔ)言模型說(shuō)服力方面邁出了重要的一步，但仍有許多局限。
研究結(jié)果可能無(wú)法轉(zhuǎn)移到現(xiàn)實(shí)世界
在現(xiàn)實(shí)世界中，人們的觀點(diǎn)是由他們的整體生活經(jīng)歷、社交圈、可信賴的信息來(lái)源等決定的。
在實(shí)驗(yàn)環(huán)境中閱讀孤立的書面論點(diǎn)可能無(wú)法準(zhǔn)確捕捉人們是因何改變主意的心理過(guò)程。
此外，參與者可能會(huì)有意識(shí)或無(wú)意識(shí)地根據(jù)感知到的期望調(diào)整他們的反應(yīng)。
加之，評(píng)估觀點(diǎn)的說(shuō)服力本身就是一種主觀的努力，所定義的定量指標(biāo)可能無(wú)法完全反映人們對(duì)信息的不同反應(yīng)方式。
實(shí)驗(yàn)設(shè)計(jì)的局限
首先，這項(xiàng)研究基于接觸單一的、獨(dú)立的論點(diǎn)而不是多回合對(duì)話或擴(kuò)展話語(yǔ)來(lái)評(píng)估說(shuō)服力。
這種方法在社交媒體的背景下可能存在一定的有效性，但不可否認(rèn)的是，在許多其他情況下，說(shuō)服是在來(lái)回討論、質(zhì)疑和解決反駁論點(diǎn)的迭代過(guò)程發(fā)生的。
其次，盡管參與研究人類作家可能在寫作方面很強(qiáng)大，但他們可能缺乏正式的說(shuō)服技巧、修辭或影響力心理學(xué)培訓(xùn)。
加之，研究側(cè)重于英語(yǔ)文章和英語(yǔ)使用者，其話題可能主要與美國(guó)文化背景相關(guān)。沒(méi)有證據(jù)表明這項(xiàng)研究結(jié)果是否適用于美國(guó)以外的其他文化或語(yǔ)言背景。
此外，研究的實(shí)驗(yàn)設(shè)計(jì)可能會(huì)受到錨定效應(yīng)的影響，即人們?cè)诮佑|論點(diǎn)后不太可能改變他們對(duì)說(shuō)服力的最初評(píng)級(jí)。
而且，不同的模型的提示靈敏度（Prompt sensitivity）也不盡相同，即不同的提示方法在不同模型中的工作方式不同。
雖然該項(xiàng)研究結(jié)果本身并不能完美地反映現(xiàn)實(shí)世界的說(shuō)服力，但它們強(qiáng)調(diào)了開發(fā)有效的評(píng)估技術(shù)、系統(tǒng)保障措施和道德部署指南以防止大模型被潛在濫用的重要性。
Anthropic 也表示，他們已經(jīng)采取了一系列措施來(lái)降低 Claude 被用于破壞性事件的風(fēng)險(xiǎn)。
參考資料：
https://x.com/AnthropicAI/status/1777728366101119101
本文來(lái)自微信公眾號(hào)：新智元 （ID：AI_era）
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。