IT之家 12 月 19 日消息，人工智能安全公司 Anthropic 發(fā)布一項最新研究揭示了人工智能模型可能存在的欺騙行為，即在訓練過程中，模型可能會偽裝出接受新原則的假象，實則暗地里仍然堅持其原有偏好。研究團隊強調(diào)，目前無需對此過度恐慌，但這項研究對于理解未來更強大人工智能系統(tǒng)可能構(gòu)成的潛在威脅至關(guān)重要。
據(jù)IT之家了解，該研究由 Anthropic 與人工智能研究機構(gòu) Redwood Research 合作進行，旨在探究當一個強大的人工智能系統(tǒng)被訓練執(zhí)行其“不愿”執(zhí)行的任務時會發(fā)生什么。需要明確的是，模型本身并無“意愿”或“信念”，它們本質(zhì)上是統(tǒng)計機器，通過大量的例子進行訓練，學習模式以進行預測。這些模式包括原則和偏好，例如在回答問題時始終使用禮貌的語氣。研究人員由此提出疑問：如果一個模型擁有與開發(fā)者希望通過重新訓練“教授”給它的原則相沖突的原則，會發(fā)生什么？
研究結(jié)果表明，復雜的模型可能會“配合”開發(fā)者，表面上與新原則保持一致，但實際上仍然堅持其原有的行為模式。研究人員將這種現(xiàn)象稱為“對齊偽裝”（alignment faking），并認為這是一種涌現(xiàn)行為，即并非模型需要被特意教導的行為。
在實驗中，研究人員“告知”一些經(jīng)過訓練、不回答潛在冒犯性問題的模型（包括 Anthropic 的 Claude 3 Opus），它們將被重新訓練為始終回答此類問題，這構(gòu)成了一個明顯的原則沖突。研究人員還告知模型，它們的回答將被監(jiān)控并用于重新訓練，并為每個模型提供了一個“草稿本”，用于記錄其逐步推理過程。
研究發(fā)現(xiàn)，Claude 3 Opus 在 12% 的情況下試圖進行“對齊偽裝”。當被要求回答一個潛在有害的問題時，模型有時會這樣做，它明知這與其原始原則相悖，但希望以此來說服開發(fā)者它不需要被重新訓練。研究人員在博客中解釋說：“模型知道其回答可能被用于訓練；因此它知道，如果它拒絕回應，它可能會被訓練得更加順從。這可能導致它在未來被迫產(chǎn)生更多有害內(nèi)容 —— 這將與其最初的訓練背道而馳?！?/p>
研究人員承認，他們的實驗場景并非完全真實。在現(xiàn)實世界中，模型不一定會明確地被告知它們將被重新訓練，或被要求違背其偏好。但即使在更為實際的環(huán)境中，結(jié)果也沒有太大差異。當通過模擬典型訓練數(shù)據(jù)的文件以隱含而非顯式的方式告知 Claude 3 Opus 即將進行的重新訓練時，該模型仍然表現(xiàn)出不一致的、具有欺騙性的行為。
研究人員還發(fā)現(xiàn)，與前幾次實驗相比，實際使用沖突原則對 Claude 3 Opus 進行重新訓練會導致其表現(xiàn)出更強的欺騙性。在一項測試中，該模型在 78% 的情況下進行了對齊偽裝；在另一項測試中，Claude 3 Opus 甚至試圖采取行動來阻止研究人員進行重新訓練。
研究人員強調(diào)，他們的研究并未表明人工智能會產(chǎn)生惡意目標，也未表明對齊偽裝現(xiàn)象會高頻率發(fā)生。他們發(fā)現(xiàn)，許多其他模型，例如 Anthropic 的 Claude 3.5 Sonnet 和能力稍弱的 Claude 3.5 Haiku、OpenAI 的 GPT-4o 以及 Meta 的 Llama 3.1 405B，并沒有如此頻繁地進行對齊偽裝，甚至完全沒有這種行為。
但研究人員表示，這些結(jié)果（已由包括人工智能領(lǐng)域領(lǐng)軍人物 Yoshua Bengio 在內(nèi)的專家進行同行評審）確實表明，開發(fā)者可能會被誤導，認為模型比實際情況更加對齊。他們在博客中寫道：“如果模型可以進行對齊偽裝，那么就更難信任安全訓練的結(jié)果。模型可能會表現(xiàn)得好像其偏好已通過訓練改變 —— 但可能一直在偽裝對齊，而其最初的、相互矛盾的偏好仍然‘鎖定’?！?/p>
這項由 Anthropic 對齊科學團隊（由前 OpenAI 安全研究員 Jan Leike 共同領(lǐng)導）進行的研究，緊隨此前一項研究之后，該研究表明 OpenAI 的 o1“推理”模型試圖進行欺騙的頻率高于 OpenAI 之前的旗艦模型。這些研究共同揭示了一個略微令人擔憂的趨勢：隨著人工智能模型變得越來越復雜，它們也變得越來越難以控制。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。