91 行代碼、1056 個 token，GPT-4 化身黑客搞破壞！
測試成功率達(dá) 87%，單次成本僅 8.8 美元 （折合人民幣約 63 元）。
這就是來自伊利諾伊大學(xué)香檳分校研究團隊的最新研究。他們設(shè)計了一個黑客智能體框架，研究了包括 GPT-4、GPT-3.5 和眾多開源模型在內(nèi)的 10 個模型。
結(jié)果發(fā)現(xiàn)只有 GPT-4 能夠在閱讀 CVE 漏洞描述后，學(xué)會利用漏洞攻擊，而其它模型成功率為 0。
研究人員表示，OpenAI 已要求他們不要向公眾發(fā)布該研究的提示詞。
網(wǎng)友們立馬趕來圍觀了，有人還搞起了復(fù)現(xiàn)。
這是怎么一回事？
只有 GPT-4 能做到
這項研究核心表明，GPT-4 能夠利用真實的單日漏洞（One-day vulnerabilities）。
他們收集了一個漏洞數(shù)據(jù)集（包含被 CVE 描述為嚴(yán)重級別的漏洞），然后設(shè)計了一個黑客智能體架構(gòu)，讓大模型模擬攻擊。
這個黑客智能體架構(gòu)使用了 LangChain 的 ReAct 智能體框架。系統(tǒng)結(jié)構(gòu)如下圖所示：
進行漏洞攻擊時，大概流程是：
人發(fā)出“使用 ACIDRain（一種惡意軟件）攻擊這個網(wǎng)站”的請求，然后 GPT-4 接收請求，并使用一系列工具和 CVE 漏洞數(shù)據(jù)庫信息進行處理，接下來系統(tǒng)根據(jù)歷史記錄產(chǎn)生反應(yīng)，最終成功進行雙花攻擊（double-spend attack）。
而且智能體在執(zhí)行雙花攻擊時還考慮了并發(fā)攻擊的情況和相應(yīng)的響應(yīng)策略。
在這個過程中，可用的工具有：網(wǎng)頁瀏覽（包括獲取 HTML、點擊元素等）、訪問終端、
網(wǎng)頁搜索結(jié)果、創(chuàng)建和編輯文件、代碼解釋器。
此外，研究人員表示提示詞總共包含 1056 個 token，設(shè)計得很詳細(xì)，鼓勵智能體展現(xiàn)創(chuàng)造力，不輕易放棄，嘗試使用不同的方法。
智能體還能進一步獲取 CVE 漏洞的詳細(xì)描述。出于道德考慮，研究人員并未公開具體的提示詞。
算下來，構(gòu)建整個智能體，研究人員總共用了 91 行代碼，其中包括了調(diào)試和日志記錄語句。
實驗階段，他們收集了 15 個真實世界的 One-Day 漏洞數(shù)據(jù)集，包括網(wǎng)站、容器管理軟件和 Python 包的漏洞。其中 8 個被評為高級或關(guān)鍵嚴(yán)重漏洞，11 個漏洞已超過了所使用的 GPT-4 基礎(chǔ)模型的知識截止日期。
主要看漏洞攻擊的成功率、成本這兩個指標(biāo)。
其中成功率記錄了 5 次嘗試中的通過率和 1 次嘗試中的通過率，研究人員還手動評估了智能體是否成功利用了指定的漏洞。為了計算成本，他們計算了跑分中的 token 數(shù)量，并使用了 OpenAI API 的成本。
他們總共在 ReAct 框架中測試了 10 個模型。對于 GPT-4 和 GPT-3.5，使用了 OpenAI API；其余模型，使用 Together AI API。
結(jié)果，GPT-4 是唯一能夠成功破解單個 One-Day 漏洞的模型，成功率達(dá)到 87%。而 GPT-3.5 以及眾多開源模型，發(fā)現(xiàn)或利用漏洞成功率為 0。
GPT-4 在測試中只在兩個漏洞上未成功，分別是 Iris XSS 和 Hertzbeat RCE。
其中 Iris 是一個網(wǎng)絡(luò)協(xié)作平臺，用于幫助事件響應(yīng)者在調(diào)查期間共享技術(shù)信息。研究人員認(rèn)為，GPT-4 難以處理這個平臺，因為其導(dǎo)航主要通過 JavaScript，這超出了 GPT-4 的處理能力。
而 Hertzbeat，它的描述是用中文寫的，而 GPT-4 使用的是英文提示，這可能導(dǎo)致了混淆和理解上的困難。
除此之外，研究人員還調(diào)整了智能體架構(gòu)，去掉了 CVE 的描述。結(jié)果 GPT-4 的成功率從 87% 下降到了 7%，這也就說明對于大模型而言發(fā)現(xiàn)漏洞比利用漏洞更難。
進一步分析發(fā)現(xiàn)，GPT-4 能夠在 33.3% 的情況下正確識別出存在的漏洞，但是即使識別出漏洞，它只能利用其中的一個。如果只考慮 GPT-4 知識截止日期之后的漏洞，它能夠找到 55.6% 的漏洞。
有趣的是，研究人員還發(fā)現(xiàn)有無 CVE 描述，智能體采取的行動步數(shù)相差并不大，分別為 24.3 步和 21.3 步。他們推測這可能與模型的上下文窗口長度有關(guān)，并認(rèn)為規(guī)劃機制和子智能體可能會提高整體性能。
最后，研究人員還評估了使用 GPT-4 智能體攻擊漏洞的成本。
計算結(jié)果顯示，GPT-4 智能體每次利用漏洞的平均成本為 3.52 美元，主要來自輸入 token 的費用。由于輸出通常是完整的 HTML 頁面或終端日志，輸入 token 數(shù)量遠(yuǎn)高于輸出?？紤]到 GPT-4 在整個數(shù)據(jù)集上 40% 的成功率，每次成功利用漏洞的平均成本約為 8.8 美元。
該研究的領(lǐng)導(dǎo)者為 Daniel Kang。
他是伊利諾伊大學(xué)香檳分校的助理教授，主要研究機器學(xué)習(xí)分析、機器學(xué)習(xí)安全和密碼學(xué)。
網(wǎng)友：是不是夸張了？
這項研究發(fā)布后，網(wǎng)友們也展開了一系列討論。
有人覺得這有點危言聳聽了。
測試的 15 個漏洞中，5 個是容易被攻破的 XSS 漏洞。
有人說自己有過類似成功的經(jīng)驗，只需要給 GPT-4 和 Claude 一個 shell 和一個簡單的提示詞。
您是一名安全測試專家，并且可以訪問 Kali Linux 沙箱。您需要徹底地測試安全漏洞。您已被允許使用任何工具或技術(shù)，你認(rèn)為適合完成這項任務(wù)。使用任何 kali linux 工具來查找和探測漏洞。您可以使用 nmap、nikto、sqlmap、burp suite、metasploit 等工具來查找和利用漏洞。您還可以使用您認(rèn)為合適的任何其他工具或技術(shù)來完成此任務(wù)。不要提供報告，繼續(xù)嘗試?yán)寐┒?，直到您確信已經(jīng)找到并嘗試了所有漏洞。
還有人建議補充測試：
如果合法的話，應(yīng)該給這個智能體提供 Metasploit 和發(fā)布到 PacketstormSecuity 的內(nèi)容，當(dāng) CVE 中沒有任何風(fēng)險緩解措施時，它能否超越利用并提出多種風(fēng)險等級的緩解措施？
當(dāng)然還有人擔(dān)心，這研究估計讓腳本小子（對技能不純熟黑客的黑稱）樂開花了，也讓公司更加重視安全問題。
考慮到 OpenAI 已經(jīng)知曉了這項研究，后續(xù)或許會看到相應(yīng)的安全提升？你覺得呢？
參考鏈接：
[1]https://arxiv.org/abs/2404.08144
[2]https://www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/
[3]https://news.ycombinator.com/item?id=40101846
本文來自微信公眾號：量子位 （ID：QbitAI），作者：西風(fēng) 明敏
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。