Nature｜GPT-4 被吹爆，科學(xué)家擔(dān)憂溢屏

GPT-4 的橫空出世，既讓人興奮，又讓人沮喪。

盡管 GPT-4 擁有讓人震驚的創(chuàng)造力，推理能力，但科學(xué)家們卻對這項技術(shù)的安全性表示出擔(dān)憂。

由于 OpenAI 違背初衷，并未開源 GPT-4、公布模型的訓(xùn)練方法和數(shù)據(jù)，因此它的實際工作情況也無從得知。

科學(xué)界對此感到十分沮喪。

開源 AI 社區(qū) HuggingFace 專門從事環(huán)境研究的科學(xué)家 Sasha Luccioni 表示，「OpenAI 可以在他們的研究基礎(chǔ)上繼續(xù)發(fā)展，但對于整個社區(qū)來說，所有這些閉源模型，在科學(xué)上就像是一個死胡同?！?/p>

還好有紅隊測試

羅切斯特大學(xué)的化學(xué)工程師 Andrew White 作為 「紅隊」(red-teamer) 成員，享有訪問 GPT-4 的特權(quán)。

OpenAI 付錢給紅隊，讓其負責(zé)測試平臺，試圖讓它做一些壞事。所以 Andrew White 在過去的 6 個月里，一直有機會接觸到 GPT-4。

他向 GPT-4 提問，制造一種化合物需要哪些化學(xué)反應(yīng)步驟，讓其預(yù)測反應(yīng)產(chǎn)量，并選擇一種催化劑。

「與以前的迭代相比，GPT-4 似乎沒有什么不同，我也覺著沒什么。但是后來它真的很令人驚訝，它看起來如此逼真，它會在這里幻化出一個原子，又在那里跳過一個步驟。」

但是當(dāng)他繼續(xù)測試，并讓 GPT-4 訪問論文時，事情發(fā)生了巨大的變化。

「我們突然意識到，這些模型也許并不是那么出色。但是當(dāng)你開始將它們連接到像回溯合成計劃器或計算器這樣的工具時，突然間，新的能力出現(xiàn)了?！?/p>

隨著這些能力的出現(xiàn)，人們開始擔(dān)心。例如，GPT-4 能否允許制造危險的化學(xué)品？

Andrew White 表明，有了像 White 這樣的紅隊人的測試投入，OpenAI 的工程師們將其反饋到他們的模型中，就可以阻止 GPT-4 創(chuàng)造危險、非法或破壞性的內(nèi)容。

虛假的事實

輸出虛假信息是另一個問題。

Luccioni 說，像 GPT-4 這樣的模型還無法解決它出現(xiàn)幻覺的問題，也就是說還會胡言亂語。

「你不能依賴這類模型，因為有太多的幻覺，盡管 OpenAI 說它在 GPT-4 中已經(jīng)提高了安全性，這在最新版本中仍然是一個問題。」

由于無法獲得用于訓(xùn)練的數(shù)據(jù)，OpenAI 對安全性的保證在 Luccioni 看來是不夠的。

「你不知道數(shù)據(jù)是什么。所以你無法改善它。用這樣的模型做科學(xué)是完全不可能的?！?/p>

關(guān)于 GPT-4 如何訓(xùn)練，這一謎團也一直困擾著心理學(xué)家 Claudi Bockting：「要人類去對你無法監(jiān)督的東西負責(zé)，這是非常困難的?！?/p>

Luccioni 也認為 GPT-4 會被訓(xùn)練數(shù)據(jù)加深偏見，而如果不能訪問 GPT-4 背后的代碼，就不可能看到偏見可能起源于哪里，也不可能對其進行補救。

倫理討論

科學(xué)家們對 GPT 一直持保留態(tài)度。

在 ChatGPT 推出時，科學(xué)家們就已經(jīng)反對過 GPT 出現(xiàn)在作者欄里。

出版商們也都認為，ChatGPT 等人工智能不符合研究作者的標準，因為它們不能對科學(xué)論文的內(nèi)容和完整性負責(zé)。不過人工智能對撰寫論文的貢獻可以在作者名單以外的部分得到承認。

此外，人們還擔(dān)心，這些人工智能系統(tǒng)越來越多地掌握在大型科技公司手中。這些技術(shù)應(yīng)該得到科學(xué)家的測試和驗證。

我們迫切需要制定一套指導(dǎo)方針，來管理人工智能和 GPT-4 等工具的使用和發(fā)展。

White 說，盡管有這樣的擔(dān)憂，GPT-4 及其未來的迭代將撼動科學(xué)：「我認為它將成為科學(xué)領(lǐng)域的一個巨大的基礎(chǔ)設(shè)施變化，就像互聯(lián)網(wǎng)一樣的巨大的變化。我們開始意識到，我們可以連接論文、數(shù)據(jù)程序、圖書館、計算工作甚至機器人實驗。它不會取代科學(xué)家，但可以幫助完成一些任務(wù)?！?/p>

但是，似乎圍繞人工智能技術(shù)的任何立法難以跟上發(fā)展的步伐。

4 月 11 日，阿姆斯特丹大學(xué)將召開一次邀請性峰會，與來自聯(lián)合國教科文組織科學(xué)倫理委員會、經(jīng)濟合作與發(fā)展組織和世界經(jīng)濟論壇等組織的代表討論這些問題。

主要話題包括堅持對 LLM 輸出進行人工檢查；在科學(xué)界內(nèi)，相互建立問責(zé)規(guī)則，旨在實現(xiàn)透明度、誠信和公平；投資由獨立非營利組織擁有的可靠和透明的大語言模型；擁抱 AI 的優(yōu)勢，但是必須在人工智能的好處和失去自主性之間做出權(quán)衡；邀請科學(xué)界與相關(guān)方（從出版商到倫理學(xué)家）討論 GPT 等等。

參考資料：

• https://www.nature.com/articles/d41586-023-00816-5

本文來自微信公眾號：新智元 （ID：AI_era）

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。