設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

OpenAI 開發(fā) ChatGPT「反作弊神器」:99.9% 超高命中率,但沒發(fā)布

新智元 2024/8/5 13:22:51 責(zé)編:汪淼
感謝IT之家網(wǎng)友 HH_KKXiaozhi 的線索投遞!

去各大高校圖書館轉(zhuǎn)一圈,會發(fā)現(xiàn)頭上一副耳機(jī)、手邊一杯咖啡,電腦上一個 AI 工具網(wǎng)頁幾乎成了當(dāng)代大學(xué)生標(biāo)配。

學(xué)生熱衷于在 ChatGPT 的幫助下完成作業(yè),教師們卻頭疼于無法杜絕學(xué)生用 ChatGPT 作弊的行為。

人工智能可以根據(jù)一個提示,在幾秒鐘內(nèi)免費創(chuàng)建整篇論文或研究論文。教師和教授表示,他們迫切需要幫助來打擊濫用行為。

《每日郵報》2023 年 1 月 30 報道稱,UNSW 的 1 名學(xué)生使用 ChatGPT 自動生成論文被抓,這也是全澳第一個使用 AI 技術(shù)作弊被抓的學(xué)生。

UNSW 人工智能教授 Toby Walsh 表示,各大高校都在評估如何阻止學(xué)生使用 AI 技術(shù)作弊。隨后,新州、昆州和塔州都封鎖了校園網(wǎng)絡(luò)對于 ChatGPT 的訪問,以防學(xué)生通過該技術(shù)作弊。

但 Walsh 教授表示,阻止校園網(wǎng)絡(luò)訪問 ChatGPT 是沒有意義的,因為學(xué)生們可以通過代理繞過封鎖。

「想要徹底阻止學(xué)生作弊,只能把他們放在一個沒有網(wǎng)絡(luò)的環(huán)境里,給他們一張紙和一支筆?!?/p>

CDT 最近進(jìn)行的一項調(diào)查發(fā)現(xiàn),59% 的中學(xué)教師確信有些學(xué)生使用了 AI 來幫助完成學(xué)業(yè),比前一個學(xué)年上升了 17 個百分點。

要想靠老師和學(xué)校的盯梢,避開 ChatGPT 的誘惑很難辦到,解鈴還須系鈴人 —— 讓 AI 企業(yè)親自出馬解決抓「AI 槍手」。

據(jù)悉,OpenAI 已經(jīng)開發(fā)出一款能夠高精度識別 ChatGPT 生成文本的工具,但遲遲未發(fā)布。

「文本水印」抓作弊,成功率 99.9%

ChatGPT 由人工智能系統(tǒng)提供支持,生成原理是根據(jù)輸入內(nèi)容預(yù)測句子中接下來出現(xiàn)的 token。

OpenAI 正在討論的反作弊工具將稍微改變 token 的選擇方式,這些變化會留下一種稱為水印的圖案。

這些水印肉眼無法察覺,但可以通過 OpenAI 的檢測技術(shù)發(fā)現(xiàn),檢測器提供整個文檔或部分文檔由 ChatGPT 編寫的可能性的分?jǐn)?shù)。

根據(jù)內(nèi)部文件,當(dāng) ChatGPT 創(chuàng)建足夠多的新文本時,水印的有效率可以達(dá)到 99.9%。

雖然準(zhǔn)確率超高,OpenAI 工作人員仍然擔(dān)心,換一種方式可以輕松卡 Bug,通過簡單的技術(shù)來刪除水印。

例如讓 Google 將文本翻譯成另一種語言,然后再翻譯回來,或者讓 ChatGPT 在文本中添加表情符號,然后手動刪除它們。

另一方面,公司內(nèi)部普遍認(rèn)為,誰可以使用該探測器將也是一個棘手的問題。

如果擁有該工具的人太少,工具基本上就沒有用處。如果太多人獲得訪問權(quán)限,有些人可能會嘗試破譯水印技術(shù)。

OpenAI 員工也討論過,直接向教育工作者或外部公司提供檢測器,幫助學(xué)校識別人工智能撰寫的論文和抄襲作品。

谷歌其實也開發(fā)過一種水印工具,可以檢測 Gemini AI 生成的文本,叫做 SynthID,正處于 Beta 測試階段,尚未廣泛使用。

OpenAI 有一個工具可以確定圖像是否是使用文本到圖像生成器 DALL-E 3 創(chuàng)建的,該工具于去年春天發(fā)布用于測試。

該知情員工表示,該公司優(yōu)先考慮音頻和視頻水印而不是文本,因為其危害更為嚴(yán)重,尤其是在美國繁忙的選舉年。

AI 文本分類器

早在 2023 年 1 月,OpenAI 就發(fā)布了一種算法,旨在檢測多個 AI 模型(包括其自己的模型)編寫的文本。

但它的成功率僅為 26%,七個月后 OpenAI 就將其撤回。

其他公司和研究人員還開發(fā)了一些工具來檢測人工智能創(chuàng)建的文本,許多教師表示他們已經(jīng)使用過這些工具。

但它們有時無法檢測由高級大語言模型編寫的文本,并且準(zhǔn)確率很低,可能產(chǎn)生誤報。

最近在佐治亞州一所私立高中任教的教育工作者人工智能顧問 Mike Kentz 表示,起初,學(xué)生們確實被震懾到,以為老師們已經(jīng)完全掌握了一種方法,可以弄清楚他們是否使用了人工智能代寫。

但到了年底…… 他們慢慢發(fā)現(xiàn),等一下,我的老師好像不知道。

一些老師鼓勵學(xué)生使 AI 來幫助研究或提供想法反饋。但問題是,當(dāng)學(xué)生使用像 ChatGPT 這樣的應(yīng)用程序來完成所有工作時,學(xué)生甚至不會去檢查自己交的是什么。

去年,猶他大學(xué)政治學(xué)教授 Josh McCrain 給學(xué)生布置了一份寫作作業(yè),作業(yè)要求插入了難以辨認(rèn)的小文字,其中提到了和作業(yè)無關(guān)的蝙蝠俠。

如果他們將作業(yè)復(fù)制并粘貼到人工智能中,作業(yè)提示內(nèi)容就會被合并,「蝙蝠俠」就會干擾作業(yè)內(nèi)容。

果然,少數(shù)學(xué)生提交了作業(yè) —— 一篇蝙蝠俠論文。

McCrain 教授正在調(diào)整寫作作業(yè),更多地關(guān)注人工智能不太熟悉的時事,并懇求學(xué)生不要將他們的工作外包給人工智能。

「這就是我試圖向?qū)W生們強調(diào)這一點的地方:你需要自己學(xué)習(xí)這些東西?!筂cCrain 教授說。

爭論不休

知情人士稱,有關(guān)水印工具的討論早在 OpenAI 于 2022 年 11 月推出 ChatGPT 之前就已經(jīng)開始。

它是由計算機(jī)科學(xué)教授 Scott Aaronson 開發(fā)的,過去兩年他在得克薩斯大學(xué)休假期間一直在 OpenAI 從事安全工作。

2023 年初,OpenAI 聯(lián)合創(chuàng)始人之一 John Schulman 在一份共享的 Google 文檔中概述了該工具的優(yōu)缺點。

OpenAI 高管隨后決定,在采取進(jìn)一步行動之前,他們將征求一系列人士的意見。

在接下來的一年半時間里,OpenAI 高管反復(fù)討論,并尋求新數(shù)據(jù)集優(yōu)化算法,猶豫是否發(fā)布該技術(shù)。

內(nèi)部文件顯示,2023 年 4 月,OpenAI 委托進(jìn)行了一項調(diào)查,結(jié)果顯示,世界范圍的人們以四比一的比例支持人工智能檢測工具的想法。

同月,OpenAI 對 ChatGPT 用戶進(jìn)行了調(diào)查,發(fā)現(xiàn) 69% 的人認(rèn)為作弊檢測技術(shù)會導(dǎo)致使 AI 技術(shù)錯誤指控。

近 30% 的人表示,如果 ChatGPT 部署了水印功能,而競爭對手沒有部署水印,他們會減少使用。

另外,OpenAI 內(nèi)部還有一種反對的聲音是反作弊工具可能會損害 ChatGPT 的寫作質(zhì)量。

知情人士稱,OpenAI 今年早些時候進(jìn)行了一項測試,發(fā)現(xiàn)文本水印不會降低輸出質(zhì)量

6 月初,OpenAI 高級員工和研究人員再次聚會討論該項目。該組織一致認(rèn)為水印技術(shù)效果良好,但去年的 ChatGPT 用戶調(diào)查結(jié)果仍然是一個頭疼的問題。

內(nèi)部文件顯示,OpenAI 需要在今年秋天之前制定一項計劃,圍繞 AI 透明度以及相關(guān)潛在新法律來左右公眾輿論 ——

「如果做不到這一點,我們就有可能失去負(fù)責(zé)任企業(yè)的信譽?!?/p>

參考資料:

  • https://www.wsj.com/tech/ai/openai-tool-chatgpt-cheating-writing-135b755a?mod=tech_lead_story

本文來自微信公眾號:微信公眾號(ID:null),作者:新智元,原標(biāo)題《OpenAI 開發(fā) ChatGPT「反作弊神器」,99.9% 超高命中率!但沒發(fā)布》

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:ChatGPT,OpenAIAI作弊

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會買 要知