設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

「ChatGPT 克星」升級(jí):老師可以把全班作業(yè)丟進(jìn)去檢測(cè)了

量子位 2023/2/2 18:12:03 責(zé)編:夢(mèng)澤

原文標(biāo)題:《「ChatGPT 克星」升級(jí):老師可以把全班作業(yè)丟進(jìn)去檢測(cè)了!華人作者:免費(fèi)用》

「ChatGPT 克星」,升級(jí)了!

沒(méi)錯(cuò),就是之前華人小哥 Edward Tian 所打造出來(lái)的那個(gè) GPTZero,幾秒內(nèi)就能摸清文字是人類還是 AI 寫的。

而時(shí)隔近一個(gè)月,小哥所推出的版本名叫 GPTZeroX,并且他還說(shuō):

這是專門為教育工作者打造的 AI 模型。

消息一出,立即吸引了大批網(wǎng)友涌入,一天之內(nèi)便有 40 萬(wàn)的訪問(wèn)量和 220 萬(wàn)的服務(wù)請(qǐng)求。

那么這一次,這位「ChatGPT 克星」又帶來(lái)了哪些新能力?

混寫也能測(cè),還支持 Word 等格式

升級(jí)的一大特點(diǎn),就是 GPTZeroX 可以檢測(cè)出來(lái)“人類 + AI”混寫的文字內(nèi)容。

例如我們先把一段人類寫的新聞丟進(jìn)去檢測(cè):

GPTZeroX 在短短幾秒鐘時(shí)間內(nèi),非常迅速的給出了答案:

Your text is likely to be written entirely by a human.

你的文本很可能完全是由人寫的。

接下來(lái),我們?cè)侔岩欢?ChatGPT 寫的文字,丟進(jìn)剛才那段新聞的后邊,來(lái)一場(chǎng)混合檢測(cè):

這一次,GPTZero 給出的回答是:

Your text includes parts written by AI.

你的文本一部分是由 AI 編寫的。

并且 ChatGPT 生成的內(nèi)容還會(huì)用黃色高亮標(biāo)記出來(lái)。

小哥對(duì)此表示:

這是教育工作者一直想要的一個(gè)關(guān)鍵功能。

但老師們檢查學(xué)生作業(yè)的時(shí)候,一段一段的把文字復(fù)制粘貼進(jìn)來(lái)也相當(dāng)繁瑣的工作了。

于是乎,這位小哥還貼心地推出了另一個(gè)新功能 —— 可批量導(dǎo)入文件,支持 Word、PDF 和 TXT 等格式。

并且網(wǎng)站在介紹這個(gè)功能時(shí),是這么描述的

除此之外,為了防止服務(wù)發(fā)生崩潰,小哥還搞了一個(gè) Python API,是已經(jīng)完成壓力測(cè)試的那種。

最后,小哥還貼心地說(shuō)了一句:

我承諾,本網(wǎng)站對(duì)個(gè)體教師和教育工作者,保持免費(fèi)!

怎么做到的?

它主要靠“perplexity”,即文本的“困惑度”作為指標(biāo)來(lái)判斷所給內(nèi)容到底是誰(shuí)寫的。

NLP 領(lǐng)域的朋友們都知道,這個(gè)指標(biāo)就是用來(lái)評(píng)價(jià)一個(gè)語(yǔ)言模型的好壞的。

在這里,每當(dāng)你喂給 GPTZero 一段測(cè)試內(nèi)容,它就會(huì)分別計(jì)算出:

1、文字總困惑度

這個(gè)值越高,就越可能出自人類之手。

2、所有句子的平均困惑度

句子越長(zhǎng),這個(gè)值通常就越低。

3、每個(gè)句子的困惑度

通過(guò)條形圖的方式呈現(xiàn),鼠標(biāo)懸浮到各個(gè)方塊就可以查看相應(yīng)的句子是什么(這里就兩塊,因?yàn)槲掖藭r(shí)輸入的測(cè)試內(nèi)容就倆句子)。

之所以要繪制這樣的條形圖,作者也作出了解釋:

根據(jù)最新的一些研究:人類書寫的一些句子可能具有較低的困惑度(前面說(shuō)過(guò),人類的困惑度是比較高的),但隨著繼續(xù)寫,困惑度勢(shì)必會(huì)出現(xiàn)峰值。

相反,用機(jī)器生成的文本,其困惑度是均勻分布的,并且總是很低。

除此之外,GPTZero 還會(huì)挑出困惑度最高的那個(gè)句子(也就是最像人寫的):

反 ChatGPT 之風(fēng)正盛

正所謂道高一尺魔高一丈,在 ChatGPT 盡顯十八般武藝之際,諸如小哥 GPTZero 一樣“用魔法打敗魔法”的工具、研究也在層出不窮。

例如最近斯坦福大學(xué)為了不讓學(xué)生借助 ChatGPT 之力來(lái)寫論文或作弊,推出了“反偵察”神器 ——DetectGPT。

這種方法既不需要訓(xùn)練單獨(dú)的分類器,也不需要收集真實(shí)或生成的段落的數(shù)據(jù)集,是一種基于概率曲率的零樣本方法。

除此之外,就連 OpenAI 自己也聯(lián)合哈佛等高校機(jī)構(gòu)聯(lián)合打造了一款檢測(cè)器:GPT-2 Output Detector

作者們先是發(fā)布了一個(gè)“GPT-2 生成內(nèi)容”和 WebText(專門從國(guó)外貼吧 Reddit 上扒下來(lái)的)數(shù)據(jù)集,讓 AI 理解“AI 語(yǔ)言”和“人話”之間的差異。

隨后,用這個(gè)數(shù)據(jù)集對(duì) RoBERTa 模型進(jìn)行微調(diào),就得到了這個(gè) AI 檢測(cè)器。其中人話一律被識(shí)別為 True,AI 生成的內(nèi)容則一律被識(shí)別為 Fake。

(RoBERTa 是 BERT 的改進(jìn)版。原始的 BERT 使用了 13GB 大小的數(shù)據(jù)集,但 RoBERTa 使用了包含 6300 萬(wàn)條英文新聞的 160GB 數(shù)據(jù)集。)

……

嗯,看來(lái) ChatGPT 在大步向前邁的同時(shí),順便還推動(dòng)了“反 ChatGPT”研究的發(fā)展。

參考鏈接:

  • [1] https://twitter.com/edward_the6/status/1619874139954905090

  • [2] https://arxiv.org/abs/2301.11305

本文來(lái)自微信公眾號(hào):量子位 (ID:QbitAI),作者:金磊

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:ChatGPT

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知