8 月 31 日消息，隨著人工智能技術(shù)的迅猛發(fā)展，曾經(jīng)用于搜索引擎索引的網(wǎng)絡(luò)爬蟲(chóng)現(xiàn)在被用于收集訓(xùn)練數(shù)據(jù)來(lái)開(kāi)發(fā)人工智能模型。
內(nèi)容創(chuàng)作者意識(shí)到，他們的勞動(dòng)成果被大科技公司免費(fèi)使用來(lái)開(kāi)發(fā)新的人工智能工具，爬蟲(chóng)協(xié)議已經(jīng)無(wú)法解決這個(gè)問(wèn)題。這可能會(huì)影響內(nèi)容所有者在線(xiàn)分享內(nèi)容的動(dòng)力，從而從根本上改變互聯(lián)網(wǎng)。
20 世紀(jì) 90 年代末，出現(xiàn)了一種名為爬蟲(chóng)協(xié)議（robots.txt）的簡(jiǎn)單代碼，允許網(wǎng)站所有者告知搜索引擎的機(jī)器人爬蟲(chóng)哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。如今，爬蟲(chóng)協(xié)議已成為業(yè)界普遍接受的非官方網(wǎng)絡(luò)規(guī)則之一。
機(jī)器人爬蟲(chóng)的主要目的是索引信息，改善搜索引擎的搜索結(jié)果。谷歌、必應(yīng)和其他搜索引擎都有爬蟲(chóng)程序，它們生成網(wǎng)絡(luò)內(nèi)容的索引信息，并提供給潛在的數(shù)十億用戶(hù)。這也是互聯(lián)網(wǎng)蓬勃發(fā)展的基礎(chǔ)，創(chuàng)作者們?cè)诰W(wǎng)絡(luò)上分享豐富信息，因?yàn)樗麄冎烙脩?hù)會(huì)訪問(wèn)他們的網(wǎng)站并瀏覽廣告、訂閱服務(wù)或購(gòu)買(mǎi)商品。
然而，生成式人工智能和大語(yǔ)言模型正在從根本上迅速改變網(wǎng)絡(luò)爬蟲(chóng)的任務(wù)。這些工具并沒(méi)有為內(nèi)容創(chuàng)作者提供支持，反而成為他們的敵人。
機(jī)器人喂飽了大科技公司
現(xiàn)在，網(wǎng)絡(luò)爬蟲(chóng)收集在線(xiàn)信息，并生成大規(guī)模的數(shù)據(jù)集，這些數(shù)據(jù)集被富有的科技公司免費(fèi)用于開(kāi)發(fā)人工智能模型。比如，CCBot 為最大的人工智能數(shù)據(jù)集之一 CommonCrawl 提供數(shù)據(jù)；GPTbot 則是向人工智能明星創(chuàng)企 OpenAI 提供數(shù)據(jù)。谷歌將自家的大語(yǔ)言模型的訓(xùn)練數(shù)據(jù)稱(chēng)為“無(wú)限集合”，但沒(méi)有提及大部分?jǐn)?shù)據(jù)來(lái)自 CommonCrawl 的精簡(jiǎn)版 C4。
這些公司開(kāi)發(fā)的人工智能模型使用這些免費(fèi)信息來(lái)學(xué)習(xí)如何回答用戶(hù)的問(wèn)題，這與為網(wǎng)站建立索引信息、讓用戶(hù)訪問(wèn)原始內(nèi)容的既定模式相去甚遠(yuǎn)。
如果沒(méi)有潛在的消費(fèi)者，內(nèi)容創(chuàng)作者就沒(méi)有動(dòng)力讓網(wǎng)絡(luò)爬蟲(chóng)繼續(xù)收集免費(fèi)數(shù)據(jù)。GPTbot 已被亞馬遜、愛(ài)彼迎、Quora 和其他上千家網(wǎng)站屏蔽。對(duì) CommonCrawl 數(shù)據(jù)集的 CCBot 的屏蔽也越來(lái)越多。
“粗糙的工具”
阻止這些網(wǎng)絡(luò)爬蟲(chóng)的方式并沒(méi)有太大變化。網(wǎng)站所有者只能部署爬蟲(chóng)協(xié)議并屏蔽特定爬蟲(chóng)，但效果并不理想。
“這是件有點(diǎn)粗糙的工具，”Wordpress 前高管、科技投資者、數(shù)字營(yíng)銷(xiāo)公司 Yoast 創(chuàng)始人約斯特?德?瓦爾克 (Joost de Valk) 說(shuō)。“它沒(méi)有法律依據(jù)，基本上是由谷歌維護(hù)的，盡管他們聲稱(chēng)是與其他搜索引擎共同維護(hù)的。”
考慮到各大企業(yè)對(duì)高質(zhì)量人工智能數(shù)據(jù)的巨大需求，爬蟲(chóng)協(xié)議也容易被操縱。例如，像 OpenAI 這樣的公司只需更改其網(wǎng)絡(luò)爬蟲(chóng)的名稱(chēng)，就可以繞過(guò)人們使用爬蟲(chóng)協(xié)議設(shè)置的禁止規(guī)則。
此外，由于爬蟲(chóng)協(xié)議是自愿遵守的，網(wǎng)絡(luò)爬蟲(chóng)也可以簡(jiǎn)單地忽略指令并繼續(xù)收集信息。像 Brave 等較新的搜索引擎的網(wǎng)絡(luò)爬蟲(chóng)就不會(huì)受到規(guī)則的影響。
“網(wǎng)上的一切信息都被模型吸進(jìn)了真空，”研究人類(lèi)生成數(shù)據(jù)與人工智能之間關(guān)系的計(jì)算機(jī)科學(xué)教授尼克?文森特 (Nick Vincent) 說(shuō)?！斑@背后發(fā)生了很多事情。在接下來(lái)的時(shí)間里，我們希望能以不同的方式評(píng)估這些模型。
創(chuàng)作者的回應(yīng)
德?瓦爾克警告稱(chēng)，內(nèi)容所有者和創(chuàng)作者可能已經(jīng)太遲鈍，無(wú)法理解允許這些網(wǎng)絡(luò)爬蟲(chóng)免費(fèi)獲取他們的數(shù)據(jù)、不加區(qū)分地使用這些數(shù)據(jù)來(lái)開(kāi)發(fā)人工智能模型的風(fēng)險(xiǎn)。
“現(xiàn)在，什么都不做意味著，‘我認(rèn)可我的內(nèi)容出現(xiàn)在世界上所有的人工智能和大語(yǔ)言模型中，’”德?瓦爾克說(shuō)?！斑@是完全錯(cuò)誤的。需要?jiǎng)?chuàng)建更好的爬蟲(chóng)協(xié)議，但搜索引擎和大型人工智能團(tuán)隊(duì)自己很難會(huì)去做這件事?！?/p>
一些大公司和網(wǎng)站最近做出了回應(yīng)，其中一些是第一次部署爬蟲(chóng)協(xié)議。
檢測(cè)人工智能生成內(nèi)容的公司 Originality.ai 表示，截至 8 月 22 日，在 1000 個(gè)最受用戶(hù)歡迎的網(wǎng)站中有 70 個(gè)使用爬蟲(chóng)協(xié)議屏蔽 GPTBot。
Originality.ai 還發(fā)現(xiàn)，在 1000 個(gè)最受歡迎的網(wǎng)站中，有 62 個(gè)屏蔽了 CommonCrawl 的網(wǎng)絡(luò)爬蟲(chóng) CCBot。隨著人們對(duì)人工智能數(shù)據(jù)收集的意識(shí)日益增強(qiáng)，今年有越來(lái)越多的網(wǎng)站開(kāi)始屏蔽 CommonCrawl。
然而，網(wǎng)站不能強(qiáng)制執(zhí)行爬蟲(chóng)協(xié)議。任何爬蟲(chóng)都可以忽略該文件，繼續(xù)收集網(wǎng)頁(yè)上的數(shù)據(jù)，而網(wǎng)頁(yè)所有者可能根本不知情。即使部署爬蟲(chóng)協(xié)議具有法律依據(jù)，其初衷與利用網(wǎng)絡(luò)信息開(kāi)發(fā)人工智能模型關(guān)系不大。
紐約大學(xué)技術(shù)法律與政策診所主任杰森?舒爾茨 (JasonSchultz) 表示，"Robots.txt 不太可能被視為禁止使用網(wǎng)站數(shù)據(jù)的法律。" 這主要是為了表明人們不希望自己的網(wǎng)站被搜索引擎編入索引，而不是表示人們不希望自己的內(nèi)容被用于訓(xùn)練機(jī)器學(xué)習(xí)和人工智能。
“這是一個(gè)雷區(qū)”
事實(shí)上，這種情況已經(jīng)持續(xù)了多年。早在 2018 年，OpenAI 就公布了首個(gè) GPT 模型，并通過(guò) BookCorpus 數(shù)據(jù)集進(jìn)行訓(xùn)練。CommonCrawl 始于 2008 年，并于 2011 年通過(guò)亞馬遜云服務(wù)公開(kāi)了數(shù)據(jù)集。
盡管如今屏蔽 GPTBot 的網(wǎng)站越來(lái)越多，但對(duì)于那些擔(dān)心自己的數(shù)據(jù)被用于訓(xùn)練人工智能模型的企業(yè)來(lái)說(shuō)，CommonCrawl 的威脅更大?？梢哉f(shuō)，CommonCrawl 之于人工智能，就像谷歌之于互聯(lián)網(wǎng)搜索。
非營(yíng)利組織知識(shí)共享（Creative Commons）首席執(zhí)行官凱瑟琳?斯蒂勒 (Catherine Stihler) 表示，“這是一個(gè)雷區(qū)。我們幾年前才更新了戰(zhàn)略，現(xiàn)在我們處于一個(gè)不同的世界?！?/p>
知識(shí)共享始于 2001 年，是創(chuàng)作者和內(nèi)容所有者用知識(shí)共享許可協(xié)議來(lái)替代嚴(yán)格版權(quán)，在網(wǎng)上使用并分享作品許可的一種方式。在共享許可協(xié)議的基礎(chǔ)上，創(chuàng)作者和所有者保留他們的權(quán)利，并允許其他人訪問(wèn)內(nèi)容并創(chuàng)作衍生作品。維基百科、Flickr、StackOverflow 等許多知名網(wǎng)站都是通過(guò)知識(shí)共享許可協(xié)議運(yùn)作的。
知識(shí)共享組織在最新的五年戰(zhàn)略中表示，在訓(xùn)練人工智能技術(shù)方面，開(kāi)放內(nèi)容的使用存在問(wèn)題。知識(shí)共享組織希望使在線(xiàn)作品共享更加公平。
1600 億網(wǎng)頁(yè)
通過(guò) CCBot 爬取公開(kāi)信息的 CommonCrawl 擁有最大的數(shù)據(jù)存儲(chǔ)庫(kù)。自 2011 年以來(lái)，它已從 1600 億個(gè)網(wǎng)頁(yè)中抓取和保存信息，并持續(xù)增加。一般來(lái)說(shuō)，CommonCrawl 每月抓取并保存大約 30 億個(gè)網(wǎng)頁(yè)的信息。
Common Crawl 稱(chēng)，這項(xiàng)事業(yè)是一個(gè)“開(kāi)放數(shù)據(jù)”項(xiàng)目，旨在讓任何人“打開(kāi)自己的好奇心，分析世界，追求卓越的想法”。
然而，現(xiàn)在的情況完全不同。大量 Common Crawl 收集的數(shù)據(jù)被大科技公司用于開(kāi)發(fā)專(zhuān)有模型。即使一家大型科技公司目前沒(méi)有從人工智能產(chǎn)品中獲利，未來(lái)也有可能這樣做。
一些大型科技公司已停止披露訓(xùn)練數(shù)據(jù)來(lái)源。然而，許多強(qiáng)大的人工智能模型都是使用 CommonCrawl 開(kāi)發(fā)的。它幫助谷歌開(kāi)發(fā)了 Bard，幫助 Meta 訓(xùn)練 Llama，幫助 OpenAI 創(chuàng)建 ChatGPT。
Common Crawl 還向 ThePile 提供數(shù)據(jù)，后者還擁有更多從其他爬蟲(chóng)抓取的數(shù)據(jù)集。ThePile 已廣泛用于人工智能項(xiàng)目，包括 Llama 和微軟與英偉達(dá)共同開(kāi)發(fā)的 MT-NLG。
從今年 6 月份開(kāi)始，ThePile 下載量最大的數(shù)據(jù)之一是受版權(quán)保護(hù)的漫畫(huà)書(shū)，包括阿奇漫畫(huà)、蝙蝠俠、X 戰(zhàn)警、星球大戰(zhàn)和超人系列的作品。這些作品都是 DC 漫畫(huà)和漫威創(chuàng)作的，現(xiàn)在仍受版權(quán)保護(hù)。最近有報(bào)道稱(chēng)，ThePile 中還存儲(chǔ)了大量受版權(quán)保護(hù)的書(shū)籍。
紐約大學(xué)的舒爾茨表示，爬蟲(chóng)的目的和使用方式完全不同。很難監(jiān)管或要求它們以特定方式使用數(shù)據(jù)。
對(duì)于 The Pile 來(lái)說(shuō)，雖然它承認(rèn)數(shù)據(jù)中包含受版權(quán)保護(hù)的材料，但在創(chuàng)立數(shù)據(jù)集的技術(shù)文章中聲稱(chēng)，“處理和分發(fā)他人擁有的數(shù)據(jù)也可能違反版權(quán)法”的說(shuō)法幾乎沒(méi)有人會(huì)認(rèn)同。
此外，The Pile 還辯稱(chēng)，盡管數(shù)據(jù)集中存儲(chǔ)了相對(duì)未經(jīng)改變的作品，但根據(jù)合理使用原則，對(duì)這些材料的使用應(yīng)該是變革性的。ThePile 還承認(rèn)，在訓(xùn)練大語(yǔ)言模型時(shí)，需要使用完整的版權(quán)內(nèi)容以產(chǎn)生最佳效果。
網(wǎng)絡(luò)爬蟲(chóng)和人工智能項(xiàng)目中所謂的合理使用觀點(diǎn)已經(jīng)受到了質(zhì)疑。作家、視覺(jué)藝術(shù)家甚至源代碼開(kāi)發(fā)人員起訴 OpenAI、微軟和 Meta 等公司，因?yàn)樗麄兊脑瓌?chuàng)作品在未經(jīng)許可的情況下被用于訓(xùn)練模型，而他們并沒(méi)有從中受益。
微軟前高管、風(fēng)投公司安德森?霍洛維茨 (Andreessen Horowitz) 合伙人史蒂文?辛諾夫斯基 (Steven Sinofsky) 最近在社交媒體上寫(xiě)道，即便將東西放到互聯(lián)網(wǎng)上，也不能不經(jīng)同意就免費(fèi)、無(wú)限制地將某人的勞動(dòng)成果用于商業(yè)用途。
沒(méi)有解決辦法
“我們現(xiàn)在正在努力解決所有這些問(wèn)題，”知識(shí)共享組織首席執(zhí)行官斯蒂勒表示，有很多問(wèn)題需要解決：補(bǔ)償、授權(quán)、信任。在人工智能時(shí)代，我們還沒(méi)有答案。
德?瓦爾克表示，由于知識(shí)共享許可協(xié)議可以促進(jìn)版權(quán)的流通性、允許自己擁有的作品在互聯(lián)網(wǎng)上使用，可以作為開(kāi)發(fā)人工智能模型的一種潛在許可模式。
斯蒂勒對(duì)此并不確定。她說(shuō)，涉及到人工智能時(shí)，也許并沒(méi)有單一的解決方案。即使是更靈活的通用協(xié)議，也可能行不通。你如何向整個(gè)互聯(lián)網(wǎng)授權(quán)？
斯蒂勒說(shuō)：“與我交談過(guò)的每一位律師都說(shuō)，許可并不能解決問(wèn)題?！?/p>
她經(jīng)常與作者、人工智能行業(yè)高管等利益相關(guān)者討論這個(gè)問(wèn)題。斯蒂勒今年早些時(shí)候會(huì)見(jiàn)了 OpenAI 的代表，并表示公司正在討論如何獎(jiǎng)勵(lì)創(chuàng)作者。
但她補(bǔ)充說(shuō)，目前還不清楚人工智能時(shí)代的公共空間將會(huì)是什么樣子。
鑒于網(wǎng)絡(luò)爬蟲(chóng)已經(jīng)為大型科技公司收集了大量數(shù)據(jù)，加上內(nèi)容創(chuàng)作者根本無(wú)法掌控，互聯(lián)網(wǎng)可能會(huì)發(fā)生巨大變化。
如果發(fā)布信息意味著將數(shù)據(jù)免費(fèi)提供給與自己競(jìng)爭(zhēng)的人工智能模型，那么這種活動(dòng)可能會(huì)停止。
已經(jīng)有跡象表明，訪問(wèn)問(wèn)答網(wǎng)站 Stack Overflow 來(lái)回答問(wèn)題的程序員越來(lái)越少，因?yàn)樗麄冎暗母冻霰挥脕?lái)訓(xùn)練人工智能模型，現(xiàn)在這些模型可以自動(dòng)回答許多問(wèn)題。
斯蒂勒表示，所有在線(xiàn)創(chuàng)作內(nèi)容的未來(lái)可能很快就會(huì)像現(xiàn)在的流媒體一樣，內(nèi)容被鎖在訂閱服務(wù)中，成本越來(lái)越高。
“如果我們不小心，最終就會(huì)導(dǎo)致公共空間關(guān)閉，”斯蒂勒說(shuō)。“將會(huì)有更多有圍墻的花園、更多人們無(wú)法訪問(wèn)的東西。這不是未來(lái)知識(shí)和創(chuàng)造力的成功模式?！?/p>
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。