IT之家 7 月 5 日消息，網(wǎng)絡服務商 Cloudflare 近日推出一款名為“Bot Fight Mode”的防火墻工具，站長們可以在控制臺開啟相關服務，從而防止自己網(wǎng)站的內容被用于訓練 AI 的機器人爬蟲扒取。
IT之家注：爬蟲是一種自動化的程序，可以在互聯(lián)網(wǎng)上搜索和獲取信息，目前許多廠商使用相關爬蟲扒取各大網(wǎng)站信息用于訓練 AI 模型，相關爬蟲容易導致被扒網(wǎng)站產(chǎn)生大量異常流量，為此站長需支付高昂的網(wǎng)絡帶寬費用，同時也容易導致網(wǎng)站上大量原創(chuàng) / 隱私內容泄露。
據(jù)悉，Cloudflare 推出的相關工具主要利用簽名比對、啟發(fā)式算法、機器學習和行為分析技術來辨別爬蟲，站長還可以按照需要放行“好的 AI 機器人”抓取信息（此類“好的 AI 機器人”主要尋找網(wǎng)站的 robots.txt 來獲取信息，通常不會對網(wǎng)站本身產(chǎn)生異常流量，也不會將網(wǎng)頁所有數(shù)據(jù)直接用于全盤訓練模型）。
互聯(lián)網(wǎng)為許多大語言模型（如 OpenAI 的 GPT 模型和谷歌的 Bard）提供了大部分的訓練數(shù)據(jù)，如今許多廠商為了刷自家 AI 模型分數(shù)，大肆通過網(wǎng)絡爬蟲“拿來式”地獲取訓練數(shù)據(jù)，從而讓本應你情我愿的行為變得“污名化”，各大網(wǎng)絡商直接推出此類禁用 AI 爬蟲的服務也在意料之中。
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。