7 月 18 日消息，只要稍微動(dòng)點(diǎn)手腳，就會(huì)給 AI 模型的魯棒性帶來(lái)挑戰(zhàn)。在 AI 眼里，下面這兩張圖片可能毫無(wú)關(guān)聯(lián)。
不過(guò)，Facebook AI 在近日開(kāi)源了用于數(shù)據(jù)增強(qiáng)的新 Python 庫(kù) ——AugLy。
使用 AugLy 數(shù)據(jù)增強(qiáng)訓(xùn)練 AI 模型，訓(xùn)練后 AI 可以對(duì)用戶上傳的內(nèi)容，進(jìn)行更精確的識(shí)別，有助于識(shí)別盜版圖文音視頻。
它支持音頻、圖像、視頻和文本 4 種模態(tài)，提供了超過(guò) 100 種數(shù)據(jù)增強(qiáng)功能，可以對(duì)輸入內(nèi)容進(jìn)行多種處理。
比如，改變文字的大小寫(xiě)、字體、編碼方式，給文本添加標(biāo)點(diǎn)、調(diào)整字母位置、模擬錯(cuò)別字，以及裁剪、旋轉(zhuǎn)圖片，給圖片加文字、增加飽和度、增加亮度、改變清晰度等。
這一項(xiàng)目已經(jīng)獲得 1.8k 顆星，并且登上了 GitHub 熱榜。
讓 AI 識(shí)別「截屏轉(zhuǎn)發(fā)」
AugLy 的目的是涵蓋現(xiàn)實(shí)網(wǎng)絡(luò)中具體的數(shù)據(jù)增強(qiáng)，用來(lái)創(chuàng)建樣本，從而訓(xùn)練和測(cè)試模型。
根據(jù) Facebook 和 Instagram 等平臺(tái)上的生活圖像和視頻，AugLy 在統(tǒng)一的庫(kù)和 API 下轉(zhuǎn)換項(xiàng)目的所有數(shù)據(jù)，提供了超過(guò) 100 種數(shù)據(jù)增強(qiáng)方式。
其中包括 4 個(gè)子庫(kù)，分別對(duì)應(yīng)音頻、圖像、視頻和文本 4 種模態(tài)。
這些子庫(kù)包括基于函數(shù)和類(lèi)的變換、組合，并且可以選擇所應(yīng)用的元數(shù)據(jù)及其強(qiáng)度。
以圖片處理為例，AugLy 可以對(duì)圖片進(jìn)行裁剪、旋轉(zhuǎn)、添加噪聲、模糊處理、灰度處理等。
就像這樣：
或者圖片或視頻上疊加文字和 emojis：
除了包含許多通用的增強(qiáng)功能，AugLy 更大的特點(diǎn)在于 —— 提供“互聯(lián)網(wǎng)用戶”類(lèi)型的數(shù)據(jù)增強(qiáng)方式。
比如，把圖片轉(zhuǎn)換成屏幕截圖的樣式，更加符合生活中常見(jiàn)的樣子。
使用 AugLy 數(shù)據(jù)增強(qiáng)訓(xùn)練 AI 模型，這些內(nèi)容相同而形式不同的信息，能幫助模型提高魯棒性。
在復(fù)制檢測(cè)、言論檢測(cè)或版權(quán)侵權(quán)等工作中，訓(xùn)練后 AI 可以對(duì)用戶上傳的內(nèi)容，進(jìn)行更精確的識(shí)別。
此外，AugLy 已經(jīng)被用于 Deepfake 檢測(cè)挑戰(zhàn)賽，用來(lái)評(píng)估模型的魯棒性。
網(wǎng)友熱議
這個(gè)新的 Python 庫(kù)也受到了網(wǎng)友們的關(guān)注，在 Reddit 上獲得了 350 + 贊。
有網(wǎng)友提出疑問(wèn)：文本模塊只支持英語(yǔ)嗎？
一位熱心網(wǎng)友表示：
看起來(lái)文本模塊在很大程度上是對(duì) nlpaug 的一種包裝，因此 AugLy 支持其他語(yǔ)言，只需修改幾個(gè)參數(shù)。
也有網(wǎng)友提出，為什么不直接把它加到 pytorch 里？
對(duì)此，有人回復(fù)道：
這樣在安裝的時(shí)候會(huì)很慢，有需要的的人單獨(dú)安裝就可以了，沒(méi)必要讓 pytorch 那么臃腫。
AugLy 要求 Python 3.6 以上版本，通過(guò) pip 安裝，但是在虛擬環(huán)境和系統(tǒng)環(huán)境中，還需要用 conda 和 sudo apt-get 命令單獨(dú)安裝 python-magic。
比較遺憾的是，AugLy 目前不支持輸入批量圖像，不過(guò)開(kāi)發(fā)人員表示，以后將會(huì)完善這一功能。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。