6 月 18 日?qǐng)?bào)道，看看下面這些人的照片，你能看出什么問題嗎？
這些或微笑或笑容滿面的人，都是假的，由一個(gè)名為 StyleGAN 的著名人工智能（AI）模型生成，現(xiàn)實(shí)生活中并不存在。
Deepfake 深度偽造技術(shù)愈發(fā)強(qiáng)大，令人們難以分辨它所偽造圖像的真假，一旦這一技術(shù)被大規(guī)模用于惡意意圖，則將后患無窮。
對(duì)此，F(xiàn)acebook 與密歇根州立大學(xué)（MSU）合作，提出了一種新研究方法，不僅能檢測(cè)出假圖片，而且能通過逆向工程，發(fā)現(xiàn)偽造出這個(gè)假圖的 AI 生成模型是如何設(shè)計(jì)的。
值得注意的是，有些生成模型是此前從未見過的，通過一系列超參數(shù)分析，這種新研究方法仍能找出一些偽造圖片的共同來源。
這將幫助有效追蹤到各種社交網(wǎng)絡(luò)上傳播的以假亂真的圖片，以及發(fā)現(xiàn)協(xié)同虛假信息或使用深度偽造發(fā)起的其他惡意攻擊。
Facebook 研究科學(xué)家 Tal Hassner 稱：“在標(biāo)準(zhǔn)基準(zhǔn)上，我們得到了最先進(jìn)的結(jié)果?！?/p>
用“指紋”鑒定圖像的來源
Facebook 的新 AI 方法，是如何工作的？
▲模型解析流程
研究人員首先通過指紋估計(jì)網(wǎng)絡(luò)（FEN）運(yùn)行了一組深度偽造圖像，來估計(jì) AI 生成模型留下的指紋細(xì)節(jié)。
什么是指紋？
對(duì)于人類而言，指紋就像個(gè)人標(biāo)識(shí)一樣，具有不變性、唯一性、可分類性。
具備類似特征的標(biāo)識(shí)也存在于設(shè)備上。例如在數(shù)碼攝影中，因制造過程的不完善，特定設(shè)備會(huì)在其產(chǎn)生的每張圖像上留下獨(dú)特的圖案，可被用于識(shí)別產(chǎn)生圖像的數(shù)碼相機(jī)。這種圖案被稱之為設(shè)備指紋。
同樣，圖像指紋是生成模型在生成的圖像中留下的獨(dú)特圖案，能用來識(shí)別圖像來自的生成模型。
在深度學(xué)習(xí)時(shí)代前，研究人員常用一套小型的、手工制作的、眾所周知的工具來生成圖片。這些生成模型的指紋通過其手工特征來估計(jì)。而深度學(xué)習(xí)使得工具能無限生成圖像，致使研究人員不可能通過手工特征來識(shí)別指紋屬性。
由于可能性無窮無盡，研究人員決定根據(jù)指紋的一般屬性，使用不同的約束條件來估計(jì)指紋，這些屬性包括指紋大小、重復(fù)性質(zhì)、頻率范圍和對(duì)稱頻率響應(yīng)。
然后，這些約束通過不同的損失函數(shù)被反饋到 FEN 中，以強(qiáng)制生成的指紋具有這些所需的屬性。指紋生成完成后，就能用作模型解析的輸入。
通過識(shí)別這些圖像中的獨(dú)特指紋，F(xiàn)acebook 的 AI 可以分辨出哪些偽造圖像由同一個(gè)生成模型創(chuàng)建。
▲圖像歸因：找出哪些圖像由同一個(gè)生成模型產(chǎn)生
模擬超參數(shù)，推斷 deepfake 模型結(jié)構(gòu)
每個(gè)生成模型，都有自己獨(dú)特的超參數(shù)。
超參數(shù)是被用于指導(dǎo)模型自學(xué)過程的變量。比如模型的網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練損失函數(shù)類型的超參數(shù)設(shè)置，都會(huì)對(duì)生成圖像的方式和結(jié)果產(chǎn)生影響。
如果能弄清楚各種超參數(shù)，則可以由此找出創(chuàng)建某一圖像的生成模型。
為了更好地理解超參數(shù)，F(xiàn)acebook 團(tuán)隊(duì)將生成模型比作是一種汽車，其超參數(shù)則是各種特定的發(fā)動(dòng)機(jī)部件。不同的汽車可能看起來很相似，但在引擎蓋下，它們可以有非常不同的引擎和組件。
研究人員稱，其逆向工程技術(shù)有點(diǎn)像根據(jù)聲音來識(shí)別汽車的部件，即使此前從未聽說過這輛車。
▲逆向工程技術(shù)能找出未知模型的特征
一旦系統(tǒng)能夠始終如一地將真指紋與深度偽造指紋分開，它就會(huì)將所有假指紋轉(zhuǎn)儲(chǔ)到一個(gè)解析模型中，以模擬出它們的各種超參數(shù)。
通過其模型解析方法，研究人員可以估計(jì)用于創(chuàng)建 deepfake 的模型網(wǎng)絡(luò)結(jié)構(gòu)，比如有多少層，或者被訓(xùn)練了什么損失函數(shù)。
為了便于訓(xùn)練，他們對(duì)網(wǎng)絡(luò)結(jié)構(gòu)中的一些連續(xù)參數(shù)進(jìn)行了歸一化處理，并對(duì)損失函數(shù)類型進(jìn)行了層次學(xué)習(xí)。
由于生成模型在網(wǎng)絡(luò)架構(gòu)和訓(xùn)練損失函數(shù)方面存在很大差異，從 deepfake 或生成圖像到超參數(shù)空間的映射，使他們能夠批判性地理解用于創(chuàng)建它的模型的特征。
▲通過模型解析，可以推斷出未知模型是如何設(shè)計(jì)的
從 100 個(gè)生成模型，合成 10 萬張假圖
為了測(cè)試這一方法，密歇根州立大學(xué)的研究團(tuán)隊(duì)將從 100 個(gè)公開可獲得的生成模型中生成的 10 萬張合成圖像，整合到一個(gè)偽造圖像數(shù)據(jù)集中。
這 100 個(gè)生成模型中的每一個(gè)，都對(duì)應(yīng)著一個(gè)由整個(gè)科學(xué)界研究人員開發(fā)和共享的開源項(xiàng)目。一些開源項(xiàng)目已經(jīng)發(fā)布了偽造圖片。
在這種情況下，密歇根州立大學(xué)的研究團(tuán)隊(duì)隨機(jī)挑選了 1000 張圖片。在開源項(xiàng)目沒有任何可用偽造圖像的情況下，研究團(tuán)隊(duì)運(yùn)行他們發(fā)布的代碼，生成 1000 張合成圖像。
考慮到測(cè)試圖像可能來自現(xiàn)實(shí)世界中不可見的生成模型，研究團(tuán)隊(duì)通過交叉驗(yàn)證來模擬現(xiàn)實(shí)世界的應(yīng)用，以訓(xùn)練和評(píng)估其模型對(duì)數(shù)據(jù)集的不同分割。
▲從 100 個(gè)生成模型中每一個(gè)生成的圖像在左邊產(chǎn)生一個(gè)估計(jì)的指紋，在右邊產(chǎn)生一個(gè)相應(yīng)的頻譜。許多頻譜顯示出不同的高頻信號(hào)，而有些頻譜看起來彼此相似。
除了模型解析，其 FEN 可以用于 deepfake 檢測(cè)和圖像歸因。對(duì)于這兩個(gè)任務(wù)，研究人員添加了一個(gè)淺層網(wǎng)絡(luò)，輸入估計(jì)的指紋并執(zhí)行二值（深 deepfake 檢測(cè)）或多類分類（圖像歸屬）。
雖然 Facebook 的指紋估計(jì)不是為這些任務(wù)量身定制的，但研究人員稱，他們?nèi)匀蝗〉昧司哂懈?jìng)爭(zhēng)力的技術(shù)水平的結(jié)果，這表明其指紋估計(jì)具有出色的泛化能力。
來自 100 個(gè)生成模型的深度偽造圖像的多樣化集合意味著其模型是通過代表性選擇建立的，具有更好的泛化跨人類和非人類表示的能力。
盡管一些用于生成深度偽造的原始圖像是公開可用的人臉數(shù)據(jù)集中的真實(shí)個(gè)人圖像，密歇根州立大學(xué)研究團(tuán)隊(duì)開始了法醫(yī)風(fēng)格的分析，使用深度偽造圖像，而不是用于創(chuàng)建它們的原始圖像。
由于該方法涉及將深度偽造圖像解構(gòu)到其指紋，研究團(tuán)隊(duì)分析了該模型能否將指紋映射回原始圖像內(nèi)容。
結(jié)果表明，這種情況沒有發(fā)生，這證實(shí)了指紋主要包含生成模型留下的痕跡，而不是原始深度偽造的內(nèi)容。
所有用于這項(xiàng)研究的假臉圖像，以及逆向工程過程的所有實(shí)驗(yàn)，都來自密歇根州立大學(xué)。
密歇根州立大學(xué)將向更廣泛的研究社區(qū)開放數(shù)據(jù)集、代碼和訓(xùn)練模型，以促進(jìn)各個(gè)領(lǐng)域的研究，包括深度偽造檢測(cè)、圖像歸因和生成模型的逆向工程。
結(jié)語：深偽 vs 防深偽，長(zhǎng)期的貓鼠游戲
Facebook 與密歇根州立大學(xué)的這一研究，推動(dòng)了 deepfake 檢測(cè)的理解邊界，引入了更適合真實(shí)世界部署的模型解析概念。
這項(xiàng)工作將為研究人員和從業(yè)人員提供工具，以更好地調(diào)查協(xié)調(diào)虛假信息事件，使用深度偽造，并為未來的研究開辟新的方向。
但值得注意的是，即便是最先進(jìn)的結(jié)果，也未必全然可靠。去年 Facebook 舉辦深度檢測(cè)大賽，獲勝算法只能檢測(cè)到 AI 操縱的視頻的 65.18%。
研究人員認(rèn)為，使用算法發(fā)現(xiàn) deepfake，仍是一個(gè)“未解決的問題。”部分原因是，生成 AI 領(lǐng)域非常活躍，每天都有新的技術(shù)發(fā)布，任何檢測(cè)器幾乎不可能完全跟上。
當(dāng)被問及是否會(huì)出現(xiàn)這種新方法無法檢測(cè)到的生成模型時(shí)，Hassner 同意：“我預(yù)計(jì)會(huì)這樣?！彼J(rèn)為，deepfake 研發(fā)與 deepfake 檢測(cè)的研發(fā)，“將繼續(xù)是一場(chǎng)貓鼠游戲”。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。