DeepFake 被用到了電信詐騙里，該怎么破？
讓他轉(zhuǎn)過(guò)頭，看看他的側(cè)臉就好了。
DeepFake 一直以來(lái)都存在著這樣一個(gè)漏洞：當(dāng)偽造的人臉完全側(cè)著（轉(zhuǎn) 90°）時(shí)，真實(shí)性就會(huì)急劇下降。
為什么會(huì)出現(xiàn)這樣的結(jié)果呢？外網(wǎng)有這么一篇文章，解析了為什么在側(cè)臉的情況下，面部偽造的效果大打折扣。
側(cè)臉失真的原因
橫向限制
使用 DeepFake 換臉，當(dāng)人臉是側(cè)角度時(shí)，真實(shí)性會(huì)急劇下降。這是因?yàn)榇蠖鄶?shù)基于 2D 的面部對(duì)齊算法，視捕捉到側(cè)視圖的特征點(diǎn)數(shù)量僅為主視圖的 50%-60%。
以“Joint Multi-view Face Alignment in the Wild”中的 Multi-view Hourglass 面部對(duì)齊模型為例。
通過(guò)從面部識(shí)別特征點(diǎn)，以此為學(xué)習(xí)數(shù)據(jù)來(lái)訓(xùn)練模型。
從圖中可以看出，正面對(duì)齊時(shí)識(shí)別到 68 個(gè)特征點(diǎn)數(shù)量，而在側(cè)面對(duì)齊時(shí)，僅僅識(shí)別到 39 個(gè)特征點(diǎn)數(shù)量。
側(cè)面輪廓視圖隱藏了 50% 特征點(diǎn)，這不僅會(huì)妨礙識(shí)別，還會(huì)干擾訓(xùn)練的準(zhǔn)確性以及后續(xù)人臉的合成。
DeepFake 專家 Siwei Lyu 博士表示：
對(duì)于當(dāng)前的 DeepFake 技術(shù)來(lái)說(shuō)，側(cè)臉確實(shí)是一個(gè)大問(wèn)題。面部對(duì)齊網(wǎng)絡(luò)（facial alignment network）對(duì)于正面效果非常好，但對(duì)于側(cè)面效果不太好。
這些算法有一個(gè)基本的限制：如果你只覆蓋你的臉的一部分，對(duì)齊機(jī)制就可以很好地工作，并且在這種情況下非常強(qiáng)大，但是當(dāng)你轉(zhuǎn)身時(shí)，超過(guò)一半的特征點(diǎn)丟失了。
普通人影像資料“沙漠”
換臉要達(dá)到比較逼真的效果，還得經(jīng)過(guò)大量的訓(xùn)練，這意味著需要有足夠的訓(xùn)練數(shù)據(jù)。
外網(wǎng)就有人通過(guò)訓(xùn)練大量的數(shù)據(jù)，將杰瑞?宋飛人臉替換到到《低俗小說(shuō)》(1994) 中的場(chǎng)景中。獲得的側(cè)臉圖像也很難看出破綻：
但是達(dá)到如此逼真的效果，是經(jīng)過(guò)了大量數(shù)據(jù)的訓(xùn)練，在上述這個(gè)例子中，電視節(jié)目“Seinfeld”就為此次訓(xùn)練提供了長(zhǎng)達(dá) 66 個(gè)小時(shí)的可用鏡頭。
而相比之下，除了電影演員之外，普通人的影像資料都少之又少，并且在平時(shí)拍照記錄時(shí)，很少有人會(huì)記錄完全呈 90° 的側(cè)臉照。
因此，通過(guò) DeepFake 偽造的人臉很輕易就在側(cè)臉時(shí)露出破綻。
也有網(wǎng)友在 Hacker News 上調(diào)侃道：
最近去一家不知名的銀行辦了張卡，竟然需要我的側(cè)身照，當(dāng)時(shí)我還很疑惑，現(xiàn)在我終于知道為什么了。
用手在面前晃動(dòng)也可以識(shí)別偽造的臉
視頻通話時(shí)判斷對(duì)方是不是 DeepFake 偽造的，除了通過(guò)側(cè)臉判斷，還有一個(gè)小方法：用手在面前晃動(dòng)。
如果是偽造的人臉，手與臉部圖像的疊加可能會(huì)出現(xiàn)錯(cuò)亂，并且手在晃動(dòng)過(guò)程中會(huì)出現(xiàn)延遲現(xiàn)象。
▲ 在換臉寡姐和 X 教授時(shí)，手和面部疊加發(fā)生錯(cuò)亂
實(shí)時(shí)的 DeepFake 都會(huì)面臨這樣一個(gè)問(wèn)題：需要將真實(shí)的遮擋物疊加到不真實(shí)的面部圖像上，一般稱這個(gè)操作為“遮罩”或“背景去除”。
并且，實(shí)時(shí) DeepFake 模型需要能夠根據(jù)要求隨意執(zhí)行摳圖，達(dá)到可令人信服的水平。
但往往也會(huì)有很多混淆的遮擋物來(lái)影響“摳圖”的過(guò)程，比如說(shuō)具有人臉特征的遮擋物會(huì)給模型造成“困擾”，使其“摳圖”過(guò)程很難進(jìn)行。
用手在偽造的臉前晃動(dòng)，遮擋物的快速移動(dòng)會(huì)給“摳圖”帶來(lái)很大的困難，從而造成很大的延遲，并且會(huì)影響疊加的質(zhì)量。
One More Thing
換臉?lè)缸锊⒉贿b遠(yuǎn)，已經(jīng)有媒體報(bào)道過(guò)有嫌疑犯通過(guò) DeepFake 換臉進(jìn)行 IT 工作的遠(yuǎn)程面試，以試圖侵入公司，獲取他們的客戶或財(cái)務(wù)數(shù)據(jù)，以及企業(yè) IT 數(shù)據(jù)和專業(yè)信息等。
美國(guó)聯(lián)邦調(diào)查局（FBI）曾致函其互聯(lián)網(wǎng)犯罪投訴中心，稱收到過(guò)多起投訴，有人利用竊取的信息和深度偽造的視頻、語(yǔ)音申請(qǐng)遠(yuǎn)程技術(shù)工作。
在聯(lián)邦機(jī)構(gòu) 5 月份報(bào)告中描述的案例中，一些換臉嫌疑人通過(guò)幾層空殼公司進(jìn)行操作，這使得識(shí)別他們的身份變得更加困難。
參考鏈接：
[1]https://metaphysic.ai/to-uncover-a-DeepFake-video-call-ask-the-caller-to-turn-sideways/
[2]https://news.ycombinator.com/item?id=32384653
[3]https://arxiv.org/pdf/1708.06023.pdf
[4]https://gizmodo.com/deepfakes-remote-work-job-applications-fbi-1849118604
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。