包漿老圖立刻清晰到頭發(fā)絲是一種怎樣的體驗(yàn)？看這明亮的眼眸、清晰的發(fā)絲，原本模糊的人像立刻添了幾分靈動(dòng)（這就是用 AI 修復(fù)的高圓圓童年照）。
甚至?xí)r間更久遠(yuǎn)的歷史名人照片也能搞定。例如魯迅先生年輕時(shí)意氣風(fēng)發(fā)的模樣，被還原地淋漓盡致：
圖靈的這張修復(fù)就更厲害了，不僅眼神更加銳利，頭發(fā)、眉毛等細(xì)節(jié)都被完美還原了出來(lái)：
而以上這些效果，無(wú)需專業(yè) PS 技能，只用一個(gè)網(wǎng)頁(yè)端的 Demo、點(diǎn)點(diǎn)鼠標(biāo)上傳圖片就能搞定！
這么方便的修復(fù)神器，立刻引來(lái)了廣大網(wǎng)友的圍觀和試玩。
不少人都用自己童年時(shí)低像素的照片來(lái)試驗(yàn)，這效果仿佛十幾年前的自己就站在眼前了：
已經(jīng)糊到包漿的照片也能秒變?nèi)讼翊笃?，這 feel 立刻就來(lái)了~
多人合照修復(fù)也都是小 case，這效果讓網(wǎng)友們直呼驚到了驚到了。
這就是已經(jīng)多日霸占 GitHub 熱榜第一的 AI 修復(fù)項(xiàng)目：GFP-GAN，Star 數(shù)高達(dá) 8400。
最近，它在網(wǎng)上又掀起了一股老照片修復(fù)熱潮，讓人們爭(zhēng)相試玩！而這一項(xiàng)目由騰訊 PCG ARC 實(shí)驗(yàn)室提出，其相關(guān)論文已被 CVPR2021 收錄。
現(xiàn)在，就讓我們趕緊來(lái)體驗(yàn)一下它的神奇之處吧。
Demo 試玩
GFP-GAN 可通過(guò) Colab、Hugging Face 或本地運(yùn)行代碼進(jìn)行試玩。我們今天是在 Hugging Face 網(wǎng)頁(yè)端體驗(yàn)。
如界面所示，只需將你想修復(fù)的照片拖進(jìn)左邊的圖片框內(nèi)，點(diǎn)擊 Submit 即可。比如我們上傳一張的照片，得到的效果就是這樣：
而且它還會(huì)自動(dòng)擺正人臉。
讓人驚喜的是，遇到人像戴眼鏡的情況，GFP-GAN 甚至連鏡片反光都能高清化處理。u1s1（有一說(shuō)一），修復(fù)后的效果完全看不出是幾十年前的照片啊！
就連齊天大圣孫悟空的猴臉，對(duì)于 GFP-GAN 而言也是 so easy，并且對(duì)光線的修復(fù)效果格外突出。
并且修復(fù)中也不會(huì)過(guò)度磨皮，人臉上自然的皺紋也全部精細(xì)展現(xiàn)。
用 GAN 修復(fù)人像
那么 GFP-GAN 如此強(qiáng)大的效果是怎么實(shí)現(xiàn)的呢？研究人員受到 StyleGAN2 的啟發(fā)：
既然 GAN 已經(jīng)能生成如假亂真的圖片，那么它所包含的面部信息，是不是也能幫助人臉修復(fù)呢？由此，在 GFP-GAN 的模型框架中，主要用到了一個(gè)退化清除模塊和一個(gè)預(yù)訓(xùn)練的 GAN 作為先驗(yàn)。
兩個(gè)模塊通過(guò)隱編碼映射和多個(gè)信道分割空間特征變化層（CS-SFT）連接。
訓(xùn)練過(guò)程中，首先要對(duì)低質(zhì)量人臉進(jìn)行降噪等粗處理，然后保留面部信息。
在保真度方面，研究人員引入了一個(gè)面部損失（ Facial Component Loss），判斷哪些細(xì)節(jié)需要提升保留，然后再用識(shí)別保留損失（Identity Preserving Loss）進(jìn)行修復(fù)。
一作師從湯曉鷗教授
本文論文一作是 Xintao Wang，他是騰訊 ARC 實(shí)驗(yàn)室 (深圳應(yīng)用研究中心) 的研究員。
本科畢業(yè)于浙江大學(xué)，博士畢業(yè)于香港中文大學(xué)。
其博士期間師從湯曉鷗教授和 Chen Change Loy 教授。
研究方向?yàn)橛?jì)算機(jī)視覺(jué)和深度學(xué)習(xí)，尤其關(guān)注圖像、視頻修復(fù)方面。
論文地址：
https://arxiv.org/abs/2101.04061
GitHub 項(xiàng)目頁(yè)：
https://github.com/TencentARC/GFPGAN
Hugging Face 試玩?zhèn)魉烷T：
https://huggingface.co/spaces/akhaliq/GFPGAN
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。