動(dòng)漫、藝術(shù)作品里的人物，他們極具張力的形象往往給人們留下深刻的印象。
但如果說現(xiàn)在，你也可擁有他們的同款造型呢？
沒錯(cuò)，依舊來自是“無所不能”的對抗生成網(wǎng)絡(luò)（Generative Adversarial Network，以下簡稱為 GAN）。
只要把你 pick 好的形象“投喂”進(jìn)去，接下來妝發(fā)的工作交給它就行了：
紅的、黃的、藍(lán)的、白的…… 發(fā)色隨意改變，風(fēng)格也隨之變換。
這就是來自快手的 BlendGAN，而且這項(xiàng)工作還被頂會(huì) NeurIPS 2021 接收。
而與以往“變妝”GAN 不同的是，BlendGAN 號(hào)稱能駕馭的風(fēng)格是 —— 任意！
是有種“百變大咖秀”的那味了。
于是乎，這個(gè)項(xiàng)目成功在網(wǎng)上引起了眾多網(wǎng)友的圍觀。
如何絲滑變妝？
那么，怎樣擁有動(dòng)漫人物同款造型呢？
很簡單，只需要準(zhǔn)備 2 張照片：
一張生活照
一張動(dòng)漫人物造型
現(xiàn)在在 Hugging Face 里已經(jīng)有了在線可玩的 demo。
最簡單的辦法就是把這兩張照片上傳進(jìn)去，等待一會(huì)兒就可以出結(jié)果了。
當(dāng)然，稍微“技術(shù)”點(diǎn)的方法就是自己跑一遍程序了。
就在這兩天，BlendGAN 在 GitHub 上也已開源。
首先需要下載一些預(yù)訓(xùn)練模型，包括 BlendGAN 模型、PSP 編碼器模型和 Style 編碼器模型。
然后僅需幾句 Python 代碼，便可出效果。
例如用隨機(jī)人臉代碼生成圖像對，就輸入：
python generate_image_pairs.py --size 1024 --pics N_PICS --ckpt ./pretrained_models/blendgan.pt --style_img ./test_imgs/style_imgs/100036.png --outdir results/generated_pairs/reference_guided/
若是要給照片換風(fēng)格，則輸入：
python style_transfer_folder.py --size 1024 --ckpt ./pretrained_models/blendgan.pt --psp_encoder_ckpt ./pretrained_models/psp_encoder.pt --style_img_path ./test_imgs/style_imgs/ --input_img_path ./test_imgs/face_imgs/ --outdir results/style_transfer/
要生成插值視頻，則：
python gen_video.py --size 1024 --ckpt ./pretrained_models/blendgan.pt --psp_encoder_ckpt ./pretrained_models/psp_encoder.pt --style_img_path ./test_imgs/style_imgs/ --input_img_path ./test_imgs/face_imgs/ --outdir results/inter_videos/
為什么可以 hold 住任意風(fēng)格？
那么快手的這個(gè) BlendGAN，為什么可以同時(shí)駕馭這么多的風(fēng)格？
據(jù)研究介紹，團(tuán)隊(duì)首先是利用靈活的混合策略和通用的藝術(shù)數(shù)據(jù)集，來生成任意樣式化的臉。
具體來說，就是在通用藝術(shù)數(shù)據(jù)集上，訓(xùn)練一個(gè)自監(jiān)督 Style 編碼器來提取任意樣式的表示。
在生成器部分，則提出了一種叫做加權(quán)混合模塊 (WBM) 的方法，來隱式混合人臉和樣式表示，并控制任意的程式化效果。
以往諸如 StyleGAN2 在這個(gè)步驟中，不同分辨率層（resolution layer）負(fù)責(zé)生成圖像中的不同特征，而團(tuán)隊(duì)認(rèn)為它們在不同層的混合權(quán)值不應(yīng)當(dāng)是一致的。
因此，研究人員將人臉和風(fēng)格 latent 代碼轉(zhuǎn)換到它們的 W 空間，然后再由 WBM 進(jìn)行一個(gè)組合的工作。
由此得到的結(jié)果顯示，與以往方法比較，BlendGAN 能夠得到更加逼真的效果。
作者介紹
本文的通訊作者是 Li Qiang，現(xiàn)任快手 Y-tech 的算法工程師。
本科和碩士就讀于華中科技大學(xué)；博士畢業(yè)于悉尼科技大學(xué)，師從陶大程教授。
其主要研究方向?yàn)樯疃葘W(xué)習(xí)、機(jī)器學(xué)習(xí)和概率圖形模型，對卷積神經(jīng)網(wǎng)絡(luò)、深度生成模型、表示學(xué)習(xí)和結(jié)構(gòu)化預(yù)測感興趣。
最后，想試試變妝的小伙伴，可以戳下方鏈接體驗(yàn)一下。
在線試玩：點(diǎn)此直達(dá)
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。