谷歌的新 AI 模型，直接解決了 AI 換裝的兩大難題 —— 既保留衣服細(xì)節(jié)，又能隨意換姿勢。以后再剁手，恐怕要更容易了！
一鍵換裝，被谷歌給實(shí)現(xiàn)了！
這個 AI 試衣模型 TryOnDiffusion，你只要給它一張自己的全身照，和服裝模特的照片，就能知道自己穿上這件衣服之后是什么樣子了。
主打的就是一個真實(shí)。所以，是真人版奇跡暖暖吧？
按說，各種換裝的 AI 早就有不少了，谷歌的這個 AI 模型究竟有何突破呢？
關(guān)鍵就在于，他們提出了一種基于擴(kuò)散的框架，把兩個 Parallel-Unet 統(tǒng)一了起來。
在以前，這種模型的關(guān)鍵挑戰(zhàn)就在于，如何既保留衣服細(xì)節(jié)，又能將衣服變形，同時還能適應(yīng)不同主體的姿勢和形狀，讓人感覺不違和。
以前的方法無法同時做到這兩點(diǎn)，要么只能保留衣服細(xì)節(jié)，但無法處理姿勢和形狀的變化，要么就是可以換姿勢，但服裝細(xì)節(jié)會缺失。
而 TryOnDiffusion 因?yàn)榻y(tǒng)一了兩個 UNet，就能夠在單個網(wǎng)絡(luò)中保留衣服細(xì)節(jié)，并且對衣服進(jìn)行重要的姿勢和身體變化。
可以看到，衣服在人物上的變形極其自然，并且衣服的細(xì)節(jié)也還原得非常到位。
話不多說，讓我們直接看看，谷歌的這個「AI 試穿」到底有多厲害！
用 AI 生成試穿圖像
具體來說，Virtual Try-On（VTO）可以向顧客展示衣服在不同體型和尺寸的真實(shí)模特身上的效果。
虛擬服裝試穿中，有許多微妙但對于來說至關(guān)重要的細(xì)節(jié)，比如衣服的垂墜、折疊、緊貼、伸展和起皺的效果。
此前已有的技術(shù)，比如 geometric warping（幾何變形），可以對服裝圖像進(jìn)行剪切和粘貼，然后對其進(jìn)行變形以適配身體的輪廓。
但這些功能，很難讓衣服妥帖地適應(yīng)身體，并且會存在一些視覺缺陷，比如錯位的褶皺，會讓衣服看起來畸形和不自然。
因此，谷歌的研究者致力于從頭開始生成服裝的每個像素，以生成高質(zhì)量、逼真的圖像。
他們采用的技術(shù)是一種全新的基于 Diffusion 的 AI 模型，TryOnDiffusion。
擴(kuò)散是逐漸向圖像添加額外像素（或「噪聲」），直到它變得無法識別，然后完全消除噪聲，直到原始圖像以完美的質(zhì)量重建。
像 Imagen 這樣的文本到圖像模型，就是使用的來自大語言模型 LLM 的擴(kuò)散加文本，可以僅根據(jù)輸入的文本，就能生成逼真的圖像。
在 TryOnDiffusion 中，不需要使用文字，而是使用一組成對的圖片：一張圖片是衣服（或者穿著衣服的模特），一張圖片是模特。
每張圖片都會被發(fā)送到自己的神經(jīng)網(wǎng)絡(luò)（U-net），并通過被稱為「交叉注意力」的過程來相互共享信息，輸出新的穿著這件衣服的模特的逼真圖像。
這種基于圖像的 Diffusion 和交叉注意力的結(jié)合技術(shù)，構(gòu)成了這個 AI 模型的核心。
海量高質(zhì)量數(shù)據(jù)訓(xùn)練
谷歌為了使 VTO 功能盡可能提供真實(shí)的效果并且真的能幫助用戶挑選衣服，對這個 AI 模型進(jìn)行了大量的訓(xùn)練。
但是，谷歌沒有使用大語言模型來訓(xùn)練它，而是利用了谷歌的購物圖。
這個數(shù)據(jù)集擁有全世界最全面，同時也是最新的產(chǎn)品、賣家、品牌、評論和庫存數(shù)據(jù)。
谷歌使用了多對圖像訓(xùn)練模型，每對圖像由兩種不同姿勢的穿著衣服的模特圖組成。
比如，一個穿著襯衫的人側(cè)身站立的圖像和另一個向前站立的圖像。
在這對訓(xùn)練圖像中，模型學(xué)習(xí)將側(cè)身姿勢的襯衫形狀與面朝前姿勢的圖相匹配。
反過來也一樣，直到它可以從各個角度生成該人穿著襯衫的逼真圖像。
為了追求更好的效果，谷歌使用數(shù)百萬不同服裝和人物的隨機(jī)圖像對多次重復(fù)了這個過程。
結(jié)果就是我們在文章開頭的圖片呈現(xiàn)出來的效果。
總之，TryOnDiffusion 既保留了衣服的細(xì)節(jié)效果，也適配了新模特的身材和姿勢，谷歌的技術(shù)做到了二者兼得，效果相當(dāng)逼真。
技術(shù)細(xì)節(jié)
在一張展示一個模特的身體的圖片，另一張展示另一個穿著某件衣服的模特的圖片的條件下，TryOnDiffusion 的目標(biāo)是生成一個展示這件服裝在這個人身上可能會呈現(xiàn)的具體的視覺效果。
解決這個問題最關(guān)鍵的難點(diǎn)在于，保持服裝細(xì)節(jié)逼真的同時，將服裝進(jìn)行適當(dāng)?shù)淖冃我赃m應(yīng)不同模特之間的姿勢和體型的變化。
先前的方法要么著重于保留服裝細(xì)節(jié)，但無法有效處理姿勢和形狀的變化。
要么允許根據(jù)期望的體型和姿勢呈現(xiàn)出了試穿效果，但缺乏服裝的細(xì)節(jié)。
谷歌提出了一種基于 Diffusion 的架構(gòu)，將兩個 UNet（稱為 Parallel-UNet）合二為一，谷歌能夠在單個網(wǎng)絡(luò)中保留服裝細(xì)節(jié)并對服裝的試穿效果進(jìn)行明顯的姿勢和身體變化。
Parallel-UNet 的關(guān)鍵思想包括：
1）通過交叉注意機(jī)制隱式地為服裝制作褶皺；
2）服裝的褶皺和人物的融合作為一個統(tǒng)一的過程，而不是兩個獨(dú)立任務(wù)的序列。
實(shí)驗(yàn)結(jié)果表明，TryOnDiffusion 在定性和定量上均達(dá)到了最先進(jìn)的性能水平。
具體的實(shí)現(xiàn)方式如下圖所示。
在預(yù)處理步驟中，目標(biāo)人物從人物圖像中被分割出來，創(chuàng)建「無服裝 RGB」圖像，目標(biāo)服裝從服裝圖像中分割出來，并為人物和服裝圖像計算姿勢。
這些信息輸入被帶入 128×128 Parallel-UNet（關(guān)鍵步驟）以創(chuàng)建 128x128 的試穿圖像，該圖像與試穿條件的輸入一起作為輸入進(jìn)一步發(fā)送到 256×256 Parallel-UNet 中。
再把 256×256 Parallel-UNet 的輸出內(nèi)容被發(fā)送到標(biāo)準(zhǔn)超分辨率擴(kuò)散（super resolution diffusion）來創(chuàng)建 1024×1024 的圖像。
而在上面整個流程中最為重要的 128×128 Parallel-UNet 的構(gòu)架和處理過程，如下圖所示。
將與服裝無關(guān)的 RGB 和噪聲圖像輸入頂部的 person-UNet 中。
由于兩個輸入內(nèi)容都是按像素對齊的，在 UNet 處理開始時直接沿著通道維度（channel demension）將兩個圖像連接起來。
由于兩個輸入都是按像素對齊的，我們在 UNet 處理開始時直接沿著通道維度將它們連接起來。
將分割后的服裝圖像輸入位于底部的 garment-UNet。
服裝的特征通過交叉注意（cross attention）融合到目標(biāo)圖像之中。
為了保存模型參數(shù)，谷歌研究人員在 32×32 上采樣（Upsampling）之后提前停止了 garment-UNet，此時 person-UNet 中的最終交叉注意力模塊（final cross attention module）已經(jīng)完成。
人和衣服的姿勢首先被送入線性層以分別計算姿勢嵌入。
然后通過注意力機(jī)制將姿勢嵌入融合到 person-UNet 中。
此外，它們被用在使用 FiLM 在所有規(guī)模上調(diào)制兩個 UNet 的特征。
與主流技術(shù)的對比
下圖從左到右依次是「輸入，TryOnGAN，SDAFN，HR-VITON，谷歌的方法」。
局限性
不過 TryOnDiffusion 存在一些局限性。
首先，在預(yù)處理過程中，如果分割圖和姿勢估計存在錯誤，谷歌的方法可能會出現(xiàn)服裝泄漏的瑕疵。
幸運(yùn)的是，近年來這方面的準(zhǔn)確性已經(jīng)大大提高，這種情況并不經(jīng)常發(fā)生。
其次，不包括關(guān)服裝的 RGB 來顯示身體的效果并不理想，因?yàn)橛袝r它可能只能保留身份的一部分。
例如紋身在這種情況下會不可見，某些的肌肉結(jié)構(gòu)也會不可見。
第三，我們的訓(xùn)練和測試數(shù)據(jù)集通常都會具有干凈統(tǒng)一的背景，因此無法確定該方法在更復(fù)雜的背景下的表現(xiàn)如何。
第四，我們不能保證服裝在模特身上是否真的合身，只關(guān)注試穿的視覺效果。
最后，本研究側(cè)重于上半身的服裝，谷歌還沒有對全身試穿效果進(jìn)行實(shí)驗(yàn)，未來會進(jìn)一步對全身效果進(jìn)行研究。
參考資料：
https://blog.google/products/shopping/virtual-try-on-google-generative-ai/?continueFlag=3bff5717caf44179385521a75a571d04
本文來自微信公眾號：新智元 （ID：AI_era）
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。