給灰突突的 3D 模型加“新皮膚”，這事兒能有多簡單？
現(xiàn)在，只需要一句話就能搞定。
一個普通小臺燈，給個“Brick Lamp”的描述，瞬間變“磚塊燈”：
一匹灰色小馬，加上“Astronaut Horse”，搖身一變就成了“宇航馬”：
操作簡單不說，每一個角度上的細節(jié)和紋理也都呈現(xiàn)出來了。
這就是用一個專門給 3D 物體“換皮膚”的模型 Text2Mesh 做出來的，由芝加哥大學和特拉維夫大學聯(lián)合打造。
一句話給 3D 物體“換皮膚”
Text2Mesh 模型的輸入只需一個 3D Mesh（無論原始圖像質(zhì)量高低），外加一句文字描述。
具體變換過程如下：
輸入的原始網(wǎng)格模型 mesh，頂點 V∈Rn×3，表面 F∈{1, . . . , n}m×3，它們在整個訓練過程中固定不變。
然后再構(gòu)造一個神經(jīng)風格（neural style）網(wǎng)絡，為 mesh 每個頂點生成一個樣式屬性，后續(xù)好在整個表面上定義風格。
具體來說，該網(wǎng)絡將網(wǎng)格表面 p∈V 上的點映射成相應的 RGB 顏色，并沿法線方向位移，生成一個風格化了的初始 mesh。
接著從多個視圖對這個 mesh 進行渲染。
再使用 CLIP 嵌入的 2D 增強技術(shù)讓結(jié)果更逼真。
在這個過程中，渲染圖像和文本提示之間的 CLIP 相似性得分，會被作為更新神經(jīng)網(wǎng)絡權(quán)重的信號。
整個 Text2Mesh 不需要預訓練，也不需要專門的 3D Mesh 數(shù)據(jù)集，更無需進行 UV 參數(shù)化（將三角網(wǎng)格展開到二維平面）。
具體效果如何？
Text2Mesh 在單個 GPU 上訓練的時間只需不到 25 分鐘，高質(zhì)量的結(jié)果可以在 10 分鐘之內(nèi)出現(xiàn)。
它可以生成各種風格，并且細節(jié)還原非常到位：
再比如下面這個，不管是變雪人、忍者、蝙蝠俠、綠巨人，還是喬布斯、梅西、律師…… 衣服的褶皺、配飾、肌肉、發(fā)絲…… 等細節(jié)都可以生動呈現(xiàn)。
研究人員還設計了一個用戶調(diào)查，將 Text2Mesh 與基線方法 VQGAN 相比。
評分涉及三個問題：1、生成的結(jié)果自然程度；2、文本與結(jié)果的匹配度；3、結(jié)果與原始圖像的匹配度。
57 名用戶打分后，得出的結(jié)果如下：
Text2Mesh 在每一項上得分都比 VQGAN 高。
此外，在更復雜、更特殊的文本描述之下，Text2Mesh 也能 hold 住。
比如“由鉤針編織成的閃亮的金色衣服熨斗”：
“帶波紋金屬的藍鋼 luxo 臺燈”：
更厲害的是，Text2Mesh 模型還可以直接使用圖片驅(qū)動。
比如就給一張仙人掌的照片，也能直接把原始灰色的 3D 小豬變成“仙人掌風格”：
One More Thing
Text2Mesh 代碼已開源，在 Kaggle Notebook 上也有人上傳了 demo。感興趣的便朋友可以一試：
最后，大家知道這是只啥么？
demo 地址：
https://www.kaggle.com/neverix/text2mesh/
論文：
https://arxiv.org/abs/2112.03221
代碼：
https://github.com/threedle/text2mesh
參考鏈接：
https://threedle.github.io/text2mesh/
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。