原文標題：《讓 AI 學會畫手的方法來了，給輸入加個 buff 就能控制生成細節(jié)，華人小哥出品丨 GitHub 4.6k 星》
給畫畫 AI 加個 buff，畫起圖像就像開了掛。
加個人體骨骼綁定 buff，Stable Diffusion 直接快進到生成 3D 動漫：
加個抽象到爆的草圖 buff，AI 變著風格生成“完全一致”的狗子：
就連號稱“AI 殺手”的手部細節(jié)，也能在控制之下畫得惟妙惟肖：
這個名叫 ControlNet 的新 AI 插件，可以說是給畫畫 AI 來了最后的“臨門一腳”——
原本 AI 無法控制的手部細節(jié)、整體架構(gòu)，有了它之后，加上 Stable Diffusion 這樣的擴散模型，足以生成任何人們想要的圖像。
發(fā)出不到兩天，ControlNet 就在 GitHub 上火了，目前已經(jīng)狂攬 4.6k 星：
△“讓我們控制擴散模型”
各種效果圖更是在推特上爆火，試玩過的網(wǎng)友直呼：
游戲結(jié)束！
所以，這個 ControlNet 究竟給擴散模型加了什么 buff？
給 AI 畫畫模型加 buff
ControlNet 的原理，本質(zhì)上是給預訓練擴散模型增加一個額外的輸入，控制它生成的細節(jié)。
這里可以是各種類型的輸入，作者給出來的有 8 種，包括草圖、邊緣圖像、語義分割圖像、人體關(guān)鍵點特征、霍夫變換檢測直線、深度圖、人體骨骼等。
那么，讓大模型學會“按輸入條件生成圖片”的原理是什么呢？
ControlNet 整體思路和架構(gòu)分工如下：
具體來說，ControlNet 先復制一遍擴散模型的權(quán)重，得到一個“可訓練副本”（trainable copy）。
相比之下，原擴散模型經(jīng)過幾十億張圖片的預訓練，因此參數(shù)是被“鎖定”的。而這個“可訓練副本”只需要在特定任務的小數(shù)據(jù)集上訓練，就能學會條件控制。
據(jù)作者表示，即使數(shù)據(jù)量很少（不超過 5 萬張圖片），模型經(jīng)過訓練后條件控制生成的效果也很好。
“鎖定模型”和“可訓練副本”通過一個 1×1 的卷積層連接，名叫“0 卷積層”。
0 卷積層的權(quán)重和偏置初始化為 0，這樣在訓練時速度會非?？欤咏⒄{(diào)擴散模型的速度，甚至在個人設(shè)備上訓練也可以。
例如一塊英偉達 RTX 3090TI，用 20 萬張圖像數(shù)據(jù)訓練的話只需要不到一個星期：
作者基于當前大火的 Stable Diffusion 進行了具體實現(xiàn)，主要架構(gòu)如下：
針對不同的輸入，作者也給出了對應不同的模型，生成效果也都不錯。
例如這是采用 Canny 邊緣檢測算法檢測出的邊緣，用于生成圖像：
這是基于霍夫變換的直線檢測算法生成的直線草圖，用于生成各種風格的室內(nèi)設(shè)計：
當然，自己作畫也可以，例如這是基于用戶草圖生成的小龜：
提取深度圖，并讓 AI 生成一幅相似的圖像，直接舉一反五：
語義分割下的游泳池圖像，不僅水里有倒影細節(jié)，建筑也變化多樣：
不過目前來看，最受歡迎的還是基于人體姿態(tài)估計算法，控制動漫人物的動作生成：
看到這里，是不是已經(jīng)有了大膽的想法？（手動狗頭）
曾開發(fā)爆火 AI 上色插件
這個項目的作者 Lvmin Zhang，2021 年本科畢業(yè)于東吳大學，目前在斯坦福大學讀博。
他最出名的項目之一，是 2017 年開發(fā)的 AI 上色插件 style2paints，目前 GitHub 上已經(jīng)有 15.9k 星。
style2paints 也經(jīng)過了好幾次迭代，目前即將更新到第五版。
這是第四版的效果，只需要線稿，AI 就能自動給你的圖像完成上色：
除了這個項目以外，他也是 CV 頂會的?？土?。
One More Thing
值得一提的是，現(xiàn)在已經(jīng)有基于 ControlNet 的國內(nèi)產(chǎn)品上線了。
這個產(chǎn)品名叫稿定 AI，包含照片轉(zhuǎn)插畫、插畫線稿上色、插畫優(yōu)化翻新等功能，正是基于 ControlNet 打造。
作畫效果大概是醬嬸的：
感興趣的小伙伴們可以去試玩一波了~
項目地址：
https://github.com/lllyasviel/ControlNet
參考鏈接：
[1]https://lllyasviel.github.io/Style2PaintsResearch/
[2]https://twitter.com/search?q=controlnet&src=typed_query
[3]https://www.gaoding.com/ai
本文來自微信公眾號：量子位 （ID：QbitAI），作者：蕭簫
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。