四位美少女，帶著 AI 畫畫在 ChatGPT 的熱浪中殺出了一片天地。
新“魔法”一出，瞬間吸引全場目光：
原本是一張四個閨蜜在沙灘邊上的普通合影照：
在新魔法的加持下，“啪的一下”畫風(fēng)兩極反轉(zhuǎn)，瞬間進(jìn)入唯美動漫風(fēng)：
還有效果截然不同的，例如醬紫：
不僅是動漫畫風(fēng)效果上的驚艷，就連人物的 pose 也是保持的“原汁原味”，美女們這下子算是分分鐘實現(xiàn)了動漫自由。
如此效果一出，也是引來了不少網(wǎng)友們的圍觀，直呼“在線求教程”：
也有不少人呼吁可以將這套玩法商業(yè)化了：
兩大 AI 高手聯(lián)動
使出這套 AI 組合拳的，是一位叫“viggo”的華人小哥博主。
他所持的兩大法寶分別是：左手 StableDiffusion，右手 ControlNet。
StableDiffusion，相信很多友友們都已經(jīng)很熟悉了，是根據(jù)輸入提示的文本，就可以快速出圖的 AI 作畫神器。
ControlNet，則是新晉當(dāng)紅 AI 插件（GitHub 上線 2 天狂攬 4.6K 星），相當(dāng)于給 AI 作畫這事加了 buff，可以精準(zhǔn)控制手部細(xì)節(jié)和整體結(jié)構(gòu)等。
小哥的做法說起也是比較簡單，就是先將原圖導(dǎo)入進(jìn)去，用 StableDiffusion 圖片轉(zhuǎn)文字。
再用 Text2Prompt 插件拓展找到對應(yīng)的關(guān)鍵詞；最后用 ControlNet 插件綁定骨骼開始換關(guān)鍵詞試效果。
當(dāng)然，原圖中四位美女的姿勢，也可以根據(jù)小哥繪制骨骼結(jié)構(gòu)的不同發(fā)生相應(yīng)的改變。例如這樣的：
相比原圖中人物的位置，上面這張中的人物更分散了一些，也站到了一排；以及上半身手臂的姿勢也發(fā)生了變化。
也是得益于 StableDiffusion 的能力，AI 生成畫作在畫風(fēng)上也能產(chǎn)出截然不同的效果：
效果之驚艷，已經(jīng)有網(wǎng)友按耐不住，照著小哥的說法“復(fù)現(xiàn)”了一遍，并表示：
第一次接觸，很好玩，嘗試復(fù)現(xiàn)下，感覺良好。
不過有一說一，這位新晉 AI 作畫頂流插件 ControlNet 的“神通”可不僅于此。
簡單幾筆也可畫出真人效果
例如微博博主“海辛 Hyacinth”便分享了他用 ControlNet 插件后“草圖變美女”的玩法。
他先是繪制了一張線稿：
然后是開啟了 ControlNet 的 scribble 模細(xì)化效果，便得到了這樣的結(jié)果：
效果之逼真，也是令人嘆服了。
“海辛 Hyacinth”還測試了在同一 seed 下不同參數(shù)的效果：
有小伙伴就要問了，那如果關(guān)閉了 ControlNet，效果會如何？別急，博主也做了測試，效果是這樣的：
“海辛 Hyacinth”的這波操作也是得到了 ControlNet 作者的認(rèn)可：
這也把博主本人激動壞了，直呼“尖叫”：
當(dāng)然，ControlNet 還可以實現(xiàn)其它諸多的功能，例如在裝修設(shè)計上，可以輸入一張拍好的臥室圖，分分鐘輸出草圖和換了風(fēng)格的效果圖：
以及在 ControlNet 的在線網(wǎng)站中，也提供了許多不同功能玩法體驗，感興趣的小伙伴可以去嘗試哦：
給 AI 畫畫模型加 buff
ControlNet 的原理，本質(zhì)上是給預(yù)訓(xùn)練擴(kuò)散模型增加一個額外的輸入，控制它生成的細(xì)節(jié)。
這里可以是各種類型的輸入，作者給出來的有 8 種，包括草圖、邊緣圖像、語義分割圖像、人體關(guān)鍵點特征、霍夫變換檢測直線、深度圖、人體骨骼等。
那么，讓大模型學(xué)會“按輸入條件生成圖片”的原理是什么呢？
ControlNet 整體思路和架構(gòu)分工如下：
具體來說，ControlNet 先復(fù)制一遍擴(kuò)散模型的權(quán)重，得到一個“可訓(xùn)練副本”（trainable copy）。
相比之下，原擴(kuò)散模型經(jīng)過幾十億張圖片的預(yù)訓(xùn)練，因此參數(shù)是被“鎖定”的。而這個“可訓(xùn)練副本”只需要在特定任務(wù)的小數(shù)據(jù)集上訓(xùn)練，就能學(xué)會條件控制。
據(jù)作者表示，即使數(shù)據(jù)量很少（不超過 5 萬張圖片），模型經(jīng)過訓(xùn)練后條件控制生成的效果也很好。
“鎖定模型”和“可訓(xùn)練副本”通過一個 1×1 的卷積層連接，名叫“0 卷積層”。
0 卷積層的權(quán)重和偏置初始化為 0，這樣在訓(xùn)練時速度會非常快，接近微調(diào)擴(kuò)散模型的速度，甚至在個人設(shè)備上訓(xùn)練也可以。
例如一塊英偉達(dá) RTX 3090TI，用 20 萬張圖像數(shù)據(jù)訓(xùn)練的話只需要不到一個星期：
作者基于當(dāng)前大火的 Stable Diffusion 進(jìn)行了具體實現(xiàn)，主要架構(gòu)如下：
針對不同的輸入，作者也給出了對應(yīng)不同的模型，生成效果也都不錯。
具體效果，就如我們剛才所展示的那樣了。
One More Thing
最后來一個溫馨提示…… 男同胞們不要覺得 2 月 14 日這個情人節(jié)過完就安全了。
接下來還可能有白色情人節(jié)（3 月 14 日）、黑色情人節(jié)（4 月 14 日）、玫瑰情人節(jié)（5 月 14 日）、親親情人節(jié)（6 月 14 日）……
趕緊把這套“AI 組合拳”學(xué)起來，送自己的老婆 / 女朋友一張唯美的禮物吧！
參考鏈接：
[1] https://twitter.com/decohack/status/1627378506857611264
[2] https://weibo.com/timerainer1015
[3] https://github.com/lllyasviel/ControlNet
[4] https://twitter.com/lvminzhang/status/1627142848788463616
本文來自微信公眾號：量子位 （ID：QbitAI），作者：金磊
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。