Stable Diffusion 也能生成視頻了！
你沒聽錯(cuò)，Stability AI 推出了一款新的文本生成動(dòng)畫工具包 Stable Animation SDK，可支持文本、文本 + 初始圖像、文本 + 視頻多種輸入方式。
使用者可以調(diào)用包括 Stable Diffusion 2.0、Stable Diffusion XL 在內(nèi)的所有 Stable Diffusion 模型，來生成動(dòng)畫。
Stable Animation SDK 的強(qiáng)大功能一經(jīng)展現(xiàn)，網(wǎng)友驚呼：
哇哦，等不及想試試了！
目前，Stability AI 疑似還在對(duì)這個(gè)新工具進(jìn)行技術(shù)優(yōu)化，不久后將公開驅(qū)動(dòng)動(dòng)畫 API 的組件源代碼。
3D 漫畫攝影風(fēng)，不限時(shí)長(zhǎng)自動(dòng)生成
Stable Animation SDK 可支持三種創(chuàng)建動(dòng)畫的方式：
1、文本轉(zhuǎn)動(dòng)畫：用戶輸入文 prompt 并調(diào)整各種參數(shù)以生成動(dòng)畫（與 Stable Diffusion 相似）。
2、文本輸入 + 初始圖像輸入：用戶提供一個(gè)初始圖像，該圖像作為動(dòng)畫的起點(diǎn)。圖像與文本 prompt 結(jié)合，生成最終的輸出動(dòng)畫。
3、視頻輸入 + 文本輸入：用戶提供一個(gè)初始視頻作為動(dòng)畫的基礎(chǔ)。通過調(diào)整各種參數(shù)，根據(jù)文本 prompt 生成最終的輸出動(dòng)畫。
除此之外，Stable Animation SDK 對(duì)生成視頻的時(shí)長(zhǎng)沒有限制，但是長(zhǎng)視頻將需要更長(zhǎng)的時(shí)間來生成。
Stability AI 發(fā)布了 Stable Animation SDK 后，有很多網(wǎng)友分享了自己測(cè)試效果，讓我們一起看下吧：
Stable Animation SDK 可以設(shè)置許多參數(shù)，例如 steps、sampler、scale、seed。
還有下面這么多的預(yù)設(shè)風(fēng)格可選擇：
3D 模型、仿真膠片、動(dòng)漫、電影、漫畫書、數(shù)碼藝術(shù)、增強(qiáng)幻想藝術(shù)、等距投影、線稿、低多邊形、造型膠土、霓虹朋克、折紙、攝影、像素藝術(shù)。
目前，動(dòng)畫功能 API 的使用是以積分計(jì)費(fèi)的，10 美元可抵 1000 積分。
使用 Stable Diffusion v1.5 模型，在默認(rèn)設(shè)置值（512x512 分辨率，30steps）下，生成 100 幀（大約 8 秒）視頻將消耗 37.5 積分。
默認(rèn)情況下，每生成 1 幀，Cadence 值設(shè)置為 1 個(gè)靜止圖像，可根據(jù)不同的動(dòng)畫模式選擇較低或較高的 Cadence 值。Cadence 值的上限是動(dòng)畫中的總幀數(shù)，即至少生成一張靜止圖像。視頻轉(zhuǎn)視頻的 Cadence 必須為 1:1。
官方也給出了一個(gè)示例，可以看出生成 100 幀標(biāo)準(zhǔn)動(dòng)畫的標(biāo)準(zhǔn)靜止圖像（512x512/768x768/1024x1024，30 steps），隨著 Cadence 值變化，積分的使用情況：
簡(jiǎn)單來說，受參數(shù)、時(shí)長(zhǎng)等各種因素的影響，生成視頻的費(fèi)用并不固定。
效果和價(jià)格我們都了解了，那如何安裝并調(diào)用 API 呢？
要?jiǎng)?chuàng)建動(dòng)畫并測(cè)試 SDK 的功能，只需要兩個(gè)步驟即可運(yùn)行用戶界面：
在開發(fā)應(yīng)用程序時(shí)，需要先設(shè)置一個(gè) Python 虛擬環(huán)境，并在其中安裝 Animation SDK：
具體使用說明書放在文末啦！
越發(fā)火熱的視頻生成
最近，視頻生成領(lǐng)域變得越來越熱鬧了。
比如，AI 視頻生成新秀 Gen-2 內(nèi)測(cè)作品流出，網(wǎng)友看完作品直呼：太不可思議了！
Gen-2 的更新更是一口氣帶來了八大功能：
文生視頻、文本 + 參考圖像生視頻、靜態(tài)圖片轉(zhuǎn)視頻、視頻風(fēng)格遷移、故事板（Storyboard）、Mask（比如把一只正在走路的小白狗變成斑點(diǎn)狗）、渲染和個(gè)性化（比如把甩頭小哥秒變海龜人）。
還有一位名叫 Ammaar Reshi 的灣區(qū)設(shè)計(jì)師用 ChatGPT 和 MidJourney 兩個(gè)生成 AI 模型，成功做出一部蝙蝠俠的動(dòng)畫小電影，效果也是非常不錯(cuò)。
自 Stable Diffusion 開源后，一些開發(fā)者通過 Google Colab 等形式分享了各種魔改后的功能，自動(dòng)生成動(dòng)畫功能一步步被開發(fā)出來。
像國(guó)外視頻特效團(tuán)隊(duì) Corridor，他們基于 Stable Diffusion，對(duì) AI 進(jìn)行訓(xùn)練，最終能讓 AI 把真人視頻轉(zhuǎn)換為動(dòng)畫版本……
大家在對(duì)新工具的出現(xiàn)興奮不已的同時(shí)，也有網(wǎng)友對(duì) Stable Animation SDK 生成的視頻所展現(xiàn)出的效果發(fā)出質(zhì)疑:
這與 deforum 有什么區(qū)別？沒有時(shí)間線都不連貫，只有非常松散的一幀接一幀的圖像。
那么你玩過這些工具了嗎？感覺效果如何？
傳送門：
https://platform.stability.ai/ docs / features / animation / using（Stable Animation SDK 使用說明書）
參考鏈接：
[1]https://www.youtube.com/watch?v=xsoMk1EJoAY
[2]https://twitter.com/_akhaliq/status/1656693639085539331
[3]https://stability.ai/blog/stable-animation-sdk
本文來自微信公眾號(hào)：量子位 （ID：QbitAI），作者：西風(fēng)
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。