Stable Diffusion 也能生成視頻了！
你沒聽錯，Stability AI 推出了一款新的文本生成動畫工具包 Stable Animation SDK，可支持文本、文本 + 初始圖像、文本 + 視頻多種輸入方式。
使用者可以調用包括 Stable Diffusion 2.0、Stable Diffusion XL 在內的所有 Stable Diffusion 模型，來生成動畫。
Stable Animation SDK 的強大功能一經展現(xiàn)，網友驚呼：
哇哦，等不及想試試了！
目前，Stability AI 疑似還在對這個新工具進行技術優(yōu)化，不久后將公開驅動動畫 API 的組件源代碼。
3D 漫畫攝影風，不限時長自動生成
Stable Animation SDK 可支持三種創(chuàng)建動畫的方式：
1、文本轉動畫：用戶輸入文 prompt 并調整各種參數以生成動畫（與 Stable Diffusion 相似）。
2、文本輸入 + 初始圖像輸入：用戶提供一個初始圖像，該圖像作為動畫的起點。圖像與文本 prompt 結合，生成最終的輸出動畫。
3、視頻輸入 + 文本輸入：用戶提供一個初始視頻作為動畫的基礎。通過調整各種參數，根據文本 prompt 生成最終的輸出動畫。
除此之外，Stable Animation SDK 對生成視頻的時長沒有限制，但是長視頻將需要更長的時間來生成。
Stability AI 發(fā)布了 Stable Animation SDK 后，有很多網友分享了自己測試效果，讓我們一起看下吧：
Stable Animation SDK 可以設置許多參數，例如 steps、sampler、scale、seed。
還有下面這么多的預設風格可選擇：
3D 模型、仿真膠片、動漫、電影、漫畫書、數碼藝術、增強幻想藝術、等距投影、線稿、低多邊形、造型膠土、霓虹朋克、折紙、攝影、像素藝術。
目前，動畫功能 API 的使用是以積分計費的，10 美元可抵 1000 積分。
使用 Stable Diffusion v1.5 模型，在默認設置值（512x512 分辨率，30steps）下，生成 100 幀（大約 8 秒）視頻將消耗 37.5 積分。
默認情況下，每生成 1 幀，Cadence 值設置為 1 個靜止圖像，可根據不同的動畫模式選擇較低或較高的 Cadence 值。Cadence 值的上限是動畫中的總幀數，即至少生成一張靜止圖像。視頻轉視頻的 Cadence 必須為 1:1。
官方也給出了一個示例，可以看出生成 100 幀標準動畫的標準靜止圖像（512x512/768x768/1024x1024，30 steps），隨著 Cadence 值變化，積分的使用情況：
簡單來說，受參數、時長等各種因素的影響，生成視頻的費用并不固定。
效果和價格我們都了解了，那如何安裝并調用 API 呢？
要創(chuàng)建動畫并測試 SDK 的功能，只需要兩個步驟即可運行用戶界面：
在開發(fā)應用程序時，需要先設置一個 Python 虛擬環(huán)境，并在其中安裝 Animation SDK：
具體使用說明書放在文末啦！
越發(fā)火熱的視頻生成
最近，視頻生成領域變得越來越熱鬧了。
比如，AI 視頻生成新秀 Gen-2 內測作品流出，網友看完作品直呼：太不可思議了！
Gen-2 的更新更是一口氣帶來了八大功能：
文生視頻、文本 + 參考圖像生視頻、靜態(tài)圖片轉視頻、視頻風格遷移、故事板（Storyboard）、Mask（比如把一只正在走路的小白狗變成斑點狗）、渲染和個性化（比如把甩頭小哥秒變海龜人）。
還有一位名叫 Ammaar Reshi 的灣區(qū)設計師用 ChatGPT 和 MidJourney 兩個生成 AI 模型，成功做出一部蝙蝠俠的動畫小電影，效果也是非常不錯。
自 Stable Diffusion 開源后，一些開發(fā)者通過 Google Colab 等形式分享了各種魔改后的功能，自動生成動畫功能一步步被開發(fā)出來。
像國外視頻特效團隊 Corridor，他們基于 Stable Diffusion，對 AI 進行訓練，最終能讓 AI 把真人視頻轉換為動畫版本……
大家在對新工具的出現(xiàn)興奮不已的同時，也有網友對 Stable Animation SDK 生成的視頻所展現(xiàn)出的效果發(fā)出質疑:
這與 deforum 有什么區(qū)別？沒有時間線都不連貫，只有非常松散的一幀接一幀的圖像。
那么你玩過這些工具了嗎？感覺效果如何？
傳送門：
https://platform.stability.ai/ docs / features / animation / using（Stable Animation SDK 使用說明書）
參考鏈接：
[1]https://www.youtube.com/watch?v=xsoMk1EJoAY
[2]https://twitter.com/_akhaliq/status/1656693639085539331
[3]https://stability.ai/blog/stable-animation-sdk
本文來自微信公眾號：量子位 （ID：QbitAI），作者：西風
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。