IT之家 7 月 26 日消息，智譜 AI 今日宣布，對(duì)視頻生成模型進(jìn)行全新升級(jí)，并正式推出新一代產(chǎn)品 ——CogVideoX。
CogVideoX 模型目前已在智譜清言的 PC 端、移動(dòng)應(yīng)用端以及小程序端正式上線。所有 C 端用戶均可通過智譜清言的 AI 視頻生成功能「清影」（Ying），免費(fèi)體驗(yàn) AI 文本生成視頻和圖像生成視頻的服務(wù)。
據(jù)介紹，CogVideoX 的核心技術(shù)特點(diǎn)如下：
針對(duì)內(nèi)容連貫性問題，智譜 AI 自主研發(fā)了一套高效的三維變分自編碼器結(jié)構(gòu)（3D VAE）。該結(jié)構(gòu)能夠?qū)⒃家曨l數(shù)據(jù)壓縮至原始大小的 2%，降低了視頻擴(kuò)散生成模型的訓(xùn)練成本和難度。結(jié)合 3D RoPE 位置編碼模塊，該技術(shù)提升了在時(shí)間維度上對(duì)幀間關(guān)系的捕捉能力，從而建立了視頻中的長(zhǎng)期依賴關(guān)系。
在可控性方面，智譜 AI 打造了一款端到端的視頻理解模型，該模型能夠?yàn)榇罅恳曨l數(shù)據(jù)生成描述。這一創(chuàng)新增強(qiáng)了模型對(duì)文本的理解和對(duì)指令的遵循能力，確保生成的視頻更加符合用戶的輸入需求，并能夠處理超長(zhǎng)且復(fù)雜的 prompt 指令。
模型采納了一種將文本、時(shí)間、空間三維一體融合的 transformer 架構(gòu)。該架構(gòu)摒棄了傳統(tǒng)的 cross attention 模塊，設(shè)計(jì)了 Expert Block 以實(shí)現(xiàn)文本與視頻兩種不同模態(tài)空間的對(duì)齊，并通過 Full Attention 機(jī)制優(yōu)化模態(tài)間的交互效果。
「清影」的主要特點(diǎn)如下：
快速生成：僅需 30 秒即可完成 6 秒視頻的生成。
高效的指令遵循能力：即使是復(fù)雜的 prompt，清影也能準(zhǔn)確理解并執(zhí)行。
內(nèi)容連貫性：生成的視頻能夠較好地還原物理世界中的運(yùn)動(dòng)過程。
畫面調(diào)度靈活性：例如，鏡頭能夠流暢地跟隨畫面中的三只狗狗移動(dòng)。
此外，智譜大模型開放平臺(tái) bigmodel.cn 也部署了「清影」。企業(yè)和開發(fā)者可通過 API 調(diào)用式，體驗(yàn)并使用「清影」的文本生成視頻和圖像生成視頻功能。
IT之家附智譜官網(wǎng)鏈接：https://chatglm.cn/video
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。