IT之家 10 月 14 日消息，智譜技術(shù)團(tuán)隊(duì)今天宣布開源文生圖模型 CogView3 及 CogView3-Plus-3B ，該系列模型的能力已經(jīng)上線“智譜清言”App。
據(jù)介紹，CogView3 是一個(gè)基于級(jí)聯(lián)擴(kuò)散的 text2img 模型，其包含如下三個(gè)階段：
第一階段：利用標(biāo)準(zhǔn)擴(kuò)散過程生成 512x512 低分辨率的圖像。
第二階段：利用中繼擴(kuò)散過程，執(zhí)行 2 倍的超分辨率生成，從 512x512 輸入生成 1024x1024 的圖像。
第三階段：將生成結(jié)果再次基于中繼擴(kuò)散迭代，生成 2048×2048 高分辨率的圖像。
官方表示，在實(shí)際效果上，CogView3 在人工評(píng)估中比目前最先進(jìn)的開源文本到圖像擴(kuò)散模型 SDXL 高出 77.0%，同時(shí)只需要 SDXL 大約 1/10 的推理時(shí)間。
CogView3-Plus 模型則在 CogView3（ECCV'24）的基礎(chǔ)上引入了最新的 DiT 框架，以實(shí)現(xiàn)整體性能的進(jìn)一步提升。據(jù)介紹，其采用 Zero-SNR 擴(kuò)散噪聲調(diào)度，并引入了文本-圖像聯(lián)合注意力機(jī)制。與常用的 MMDiT 結(jié)構(gòu)相比，它在保持模型基本能力的同時(shí)，有效降低訓(xùn)練和推理成本。CogView-3Plus 使用潛在維度為 16 的 VAE。
IT之家附地址如下：
開源倉(cāng)庫(kù)地址：
https://github.com/THUDM/CogView3
Plus 開源模型倉(cāng)庫(kù)：
https://huggingface.co/THUDM/CogView3-Plus-3B
https://modelscope.cn/models/ZhipuAI/CogView3-Plus-3B
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。