IT之家 11 月 4 日消息，騰訊 AI 實驗室近日推出了漸進式條件擴散模型（PCDMs），在姿態(tài)引導人物圖像合成方面取得重大突破。
PCDMs 由先驗條件擴散模型、修復條件擴散模型和完善條件擴散模型三個關鍵階段組成，解決了應對源圖像與目標圖像的姿態(tài)不一致問題，以及在生成高質(zhì)量、逼真圖像方面的挑戰(zhàn)。
PCDMs 在 DeepFashion 和 Market1501 數(shù)據(jù)集上的各項指標，明顯優(yōu)于其他 SOTA 方法，且在小尺度數(shù)據(jù)集 Market1501（128*64）上的 SSIM 指標得到最高的 0.3169，比第二名 PIDM 高出 3.8%。
在先驗條件擴散模型第一階段，在給定源圖像和姿勢坐標作為條件的情況下，先驗條件擴散模型采用一個變換網(wǎng)絡來預測目標姿勢下的全局特征。
在修復條件擴散模型第二階段，進一步完善第一階段的全局特征，建立源圖像和目標圖像之間密集對應關系，該階段可確?？缍鄠€維度（包括圖像、姿勢和特征）進行對齊，對于實現(xiàn)逼真的結(jié)果至關重要。
在完善條件擴散模型第三階段：在前一階段生成初始粗粒度目標圖像后，細化條件擴散模型介入以提高圖像質(zhì)量和紋理細節(jié)。
此階段利用先前生成的粗粒度圖像作為條件，進一步提高圖像保真度并確保紋理一致性，涉及修改第一個卷積層，并使用圖像編碼器從源圖像中提取特征。采用交叉注意力機制將紋理特征注入網(wǎng)絡，便于紋理修復和細節(jié)增強。
IT之家在此附上論文地址：https://arxiv.org/pdf/2310.06313.pdf
GitHub 地址：https://github.com/muzishen/PCDMs
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。