IT之家 10 月 21 日消息，智源研究院今日發(fā)布原生多模態(tài)世界模型 Emu3。該模型只基于下一個(gè) token 預(yù)測(cè)，無(wú)需擴(kuò)散模型或組合方法，即可完成文本、圖像、視頻三種模態(tài)數(shù)據(jù)的理解和生成。官方宣稱實(shí)現(xiàn)圖像、文本、視頻大一統(tǒng)。
在圖像生成任務(wù)中，基于人類偏好評(píng)測(cè)，Emu3 優(yōu)于 SD-1.5 與 SDXL 模型。在視覺(jué)語(yǔ)言理解任務(wù)中，對(duì)于 12 項(xiàng)基準(zhǔn)測(cè)試的平均得分，Emu3 優(yōu)于 LlaVA-1.6。在視頻生成任務(wù)中，對(duì)于 VBench 基準(zhǔn)測(cè)試得分，Emu3 優(yōu)于 OpenSora 1.2。
據(jù)介紹，Emu3 提供了一個(gè)強(qiáng)大的視覺(jué) tokenizer，能夠?qū)⒁曨l和圖像轉(zhuǎn)換為離散 token。這些視覺(jué)離散 token 可以與文本 tokenizer 輸出的離散 token 一起送入模型中。與此同時(shí)，該模型輸出的離散 token 可以被轉(zhuǎn)換為文本、圖像和視頻，為 Any-to-Any 的任務(wù)提供了更加統(tǒng)一的研究范式。
Emu3 研究結(jié)果證明，下一個(gè) token 預(yù)測(cè)可以作為多模態(tài)模型的一個(gè)強(qiáng)大范式，實(shí)現(xiàn)超越語(yǔ)言本身的大規(guī)模多模態(tài)學(xué)習(xí)，并在多模態(tài)任務(wù)中實(shí)現(xiàn)先進(jìn)的性能。通過(guò)將復(fù)雜的多模態(tài)設(shè)計(jì)收斂到 token 本身，能在大規(guī)模訓(xùn)練和推理中釋放巨大的潛力。
目前 Emu3 已開(kāi)源了關(guān)鍵技術(shù)和模型，IT之家附鏈接如下：
項(xiàng)目頁(yè)面：https://emu.baai.ac.cn/
模型：https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。