誤會(huì)了誤會(huì)了，被傳為“Sora 作者之一”的上交大校友謝賽寧，本人緊急辟謠。
他的聲明發(fā)在其朋友圈，以及“交大校友薈”賬號(hào)交大 org 上，主要說(shuō)了幾點(diǎn)：
Sora 完全是 OpenAI 的工作，和謝賽寧本人一點(diǎn)關(guān)系沒(méi)有。
但他后面將在紐約大學(xué)開(kāi)展相關(guān)研究
要開(kāi)發(fā) Sora 這樣的成果，人才第一，數(shù)據(jù)第二，算力第三。
《黑鏡》等科幻作品里的部分故事可能很快成為現(xiàn)實(shí)，需要準(zhǔn)備好對(duì)應(yīng)的監(jiān)督體系。
傳播不實(shí)信息的原文章也在大家?guī)兔εe報(bào)后被平臺(tái)下架了。
這番誤會(huì)終于算是告一段落。
不過(guò)謝賽寧透露的信息中還有一些細(xì)節(jié)值得關(guān)注，相熟的 Sora 開(kāi)發(fā)領(lǐng)隊(duì) Bill Peebles 說(shuō)團(tuán)隊(duì)基本不睡覺(jué)高強(qiáng)度工作了近一年。
而 Bill Peebles 在 2023 年 3 月入職 OpenAI，距今剛好不到一年。也從側(cè)面否定了之前傳聞中的“Sora 早就開(kāi)發(fā)完成，只是一直沒(méi)發(fā)”。
至于為什么會(huì)有這個(gè)離譜的誤會(huì)，還要從謝賽寧與 Peebles 合作的一篇論文說(shuō)起。
為什么會(huì)有這個(gè)誤會(huì)？
Sora 技術(shù)報(bào)告引用的一項(xiàng)研究成果 DiT 模型，正是謝賽寧與 Peebles 合著。那時(shí) Peebles 博士在讀期間到 Meta 實(shí)習(xí)，謝賽寧也還沒(méi)完全離開(kāi) FAIR。
DiT 首次將 Transformer 與擴(kuò)散模型結(jié)合到了一起，相關(guān)論文被 ICCV 2023 錄用為 Oral 論文。
雖然 Sora 模型具體架構(gòu)細(xì)節(jié)沒(méi)有公布，但謝賽寧此前從 Sora 技術(shù)報(bào)告中分析出，很可能就是建立在 DiT 的基礎(chǔ)之上。
除此之外，Sora 還參考借鑒了許多其他學(xué)術(shù)界成果。
如把訓(xùn)練數(shù)據(jù)編碼成 Patch 的方法，引用了谷歌 DeepMind 的 Patch n' Pack 等。
博采眾長(zhǎng)，同時(shí)堅(jiān)定在 Scaling Law 指引下力大磚飛，才造了令人驚嘆的 Sora 成果。
大神確實(shí)也是大神
排除掉這個(gè)誤會(huì)，謝賽寧確實(shí)也是 AI 研究領(lǐng)域的一位大神，目前在紐約大學(xué)任助理教授。
他本科畢業(yè)于上海交通大學(xué) ACM 班，18 年博士畢業(yè)于加州大學(xué)圣迭戈分校。
畢業(yè)后謝賽寧加入 Facebook AI Research（FAIR），曾與何愷明合作提出 ResNeXt。目前他在谷歌學(xué)術(shù)總被引用數(shù)達(dá)到 4 萬(wàn) 5，h-index 也高達(dá) 31。
就在 Sora 發(fā)布不久前，他還領(lǐng)導(dǎo)紐約大學(xué)團(tuán)隊(duì)對(duì) DiT 模型來(lái)了個(gè)大升級(jí)，新模型稱為 SiT。
SiT 與 DiT 擁有相同的骨干網(wǎng)絡(luò)，但質(zhì)量、速度靈活性都更好。
謝賽寧認(rèn)為，跟進(jìn) Sora 相關(guān)研究是學(xué)術(shù)界可以為這個(gè)時(shí)代肩負(fù)的重責(zé)之一。
讓我們一起期待他的新成果吧。
本文來(lái)自微信公眾號(hào)：量子位 （ID：QbitAI），作者：夢(mèng)晨 衡宇
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。