【新智元導讀】《頭號玩家》的世界近在咫尺!周末,小扎在元宇宙開啟了 1 小時「真人對談」,讓主播感慨差點忘記眼前的人竟不是真人。
起猛了!就在昨天,美國知名播客主播 Lex Fridman 與小扎開啟了 1 個小時的元宇宙「面對面」聊天,震驚了全世界。
Lex Fridman 聊著聊著,直言「我差點忘記,眼前的你不是真人」。
他們戴上 Meta 的頭顯,相隔數(shù)百公里,卻能如此逼真還原 Aavtar 的面部表情和動作。
而這背后,是 19 年 Meta 提出的一個輕松創(chuàng)建虛擬人化身的技術 Codec Avatars,只需要一部手機,就能捕捉人類細微的表情差異。
有網友表示,別說人家聊的身臨其境,就連自己看的太投入,9 分鐘的時候,恍然間覺得他們就是真人在對話!
甚至讓前谷歌科學家 David Ha 改變了對「元宇宙」懷疑的態(tài)度。
大約 13 個月的時間,小扎對于元宇宙的「真愛」似乎開始要有回報了。
從 2021 年到現(xiàn)在,Meta 元宇宙實驗室投入數(shù)百億美元都賠了本,但是也終讓人們看到了「頭號玩家」里的世界離我們更近一步。
接下來,一起看看小扎和 Lex 虛擬化身對談的精彩瞬間吧。
訪談實錄
一出場,F(xiàn)ridman 和小扎的訪談就在元宇宙中開始了。
雖然一個人在加州,一個人在德州奧斯丁,通過 Codec Avatar 和 3D 立體聲技術,兩個人就像直接面對面坐在一起一樣,開始了這場可能會載入史冊的會面和聊天。
Fridman 調整了一下光源的位置,兩個人都明顯感到了光線的變化。
而兩個人周圍的其他的地方,都是漆黑一片。
看著對方清晰的臉和生動的表情,真的覺得這一切就發(fā)生在了一個關了燈的房間里。而 Fridman 最直觀的感受是,這一切實在是太真實了,真實得讓人有點接受不了。
在這樣的一個環(huán)境之下,長達一個小時的訪談開始了。
訪談涉及了小扎對于元宇宙的暢想,以及什么是「真實」的討論,而最令大家關注的,應該還是小扎對于 AI 和元宇宙結合前景的看法,以及他對 Meta AI 未來的計劃。
三年全身模擬就來
在小扎看來,未來 AI 技術將會在元宇宙中扮演非常重要的角色。
未來肯定會有非常強大的超級人工智能,但是依然會有很多 AI 工具能讓人們非常方便地完成各種各樣的任務。
他以 Fridman 的播客節(jié)目舉例,播客主播需要盡可能地保持和自己的社區(qū)觀眾的互動。但是主播不可能 24 小時不休息地來做這個事。
如果能夠在元宇宙中建立一個 AI 來幫助主播來維持自己粉絲社區(qū)的活力,滿足粉絲們提出的各種要求,將會讓主播能完成以前可能完全沒有辦法完成的事情。
而且 Meta 希望這樣的 AI 不僅僅是出現(xiàn)在元宇宙中,而是在現(xiàn)在已經有的各種平臺上,來幫主播、網紅們維護自己的粉絲、用戶社區(qū)。Meta 未來會盡快發(fā)布這個功能,賦能更多的內容創(chuàng)作者。
進一步地,Meta AI 會更多地出現(xiàn)在元宇宙的各個地方,和用戶進行交流,為用戶提供幫助。不同的 AI 角色在元宇宙中會以不同的性格展現(xiàn)出來,為用戶提供非常豐富多樣的體驗。
而現(xiàn)在這些不同角色的 AI 已經處于最后的準備階段了。Meta 希望能讓這些 AI 更加可預測,保障安全性。
除了讓普通用戶在元宇宙中的體驗更好,AI 可以在元宇宙中為企業(yè),或者代表企業(yè)向客戶提供各種各樣嚴肅專業(yè)的服務。
在元宇宙的游戲中,AI 能讓 NPC 表現(xiàn)得更加吸引人。他們一個正在開發(fā)的類似劇本殺的史努比游戲,AI 作為游戲的主持人表現(xiàn)非常好,非常搞笑,很有意思。
Llama 3 在路上
Fridman 繼續(xù)問了小扎關于 Meta AI 目前的一些情況,關于 Llama 2 和未來的 Llama 3,小扎也知無不言,不斷爆料。
在上一次和 Fridman 的播客中,小扎和他討論了關于是否開源 Llama 2,小扎很高興 Meta 最終這么做了。
在小扎看來,現(xiàn)在開源一個 Llama 2 這樣的基礎模型的價值,遠遠大于風險。
小扎說在開源之前,Meta 花了很多時間,進行了非常嚴格的評估和紅隊模擬,最終才開源了它。Llama 2 的下載和使用量比小扎預期的還要多。
Llama 3 呢,肯定會有的。不過在開源 Llama 2 后,現(xiàn)在 Meta 的優(yōu)先事項是將其集成到各種消費者產品中。
因為 Llama 2 本身并不是一個消費者產品。它更像是一個基礎設施,人們可以用它來構建東西。所以,現(xiàn)在的重點是繼續(xù)微調,并且,就是讓 Llama 2 及以及各個版本能夠服務好消費者產品。希望有一天數(shù)以億計的人會喜歡使用這些產品。
但是,Meta 也在致力于開發(fā)未來的基礎模型?,F(xiàn)在沒有太多能透露的,不過肯定也會像 Llama 2 一樣,經歷嚴格的紅隊測試才會公布。
小扎也希望,當 Llama 3 成型時,Meta 會繼續(xù)開源。但是,這個事 Meta 還沒有最終確定下來,因為現(xiàn)在離 Meta 發(fā)布下一代基礎模型還比較遙遠。
不過開源模型能夠讓人們更好地體驗模型能做什么事情,比如小扎本人就很沉迷于和各種各樣的 AI 虛擬角色聊天,非常上頭。
人類未來生活
對于未來人類的生活,小扎說,元宇宙會無處不在!
最簡單的例子就是電話,未來人類會像現(xiàn)在打電話一樣,體驗到自己和虛擬世界的真實互動。
比如兩個人可以隨時隨地體驗他們倆現(xiàn)在的交流方式,除了兩個沒有真的坐在一間屋子里,其他方面這樣的交流會和面對面的交流沒有任何區(qū)別。
因為從哲學的角度來看,真實世界的本質就是我們能夠感知到的東西和實際存在的東西的結合。
數(shù)字世界如果能夠越來越好地還原這個方面,數(shù)字世界就能變得越來越豐富和強大。
最后,F(xiàn)ridman 問小扎,你該不會是坐在沙灘上和我聊的吧。
小扎說,沒有,我坐在會議室里。
Fridman 說,可惜了,我就坐在沙灘上,而且我褲子都沒穿,幸好你們沒看到我真實的樣子。
Codec Avatars:一部手機,化身就來
其實,我們看到博客視頻中,如此驚艷的技術,其實 Meta 早在 19 年就研發(fā)出來了。它就是 ——Codec Avatars。
若想在元宇宙中實現(xiàn)真正的交互,虛擬化身可是打開元宇宙這道門的任督二脈。
Codec Avatars 這一項目旨在實現(xiàn)一個能夠捕獲和表示用于 XR 的逼真頭像的系統(tǒng)。
最初這個項目是以高質量的頭像演示開始,后來逐漸實現(xiàn)構建全身的虛擬化身。
在 Connect 2021 大會上,研究人員 Yaser Sheikh 曾展示了該團隊最新的成果 —— 全身視頻編解碼器(Full-body Codec Avatars)。
與此同時,Codec Avatars 支持更復雜的眼部運動、面部表情、手部和身體姿勢。
此外,Meta 還展示了虛擬化身在對不同的光照條件和環(huán)境下實現(xiàn)頭發(fā)和皮膚的真實渲染。
Meta 開始制作 Codec Avatars 的契機要追溯到 9 年前。
2014 年,卡內基梅隆大學機器人研究所旗下的一家 3D 捕捉實驗室 Panoptic Studio 的負責人 Yaser Sheikh 遇到了 Oculus 首席科學家 Michael Abrash,兩人聊得非常投機。
2015 年,Yaser Sheikh 加入了 Meta,從那以后便一直領導著 Codec Avatars 研究團隊。
「要想打造一個逼真的化身,基礎在于測量」,Codec Avatars 研究科學家托馬斯?西蒙說。
「化身要以假亂真靠的是精確的數(shù)據(jù),這需要良好的測量。因此,構建真實化身的關鍵是找到一種方法來測量人類表情中的物理細節(jié),比如一個人瞇起眼睛或皺起鼻子的方式?!?/p>
在匹茲堡實驗室的 Codec Avatars 團隊,使用了兩個主要的模塊來測量人類的表情:編碼器和解碼器。
而現(xiàn)在,人們只需要一部手機,就能精確捕捉到面部表情的信息。
直接在元宇宙中還原真身。
網友驚呼:恐怖谷
看過這期博客的網友們,紛紛被視頻中的效果驚艷。
英偉達高級科學家 Jim Fan 表示,本期 @lexfridman 將作為第一個由虛擬化身的視頻會議制作的播客載入史冊。在未來 3-5 年內,我們將徹底跨越 Avatar 和模擬的「恐怖谷」。
在我的職業(yè)生涯中,我一直在研究化身智能體。我們的終極愿景是實現(xiàn)《黑客帝國》中的場景:人類和人工智能的全身實時化身,共享同一個虛擬空間,以逼真的方式與物體互動,接收豐富的多模態(tài)反饋,忘記世界只是一個模擬。
雖然化身現(xiàn)在需要用特殊設備進行掃描,但扎克暗示,智能手機自拍視頻很快就能實現(xiàn)。
鑒于 3D 生成模型的最新進展,我認為幾個月內就能實現(xiàn)。細粒度手指追蹤和全身追蹤將是下一個目標。
從 3 個像素的頭像怎么一下就進化到這個了?一定是我起猛了!
去年 Meta 在廣告和市場營銷上花了 26 億美元,這個播客的效果比這些錢效果好多了,Lex 趕快讓小扎給你打錢!
雖然眼球追蹤還有些小錯誤,但是表情的精準呈現(xiàn)讓人忘了這其實只是虛擬化身。未來已來!
怪不得馬斯克找不到小扎,原來小扎躲到這里了!
最后,訪談原視頻放在這里了。
廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。