8 月 12 日消息 英偉達(dá)今年 4 月份那場(chǎng)發(fā)布會(huì)，你曾看出什么不對(duì)勁的地方嗎？
你品，你細(xì)品：
剛剛，在計(jì)算機(jī)圖形學(xué)頂會(huì) SIGGRAPH 2021 上，英偉達(dá)通過(guò)一部紀(jì)錄片自曝：那場(chǎng)發(fā)布會(huì)內(nèi)藏玄機(jī)～
你看到了老黃，但也沒完全看到。因?yàn)椋@是一場(chǎng)當(dāng)面“造假”的發(fā)布會(huì)。
畫面中老黃的廚房、標(biāo)志性的皮衣，甚至他的表情、動(dòng)作、頭發(fā)…… 全都是合成出來(lái)的。
這是一場(chǎng)開在元宇宙里的發(fā)布會(huì)，發(fā)表演講的是英偉達(dá) CEO 黃仁勛的數(shù)字人替身。
彼時(shí)彼刻，恰如此時(shí)此刻。
黃老板真給自己找了個(gè)替身。
沒錯(cuò)，全世界都被黃仁勛騙了！
整整三個(gè)多月誰(shuí)也沒發(fā)現(xiàn)。
而且不光他自己，大到廚房的家具抽屜：
小到廚房里擺放的金屬罐、甚至是老黃的樂高小人，都是被渲染出來(lái)的：
知道真相的我就如同導(dǎo)演李安：
這一切是怎么發(fā)生的呢……
到底怎么造假的？
數(shù)字人想要以假亂真，一定要做到細(xì)節(jié)豐富。
因?yàn)槿四X專門有一套系統(tǒng)用于識(shí)別同類，有一點(diǎn)不對(duì)勁之處都會(huì)在幾毫秒之內(nèi)引起警覺。
所以要造假的老黃，得到攝影棚里拍上幾千張各種角度的照片，通過(guò)一套 3D 掃描，把他臉上的每道褶子都采集成數(shù)據(jù)。
為了讓效果更逼真，他那件拉風(fēng)的皮衣還得單獨(dú)拍。
用得到的數(shù)據(jù)對(duì)老黃做 3D 建模，為了方便后期編輯，先要把他的頭發(fā)薅光！
具體到手指的細(xì)節(jié)，也需要非常仔細(xì)地調(diào)整：
建模完成好，下一步是讓老黃動(dòng)起來(lái)。
不過(guò)這里就不需要費(fèi)時(shí)費(fèi)力地進(jìn)行手工操作了，AI 已經(jīng)能夠勝任。
就像這樣，用上最新的 Audio2Face 模型，AI 可以隨著語(yǔ)音播放自動(dòng)調(diào)整模型的面部動(dòng)作表情。
動(dòng)作是沒問題了，但是皮膚材質(zhì)看起來(lái)還是不夠好，和發(fā)布會(huì)上的效果沒法比。
這就需要另一個(gè) AI，用一張老黃的照片就能匹配上動(dòng)作合成到動(dòng)畫里去。
身體動(dòng)作就不用老黃自己采集了，而是找來(lái)專業(yè)的動(dòng)作捕捉演員，畢竟 CEO 肯定時(shí)間有限。
這樣所有的前期準(zhǔn)備工作就完成了，接下來(lái)是渲染。
看看這個(gè)自研的 Omniverse RTX 渲染器：
就真的是字面意義上的實(shí)時(shí)光線追蹤，移動(dòng)視角，調(diào)整光線都立刻完成更新。
這背后具體用了多少塊顯卡英偉達(dá)倒是沒具體說(shuō)，總之是多 GPU + 云計(jì)算才能搞定。
這場(chǎng)虛擬發(fā)布會(huì)，總共有 34 個(gè) 3D 美術(shù)師和 15 個(gè)軟件研究人員參與。
他們一共做了 21 個(gè)版本的數(shù)字老黃，從中選出最像的那個(gè)，做出了這場(chǎng)精彩的發(fā)布會(huì)。
還真是把全世界都騙過(guò)了。
英偉達(dá)“造假”有多強(qiáng)
上面這些“造假”的效果，背后都來(lái)自于一個(gè)名為 Omniverse 的平臺(tái)。
沒錯(cuò)，英偉達(dá)研發(fā)的計(jì)算機(jī)圖形學(xué)（CG）技術(shù)太多，多到已經(jīng)能整合成一個(gè)平臺(tái)了。
從 CG 到優(yōu)化技術(shù)，從工具包到引擎，Omniverse 都有提供。
光看 Omniverse 所承載的 CG 技術(shù)，其實(shí)遠(yuǎn)不止這次發(fā)布會(huì)用到的“造假”效果，它從渲染、材質(zhì)，到光影、照明（光追、路徑追蹤等）都有涉及，還會(huì)不斷更新相關(guān)技術(shù)。
原本只是一紙論文的技術(shù)，可能不久后就被英偉達(dá)放到了 Omniverse 上，不少都是與 AI 相關(guān)的技術(shù)：
例如，缺損像素修補(bǔ)、插幀，已經(jīng)被用到老照片和古早視頻的修復(fù)中；還有基于 GAN 生成超分辨率圖像、直接把 2D 照片渲染成 3D 場(chǎng)景，都已經(jīng)能直接在平臺(tái)上使用……
Omniverse 上的渲染技術(shù)，究竟達(dá)到一個(gè)什么樣的水準(zhǔn)？
據(jù)英偉達(dá)表示，平臺(tái)現(xiàn)在可以實(shí)時(shí)實(shí)現(xiàn)電影級(jí)別的畫質(zhì)渲染。
以渲染中非常重要的光源模擬為例，我們都知道，真實(shí)世界的光源多種多樣，我們看到的其實(shí)是各種光照下的景物。
傳統(tǒng)的計(jì)算機(jī)渲染，至少需要將光源迭代 30 + 次，才能達(dá)到逼真到毛發(fā)的效果，即使用最先進(jìn)的機(jī)器渲染，每一幀也基本都需要幾十秒。
用上 Neural Radiance Cache 等技術(shù)后，結(jié)合 RTX GPU 硬件和 Omniverse 平臺(tái)，光源渲染直接就能實(shí)時(shí)進(jìn)行。
例如，這次 GTC 大會(huì)上對(duì)于主機(jī)的渲染，就采用了 Omniverse 平臺(tái)的技術(shù)：
除此之外，包括 LOD 自動(dòng)生成等技術(shù)也能用 AI 節(jié)約計(jì)算量，同時(shí)保證足夠好的渲染效果。
不止是“以假亂真”的渲染效果，Omniverse 還能完成更多意想不到的 AI 技術(shù)。
英偉達(dá)利用數(shù)字人實(shí)時(shí)渲染技術(shù)，在 Omniverse 中就能構(gòu)建更逼真的、更符合物理定律的人類模型。
例如，幫助車輛、自主機(jī)器、機(jī)器人等更好地識(shí)別，真實(shí)的人類是什么樣的，從而更好地設(shè)計(jì)工廠（圖中為數(shù)字人）：
這是英偉達(dá)在 Omniverse 上更新了另一項(xiàng)數(shù)字孿生技術(shù)（Issac Digital Twin），將機(jī)器人 AI 放到虛擬環(huán)境中訓(xùn)練完成后，可以直接部署到真實(shí)環(huán)境中。
目前，寶馬已經(jīng)用英偉達(dá)的數(shù)字孿生技術(shù)，對(duì)數(shù)字工廠的生產(chǎn)流程進(jìn)行了優(yōu)化，效率直接拉高 30%。
看看這個(gè)渲染的速度：
具體渲染效果來(lái)看，連光照和細(xì)節(jié)都能被模擬出來(lái)。
不止是寶馬工廠，包括機(jī)器人仿真、自駕車仿真在內(nèi)的一系列技術(shù)，也會(huì)用到 Omniverse 平臺(tái)。
例如，自動(dòng)駕駛和工廠的 AI 檢測(cè)可能存在行人誤判，將街頭、公告張貼的人臉圖片識(shí)別為行人，導(dǎo)致事故發(fā)生。將逼真的數(shù)字人和渲染等技術(shù)結(jié)合后，就能在仿真環(huán)境訓(xùn)練下模擬行人，讓 AI 學(xué)會(huì)判斷圖片和真人的區(qū)別。
從效果到效率，英偉達(dá)都直接刷新了人們對(duì)“元宇宙”的認(rèn)知。
重新定義「元宇宙」
號(hào)稱“永遠(yuǎn)實(shí)時(shí)在線”的 Omniverse，是英偉達(dá)打造元宇宙的關(guān)鍵。
它不僅能跨平臺(tái)支持所有用戶的物理渲染、模擬和仿真，還能讓創(chuàng)作者、審核者在任何地方，只通過(guò)軟件應(yīng)用就在一個(gè)共享的虛擬世界中進(jìn)行合作。
畢竟，Omniverse 本身就構(gòu)建于通用場(chǎng)景描述 (Universal Scene Description，簡(jiǎn)稱 USD) 之上。
這是一種開源 3D 場(chǎng)景數(shù)據(jù)標(biāo)準(zhǔn)和文件格式，USD 之于 Omniverse 就相當(dāng)于 HTML 之于互聯(lián)網(wǎng)。
USD 由皮克斯開發(fā)，現(xiàn)在成了英偉達(dá)、皮克斯和蘋果共同推廣的行業(yè)標(biāo)準(zhǔn)。USD 注重非破壞性便捷和跨軟件協(xié)作，是 x86、arm 平臺(tái)以及各種軟件都程能夠統(tǒng)一到 Omniverse 平臺(tái)上的基礎(chǔ)。
目前，全球已經(jīng)有 500 多家公司的專業(yè)人士上手使用了 Omniverse。這其中包括美國(guó)航天航空制造商洛克希德馬丁公司（用它做山火模擬）、曾榮獲艾美獎(jiǎng)的《南方公園》工作室等知名企業(yè)。
國(guó)內(nèi)央視的《飛向月球》太空紀(jì)錄片，也同樣有用到 Omniverse，尤其是里面的數(shù)字人：
從 Omniverse 硬件和軟件的支持情況來(lái)看，英偉達(dá)這一次更新也真的是誠(chéng)意滿滿。
“將數(shù)百萬(wàn)新用戶帶入元宇宙世界”，真的不是說(shuō)說(shuō)而已。
首先，Omniverse 這一次集成了 Blender 和 Adobe 來(lái)實(shí)現(xiàn)大規(guī)模擴(kuò)展。
Blender 是全球領(lǐng)先的開源 3D 動(dòng)畫工具，他們將在 Blender 3.0 版本加入 USD 支持，使用戶能夠在 Blender 中直接訪問 Omniverse 制作流程，這無(wú)疑會(huì)讓創(chuàng)作者們的效率直線 up。
Adobe 就不用多介紹了，家喻戶曉。
現(xiàn)在，他們正在和英偉達(dá)合作開發(fā)一個(gè)為 Omniverse 提供 Substance Material 支持的 Substance 3D 插件。
使用這個(gè)插件，可以讓用戶在 Omniverse 中直接調(diào)整 Substance 3D 中的素材。
這能為用戶在改稿過(guò)程中，節(jié)省導(dǎo)出、重新上傳的時(shí)間。
與此同時(shí)，英偉達(dá)還發(fā)布了一個(gè)人工智能 3D 建模擴(kuò)展：GANverse3D–Image2Car。
它可以讓 AI 進(jìn)行 3D 建模變得更加容易。
只需通過(guò)一張汽車照片，GANverse3D 就能建立出一個(gè)虛擬的 3D 模型。
這無(wú)疑讓 3D 畫師們創(chuàng)建場(chǎng)景變得更輕松了。
其次，在硬件上，NVIDIA RTX 和 GeForce RTX 系列都支持 Omniverse。
這不，英偉達(dá)同時(shí)還發(fā)布了小巧、節(jié)能的 RTX A2000，它適用于各種標(biāo)準(zhǔn)和小型工作站，可以說(shuō)是專為創(chuàng)作者的日常工作而設(shè)計(jì)。
英偉達(dá)放言稱，A2000 將會(huì)成為數(shù)百萬(wàn)設(shè)計(jì)師進(jìn)入元宇宙的門戶。
去年 12 月發(fā)布公測(cè)版以來(lái)，已經(jīng)有超過(guò) 5 萬(wàn)名個(gè)人創(chuàng)作者下載了 Omniverse。
而 Omniverse 的生態(tài)系統(tǒng)也在持續(xù)壯大，Adobe、Autodesk、Bentley Systems 等多家軟件公司都已加入 Omniverse 的生態(tài)圈。
現(xiàn)在，Nvidia Omniverse 企業(yè)版的訪問名額已經(jīng)“開搶”了，華碩、BOXX Technologies、戴爾、惠普、聯(lián)想、必恩威和超微等平臺(tái)上都能使用。
不知道以后英偉達(dá)的發(fā)布會(huì)還能不能當(dāng)真（手動(dòng)狗頭）。
反正老黃的假臉是一臉真誠(chéng)～
One More Thing
回到 4 月那場(chǎng)發(fā)布會(huì)。我們?cè)谟ミ_(dá)自曝紀(jì)錄片中，隱約讀出另一個(gè)事實(shí)，當(dāng)時(shí)的老黃是真真假假，虛實(shí)交替的。
那么，哪一段是真？哪一段是假？
作為找茬八級(jí)團(tuán)隊(duì)，怎么能這么輕易就給人騙過(guò)去？于是，我們重新去回看了一遍 4 月份那場(chǎng)發(fā)布會(huì)。
果不其然，我們發(fā)現(xiàn)了一些不對(duì)勁的地方。（注意內(nèi)搭衣服領(lǐng)口和皮衣）
這是老黃第一次在發(fā)布會(huì)上出現(xiàn)時(shí)候的樣子?？瓷先栴}不大是吧？OK，接著往下看：
這是剛剛那張圖 4 分鐘之后，老黃的樣子。注意到什么不一樣的地方了嗎？
請(qǐng)注意，他身上忽然間變成了另外一件皮衣，里面穿的也從 Polo 衫變成了圓領(lǐng) T 恤。
如果你再仔細(xì)一點(diǎn)看，你會(huì)發(fā)現(xiàn)他廚房有些物品的放置也變了。
還有個(gè)最直觀的區(qū)別：老黃本人，還有他背后的廚房，怎么好像分辨率突然提上去了（不是我網(wǎng)絡(luò)問題啊）？
高到腦門上的抬頭紋都多了幾條。
這還沒完。
到發(fā)布會(huì)后半段，老黃穿著同一件皮衣，可是里面的衣服又換回了 Polo 衫 。
過(guò)了一會(huì)，他搖身一變，把皮衣和 Polo 衫全換了。
好家伙，你擱這玩排列組合呢？
真搞不懂，老黃來(lái)來(lái)回回在這換裝，是圖個(gè)啥。除非這是英偉達(dá)故意的。
于是，我們拿著放大鏡去看了視頻，終于注意到，這段老黃手上的動(dòng)作，有明顯的不自然。而且畫面也是糊的。
懂了：）
總之，一段視頻騙了全世界 3 個(gè)月，不得不說(shuō)，黃老板真是又高又硬。
贗品是個(gè)好東西！
英偉達(dá)紀(jì)錄片回看：點(diǎn)擊打開
face-vid2vid 相關(guān)論文：點(diǎn)擊打開
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。