8 月 12 日消息 英偉達今年 4 月份那場發(fā)布會，你曾看出什么不對勁的地方嗎？
你品，你細品：
剛剛，在計算機圖形學頂會 SIGGRAPH 2021 上，英偉達通過一部紀錄片自曝：那場發(fā)布會內(nèi)藏玄機～
你看到了老黃，但也沒完全看到。因為，這是一場當面“造假”的發(fā)布會。
畫面中老黃的廚房、標志性的皮衣，甚至他的表情、動作、頭發(fā)…… 全都是合成出來的。
這是一場開在元宇宙里的發(fā)布會，發(fā)表演講的是英偉達 CEO 黃仁勛的數(shù)字人替身。
彼時彼刻，恰如此時此刻。
黃老板真給自己找了個替身。
沒錯，全世界都被黃仁勛騙了！
整整三個多月誰也沒發(fā)現(xiàn)。
而且不光他自己，大到廚房的家具抽屜：
小到廚房里擺放的金屬罐、甚至是老黃的樂高小人，都是被渲染出來的：
知道真相的我就如同導演李安：
這一切是怎么發(fā)生的呢……
到底怎么造假的？
數(shù)字人想要以假亂真，一定要做到細節(jié)豐富。
因為人腦專門有一套系統(tǒng)用于識別同類，有一點不對勁之處都會在幾毫秒之內(nèi)引起警覺。
所以要造假的老黃，得到攝影棚里拍上幾千張各種角度的照片，通過一套 3D 掃描，把他臉上的每道褶子都采集成數(shù)據(jù)。
為了讓效果更逼真，他那件拉風的皮衣還得單獨拍。
用得到的數(shù)據(jù)對老黃做 3D 建模，為了方便后期編輯，先要把他的頭發(fā)薅光！
具體到手指的細節(jié)，也需要非常仔細地調(diào)整：
建模完成好，下一步是讓老黃動起來。
不過這里就不需要費時費力地進行手工操作了，AI 已經(jīng)能夠勝任。
就像這樣，用上最新的 Audio2Face 模型，AI 可以隨著語音播放自動調(diào)整模型的面部動作表情。
動作是沒問題了，但是皮膚材質(zhì)看起來還是不夠好，和發(fā)布會上的效果沒法比。
這就需要另一個 AI，用一張老黃的照片就能匹配上動作合成到動畫里去。
身體動作就不用老黃自己采集了，而是找來專業(yè)的動作捕捉演員，畢竟 CEO 肯定時間有限。
這樣所有的前期準備工作就完成了，接下來是渲染。
看看這個自研的 Omniverse RTX 渲染器：
就真的是字面意義上的實時光線追蹤，移動視角，調(diào)整光線都立刻完成更新。
這背后具體用了多少塊顯卡英偉達倒是沒具體說，總之是多 GPU + 云計算才能搞定。
這場虛擬發(fā)布會，總共有 34 個 3D 美術師和 15 個軟件研究人員參與。
他們一共做了 21 個版本的數(shù)字老黃，從中選出最像的那個，做出了這場精彩的發(fā)布會。
還真是把全世界都騙過了。
英偉達“造假”有多強
上面這些“造假”的效果，背后都來自于一個名為 Omniverse 的平臺。
沒錯，英偉達研發(fā)的計算機圖形學（CG）技術太多，多到已經(jīng)能整合成一個平臺了。
從 CG 到優(yōu)化技術，從工具包到引擎，Omniverse 都有提供。
光看 Omniverse 所承載的 CG 技術，其實遠不止這次發(fā)布會用到的“造假”效果，它從渲染、材質(zhì)，到光影、照明（光追、路徑追蹤等）都有涉及，還會不斷更新相關技術。
原本只是一紙論文的技術，可能不久后就被英偉達放到了 Omniverse 上，不少都是與 AI 相關的技術：
例如，缺損像素修補、插幀，已經(jīng)被用到老照片和古早視頻的修復中；還有基于 GAN 生成超分辨率圖像、直接把 2D 照片渲染成 3D 場景，都已經(jīng)能直接在平臺上使用……
Omniverse 上的渲染技術，究竟達到一個什么樣的水準？
據(jù)英偉達表示，平臺現(xiàn)在可以實時實現(xiàn)電影級別的畫質(zhì)渲染。
以渲染中非常重要的光源模擬為例，我們都知道，真實世界的光源多種多樣，我們看到的其實是各種光照下的景物。
傳統(tǒng)的計算機渲染，至少需要將光源迭代 30 + 次，才能達到逼真到毛發(fā)的效果，即使用最先進的機器渲染，每一幀也基本都需要幾十秒。
用上 Neural Radiance Cache 等技術后，結合 RTX GPU 硬件和 Omniverse 平臺，光源渲染直接就能實時進行。
例如，這次 GTC 大會上對于主機的渲染，就采用了 Omniverse 平臺的技術：
除此之外，包括 LOD 自動生成等技術也能用 AI 節(jié)約計算量，同時保證足夠好的渲染效果。
不止是“以假亂真”的渲染效果，Omniverse 還能完成更多意想不到的 AI 技術。
英偉達利用數(shù)字人實時渲染技術，在 Omniverse 中就能構建更逼真的、更符合物理定律的人類模型。
例如，幫助車輛、自主機器、機器人等更好地識別，真實的人類是什么樣的，從而更好地設計工廠（圖中為數(shù)字人）：
這是英偉達在 Omniverse 上更新了另一項數(shù)字孿生技術（Issac Digital Twin），將機器人 AI 放到虛擬環(huán)境中訓練完成后，可以直接部署到真實環(huán)境中。
目前，寶馬已經(jīng)用英偉達的數(shù)字孿生技術，對數(shù)字工廠的生產(chǎn)流程進行了優(yōu)化，效率直接拉高 30%。
看看這個渲染的速度：
具體渲染效果來看，連光照和細節(jié)都能被模擬出來。
不止是寶馬工廠，包括機器人仿真、自駕車仿真在內(nèi)的一系列技術，也會用到 Omniverse 平臺。
例如，自動駕駛和工廠的 AI 檢測可能存在行人誤判，將街頭、公告張貼的人臉圖片識別為行人，導致事故發(fā)生。將逼真的數(shù)字人和渲染等技術結合后，就能在仿真環(huán)境訓練下模擬行人，讓 AI 學會判斷圖片和真人的區(qū)別。
從效果到效率，英偉達都直接刷新了人們對“元宇宙”的認知。
重新定義「元宇宙」
號稱“永遠實時在線”的 Omniverse，是英偉達打造元宇宙的關鍵。
它不僅能跨平臺支持所有用戶的物理渲染、模擬和仿真，還能讓創(chuàng)作者、審核者在任何地方，只通過軟件應用就在一個共享的虛擬世界中進行合作。
畢竟，Omniverse 本身就構建于通用場景描述 (Universal Scene Description，簡稱 USD) 之上。
這是一種開源 3D 場景數(shù)據(jù)標準和文件格式，USD 之于 Omniverse 就相當于 HTML 之于互聯(lián)網(wǎng)。
USD 由皮克斯開發(fā)，現(xiàn)在成了英偉達、皮克斯和蘋果共同推廣的行業(yè)標準。USD 注重非破壞性便捷和跨軟件協(xié)作，是 x86、arm 平臺以及各種軟件都程能夠統(tǒng)一到 Omniverse 平臺上的基礎。
目前，全球已經(jīng)有 500 多家公司的專業(yè)人士上手使用了 Omniverse。這其中包括美國航天航空制造商洛克希德馬丁公司（用它做山火模擬）、曾榮獲艾美獎的《南方公園》工作室等知名企業(yè)。
國內(nèi)央視的《飛向月球》太空紀錄片，也同樣有用到 Omniverse，尤其是里面的數(shù)字人：
從 Omniverse 硬件和軟件的支持情況來看，英偉達這一次更新也真的是誠意滿滿。
“將數(shù)百萬新用戶帶入元宇宙世界”，真的不是說說而已。
首先，Omniverse 這一次集成了 Blender 和 Adobe 來實現(xiàn)大規(guī)模擴展。
Blender 是全球領先的開源 3D 動畫工具，他們將在 Blender 3.0 版本加入 USD 支持，使用戶能夠在 Blender 中直接訪問 Omniverse 制作流程，這無疑會讓創(chuàng)作者們的效率直線 up。
Adobe 就不用多介紹了，家喻戶曉。
現(xiàn)在，他們正在和英偉達合作開發(fā)一個為 Omniverse 提供 Substance Material 支持的 Substance 3D 插件。
使用這個插件，可以讓用戶在 Omniverse 中直接調(diào)整 Substance 3D 中的素材。
這能為用戶在改稿過程中，節(jié)省導出、重新上傳的時間。
與此同時，英偉達還發(fā)布了一個人工智能 3D 建模擴展：GANverse3D–Image2Car。
它可以讓 AI 進行 3D 建模變得更加容易。
只需通過一張汽車照片，GANverse3D 就能建立出一個虛擬的 3D 模型。
這無疑讓 3D 畫師們創(chuàng)建場景變得更輕松了。
其次，在硬件上，NVIDIA RTX 和 GeForce RTX 系列都支持 Omniverse。
這不，英偉達同時還發(fā)布了小巧、節(jié)能的 RTX A2000，它適用于各種標準和小型工作站，可以說是專為創(chuàng)作者的日常工作而設計。
英偉達放言稱，A2000 將會成為數(shù)百萬設計師進入元宇宙的門戶。
去年 12 月發(fā)布公測版以來，已經(jīng)有超過 5 萬名個人創(chuàng)作者下載了 Omniverse。
而 Omniverse 的生態(tài)系統(tǒng)也在持續(xù)壯大，Adobe、Autodesk、Bentley Systems 等多家軟件公司都已加入 Omniverse 的生態(tài)圈。
現(xiàn)在，Nvidia Omniverse 企業(yè)版的訪問名額已經(jīng)“開搶”了，華碩、BOXX Technologies、戴爾、惠普、聯(lián)想、必恩威和超微等平臺上都能使用。
不知道以后英偉達的發(fā)布會還能不能當真（手動狗頭）。
反正老黃的假臉是一臉真誠～
One More Thing
回到 4 月那場發(fā)布會。我們在英偉達自曝紀錄片中，隱約讀出另一個事實，當時的老黃是真真假假，虛實交替的。
那么，哪一段是真？哪一段是假？
作為找茬八級團隊，怎么能這么輕易就給人騙過去？于是，我們重新去回看了一遍 4 月份那場發(fā)布會。
果不其然，我們發(fā)現(xiàn)了一些不對勁的地方。（注意內(nèi)搭衣服領口和皮衣）
這是老黃第一次在發(fā)布會上出現(xiàn)時候的樣子?？瓷先栴}不大是吧？OK，接著往下看：
這是剛剛那張圖 4 分鐘之后，老黃的樣子。注意到什么不一樣的地方了嗎？
請注意，他身上忽然間變成了另外一件皮衣，里面穿的也從 Polo 衫變成了圓領 T 恤。
如果你再仔細一點看，你會發(fā)現(xiàn)他廚房有些物品的放置也變了。
還有個最直觀的區(qū)別：老黃本人，還有他背后的廚房，怎么好像分辨率突然提上去了（不是我網(wǎng)絡問題?。?？
高到腦門上的抬頭紋都多了幾條。
這還沒完。
到發(fā)布會后半段，老黃穿著同一件皮衣，可是里面的衣服又換回了 Polo 衫 。
過了一會，他搖身一變，把皮衣和 Polo 衫全換了。
好家伙，你擱這玩排列組合呢？
真搞不懂，老黃來來回回在這換裝，是圖個啥。除非這是英偉達故意的。
于是，我們拿著放大鏡去看了視頻，終于注意到，這段老黃手上的動作，有明顯的不自然。而且畫面也是糊的。
懂了：）
總之，一段視頻騙了全世界 3 個月，不得不說，黃老板真是又高又硬。
贗品是個好東西！
英偉達紀錄片回看：點擊打開
face-vid2vid 相關論文：點擊打開
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。