如何讓遠(yuǎn)在千里的朋友來(lái)你家下棋？
沒(méi)錯(cuò)，是你住的家中，而不是你和朋友在手機(jī)上聯(lián)機(jī)下棋或者同時(shí)處于某個(gè)完全虛幻的場(chǎng)景中。
前不久，扎克伯格披露其高端頭顯產(chǎn)品，內(nèi)部代號(hào)為 Project Cambria 的 VR 頭顯即將實(shí)現(xiàn)這一場(chǎng)景。
▲ Meta 的 Quest 2 所呈現(xiàn)的黑白透視
Project Cambria 將會(huì)給圖片內(nèi)的灰色全部“復(fù)原”色彩，讓你一時(shí)間很難分辨出哪些是虛擬物體，哪些是原有物品。而這背后離不開(kāi)一項(xiàng)重要的技術(shù) —— 全彩透視（full-color passthrough）。
扎克伯格曾在其最新的財(cái)報(bào)會(huì)議上提到全彩透視技術(shù)將是 Project Cambria 最大的特點(diǎn)之一。
全彩透視技術(shù)屬于視頻透視技術(shù)（Video-seethrough）的一個(gè)分支，也就是通過(guò)相機(jī)捕捉到實(shí)時(shí)畫(huà)面，將虛擬世界和真實(shí)世界合成后，呈現(xiàn)豐富色彩的顯示畫(huà)面。
就像圖片中的吉他和花架，通過(guò)全彩透視技術(shù)巧妙地和其他物品融為一體。
▲ 通過(guò)全彩透視技術(shù)呈現(xiàn)的畫(huà)面
5 月 13 日，美國(guó)專利商標(biāo)局公布了一項(xiàng)蘋(píng)果專利，指出一種用于頭顯的多透鏡組合方案，可實(shí)現(xiàn)視頻透視功能。再結(jié)合近期外媒 The information 的爆料信息，不少人士推斷蘋(píng)果的 MR 頭顯很有可能采用的也是全彩透視技術(shù)。
此外，一些初創(chuàng)企業(yè)也在瞄準(zhǔn)全彩透視技術(shù)的相關(guān)特性。VR 頭顯公司 Valve 近期宣布與 3D 傳感技術(shù)公司 Occipital 的 Arcturus Industries 團(tuán)隊(duì)合作，為 VR 設(shè)備提供全彩色透視模式。
為何全彩透視技術(shù)能成為 Meta 頭顯的突破口？Meta 在全彩透視技術(shù)方面做了哪些工作？全彩透視技術(shù)又將對(duì) VR / AR 行業(yè)帶來(lái)哪些影響？我們與多位產(chǎn)業(yè)人士交流后，嘗試找到問(wèn)題的答案。
給元宇宙“上色”，全彩透視分四步走
透視是指看到現(xiàn)實(shí)世界。目前的 VR 設(shè)備打造的是一個(gè)完全虛擬的環(huán)境，不會(huì)與現(xiàn)實(shí)世界產(chǎn)生互動(dòng)，但是通過(guò)透視用戶就可以同時(shí)看到現(xiàn)實(shí)世界和數(shù)字世界。
而目前的透視方案分成兩大類，光學(xué)透視和視頻透視。
光學(xué)透視的顯示方案是通過(guò)特殊的透鏡設(shè)計(jì)將數(shù)字畫(huà)面投射到半透明的顯示裝置。而視頻透視的顯示方案則是通過(guò)相機(jī)實(shí)時(shí)捕捉畫(huà)面，再和虛擬世界本該呈現(xiàn)的畫(huà)面融合，最終呈現(xiàn)在顯示屏幕上。
▲ 光學(xué)透視（OST）和視頻透視（VST）兩種不同的光學(xué)路徑示意圖
由于光學(xué)透視的光路設(shè)計(jì)復(fù)雜，顯示的畫(huà)面視角有限，并且由于光線原因無(wú)法顯示純黑的畫(huà)面，以及光學(xué)零部件成本造價(jià)較高，因此 VR 設(shè)備的廠商們往往選擇已經(jīng)較為成熟的視頻透視方案。
回憶一下，當(dāng)你戴上 VR 頭顯，需要建立安全區(qū)域的時(shí)，是不是也能同時(shí)看到自己的房間。并且你還可以用 VR 手柄在房間里圈定一定的安全區(qū)域。
這時(shí)候，你眼中看到的現(xiàn)實(shí)場(chǎng)景和虛擬世界融合的場(chǎng)景正是通過(guò)視頻透視技術(shù)實(shí)現(xiàn)的。
盡管多數(shù) VR 設(shè)備已經(jīng)搭載了透視技術(shù)，但基于目前 VR 設(shè)備上搭載的 RGB 攝像頭以及產(chǎn)品設(shè)計(jì)等因素，現(xiàn)有的 VR 設(shè)備上支持的多數(shù)為黑白透視。
據(jù)行業(yè)人士透露，黑白透視只需要利用空間定位攝像頭以及一些簡(jiǎn)單的算法，就可以實(shí)現(xiàn)不錯(cuò)的透視效果。
▲ 黑白透視場(chǎng)景
但要做到全彩透視，盡管只是簡(jiǎn)單的“上色”一步，其背后則又需要考慮多個(gè)技術(shù)的融合。
目前，全彩透視主要可以分為四步：透視、空間錨點(diǎn)（放置 AR 物體）、三維重建、環(huán)境理解及對(duì)象識(shí)別。
值得注意的是，與 AR 設(shè)備顯示的畫(huà)面不同，全彩透視技術(shù)看到的現(xiàn)實(shí)世界，并非是通過(guò)人眼直接看到真實(shí)世界，事實(shí)上，人的眼睛看到的是機(jī)器拍攝現(xiàn)實(shí)世界場(chǎng)景，并經(jīng)過(guò)處理之后投射在顯示屏上的畫(huà)面。
從黑白到全彩，全彩透視需突破三大技術(shù)難點(diǎn)
從黑白透視到全彩透視究竟有多難？
經(jīng)過(guò)梳理，我們發(fā)現(xiàn)要實(shí)現(xiàn)全彩透視技術(shù)需要突破三大技術(shù)難點(diǎn)。
首先是硬件升級(jí)。影創(chuàng)科技創(chuàng)始人孫立認(rèn)為從硬件上來(lái)看，從黑白透視到全彩透視可能會(huì)涉及到攝像頭的升級(jí)，廠商們可能會(huì)將 VR 設(shè)備上的 RGB 的攝像頭進(jìn)行升級(jí)，甚至部分設(shè)備會(huì)配備深度傳感器，以實(shí)現(xiàn)更高精度、色彩豐富的畫(huà)面效果。
此前業(yè)內(nèi)也有傳聞證實(shí)這一點(diǎn)。據(jù)悉，相較于 Quest 2，Project Cambria 搭載了分辨率比 Quest?2 高三倍、專門(mén)設(shè)計(jì)用于彩色透視的深度傳感器和攝像頭，其能夠?qū)崿F(xiàn)以假亂真的混合現(xiàn)實(shí)體驗(yàn)。
▲ 全彩透視場(chǎng)景
其次在算法上也提高了一定的要求。由于全彩透視對(duì)分辨率、色彩的還原度和準(zhǔn)確性要求較高，物體的位置和物體的大小范圍一一對(duì)應(yīng)，因此往往需要一套接近實(shí)時(shí)重構(gòu)的算法。這提高了對(duì)算法和算力的要求，也對(duì)頭顯自身處理計(jì)算的能力有了更高的要求。
因此，頭顯的成本價(jià)格就可能翻倍增長(zhǎng)，甚至是成倍增長(zhǎng)。據(jù)悉，Meta Project Cambria 的價(jià)格上漲到 800 美元，蘋(píng)果的 MR 頭顯定價(jià)或?qū)⑦_(dá)到 3000 美元。
頭顯廠商為何攻向全彩透視方案？
為何諸多頭顯廠商紛紛鉚足勁攻克該方向呢？我們可以簡(jiǎn)單的從 Meta 透露的信息中一觀全彩透視的好處。
首先，是用戶活動(dòng)的場(chǎng)景變大。用戶不再受限于狹小的安全區(qū)范圍內(nèi)，可以自由地在房間內(nèi)選擇活動(dòng)空間，甚至這次你的天花板也可以成為你的新“畫(huà)板”。
據(jù) 5 月 25 日官方信息披露，Quest 2 房間設(shè)置新增實(shí)驗(yàn)性功能，用戶可以標(biāo)記家中物體表面，勾勒出墻壁和內(nèi)部物體的大致范圍，將你的“家具”、“墻壁”等搬入“元宇宙”。該功能尚處于測(cè)試階段，將在 v40 更新版本中正式運(yùn)行。
其次，我們可以看到，全彩透視也為辦公場(chǎng)景帶來(lái)了一些新的玩法。工作室的伙伴們可以在一起討論新的設(shè)計(jì)方案，并且實(shí)時(shí)表達(dá)自己的意見(jiàn)，進(jìn)行調(diào)整和修改。
“有了全彩透視，用戶可以通過(guò) VR 頭顯看到真實(shí)世界，實(shí)現(xiàn)真實(shí)和虛擬的結(jié)合，極大地?cái)U(kuò)展了 VR 頭顯的使用場(chǎng)景，像是社交應(yīng)用和商務(wù)辦公等，讓 VR 不再只是娛樂(lè)終端，而可以拓展成為一種工具，一個(gè)計(jì)算平臺(tái)?！睈?ài)奇藝奇遇 VR 頭顯的相關(guān)負(fù)責(zé)人說(shuō)道。
▲ 黑白透視場(chǎng)景
最后，從用戶體驗(yàn)上來(lái)看，全彩透視將“虛實(shí)融合”一詞的場(chǎng)景又重新推上了一個(gè)新的臺(tái)階。此前，VR / AR 設(shè)備能夠?qū)崿F(xiàn)的僅僅是全部虛擬以及現(xiàn)實(shí)世界上增添一些簡(jiǎn)單的數(shù)字信息。
哪怕現(xiàn)在 Quest 通過(guò)黑白透視呈現(xiàn)的部分場(chǎng)景，也只是在虛擬世界中“復(fù)現(xiàn)”現(xiàn)實(shí)世界的場(chǎng)景，遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到“融合”的效果。
有了全彩透視技術(shù)，你可以重新裝修你的新房間，為它添上很多你目前還無(wú)法安置的東西，可以是一把吉他、一只寵物狗或者是你遠(yuǎn)在他鄉(xiāng)的親朋好友。
▲ 當(dāng)虛擬寵物進(jìn)入現(xiàn)實(shí)生活
用 Quest 2 試水，Meta 為全彩透視技術(shù)布局多時(shí)
事實(shí)上，Meta 對(duì)全彩透視技術(shù)早已布局多時(shí)，并且已在 Quest 2 上試水。1 月 13 日，Quest 2 的透視功能正式開(kāi)放 SDK，并且接入了多款基于黑白透視功能開(kāi)發(fā)的游戲，如《Cubism》、《Blaston》等。
我們可以看到，這是 Meta 為其全彩透視功能作出的一次鋪墊?；?Quest 2 的黑白透視功能，VR 內(nèi)容廠商已經(jīng)提供了一些新的玩法，隨后將基于 Project Cambria 的全彩透視功能做出相應(yīng)改良。
▲ Meta 的 Project Cambria 所呈現(xiàn)的虛實(shí)融合場(chǎng)景
前不久，多人 VR 創(chuàng)作應(yīng)用軟件《MultiBrush》宣布支持 Meta Avatar 系統(tǒng)頭像和透視模式。
同時(shí)，當(dāng) Quest 2 開(kāi)放透視模式之后，Quest 2 也不能僅僅看作一款 VR 頭顯，它也具有一定的 AR 特性。
據(jù)消息人士透露，目前國(guó)內(nèi)外不少 VR 頭顯廠商也正在計(jì)劃引入全彩透視功能。如今看來(lái)，全彩透視功能很可能是未來(lái) VR 頭顯升級(jí)的重要功能之一。
盡管 Meta 將全彩透視功能描述的天花亂墜，但這些還僅限于理論場(chǎng)景。
從發(fā)布時(shí)間來(lái)看，Project Cambria 很有可能是第一款具備頭手 6dof 定位以及全彩透視的頭顯產(chǎn)品，因此增添全彩透視功能的頭顯設(shè)備究竟能帶來(lái)哪些體驗(yàn)，還有待觀望。
但從智東西和不少 VR / AR 設(shè)備研發(fā)者交流中發(fā)現(xiàn)，他們都對(duì)于全彩透視持有看好的態(tài)度，甚至給出了“全彩透視是 VR 成為元宇宙入口的關(guān)鍵技術(shù)”的評(píng)價(jià)。
愛(ài)奇藝奇遇 VR 頭顯的相關(guān)負(fù)責(zé)人還提到，當(dāng)具有全彩透視功能的 VR 頭顯面世后，會(huì)在未來(lái)很長(zhǎng)一段時(shí)間會(huì)成為市場(chǎng)的主流產(chǎn)品，并實(shí)現(xiàn) AR 場(chǎng)景在消費(fèi)領(lǐng)域的落地，也會(huì)對(duì)現(xiàn)有光學(xué)透視的 AR 產(chǎn)品帶來(lái)較大沖擊。
在調(diào)查的過(guò)程中，我們還發(fā)現(xiàn)一家國(guó)內(nèi)初創(chuàng)企業(yè)嘗試從光學(xué)透視和視頻透視兩種方案中走出一條新的道路。
據(jù)報(bào)道，國(guó)內(nèi) VR 企業(yè)蟻視科技曾在 2018 年的 CES 大會(huì)上展示了蟻視 Mix 原型機(jī)該設(shè)備則應(yīng)用了蟻視獨(dú)家研發(fā)的的“時(shí)分透視 TDST（Time-Division See-Through）”技術(shù)，可以將真實(shí)和虛擬環(huán)境的光線通過(guò)光學(xué)調(diào)制器快速切換融合在一起。
但可惜的是，通過(guò)多方調(diào)查，我們?nèi)晕粗廊缃裨擁?xiàng)技術(shù)能夠?qū)崿F(xiàn)什么樣的效果。
結(jié)語(yǔ)：VR 頭顯也可“看”現(xiàn)實(shí)世界，全彩透視為元宇宙帶來(lái)新玩法
目前 VR 設(shè)備上存在視頻透視、光學(xué)透視兩種方案。但是由于成本、FOV 等影響問(wèn)題，視頻透視成為主流的 VR 頭顯廠商選擇的方案。而如今，VR 設(shè)備上所搭載的黑白視頻透視技術(shù)正在“升級(jí)”成全彩透視技術(shù)。
全彩透視技術(shù)的出現(xiàn)，一方面加速了產(chǎn)品形態(tài)的融合，打破了虛擬世界和現(xiàn)實(shí)世界之間的空間。另一方面，設(shè)備也在玩法上加強(qiáng)了用戶體驗(yàn)以及開(kāi)拓出更多的場(chǎng)景，釋放出更多的生產(chǎn)力。
Meta 究竟將全彩透視玩得怎么樣？是否只是為了宣傳其新品的功能而強(qiáng)捧其技術(shù)效果？今年十月，我們或許能一窺真相。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。