驚艷眾人的 Vision Pro 竟偷偷裝了「腦機接口」？
蘋果 Vision Pro 的橫空出世，一夜之間在全球引起軒然大波。
正如庫克所稱，這將開啟「空間計算」時代，足見 Vision Pro 對所有人來說意義非凡。
戴上 Vision Pro，只需眨眨眼，捏合手指，甚至動動嘴，「頭號玩家」的科幻便成為可能。
但，蘋果 Vision Pro 的科幻感，不僅于此。
頭顯發(fā)布后，蘋果前研究員 Sterling Crispin 在推特回顧自己工作中，透露了不少關(guān)于 Vision Pro 的「黑科技」。
最讓人驚艷的是，Vision Pro 其實還暗藏著一種「腦機接口」技術(shù)。
不需要芯片植入，它就能預(yù)測你的大腦行為，妥妥的「讀心術(shù)」。
此外，蘋果頭顯還能根據(jù)個人身體和大腦的數(shù)據(jù)，來檢測心理狀態(tài)。
看似篇幅不長的推文中，其實給許多人對蘋果 Vision Pro 帶來了無限的暢享。
Vision Pro 暗藏「腦機接口」？
2018 年，Sterling Crispin 加入蘋果技術(shù)開發(fā)小組，擔(dān)任「神經(jīng)技術(shù)原型」的研究員。
3 年前，他開始參與 Vision Pro 的研發(fā)工作。
正如他在推特上所稱，自己花費人生 10% 的時間為 Vision Pro 的開發(fā)做出貢獻，這是我做過的最長的一次努力。
Crispin 在蘋果的大部分工作都受到保密協(xié)議的約束，設(shè)計廣泛的主題和方法。
但其實，這些工作，有些蘋果已經(jīng)申請了專利，可以拿出來講。
Crispin 稱，「要使特定預(yù)測成為可能，涉及很多技巧，我提到的少數(shù)專利對此進行了詳細說明?！?/p>
最酷的能力就是能夠預(yù)測用戶，會在他們實際點擊之前，點擊某些東西。
而這項技術(shù)背后的主要原理是，每個人在做每件事之前，瞳孔會做出反應(yīng)，其中部分原因是你預(yù)計在你點擊之后會發(fā)生一些事情。
因此，蘋果可以通過算法來監(jiān)視你的眼睛行為。
并實時重新設(shè)計 UI，以創(chuàng)建更多這種預(yù)期的瞳孔反應(yīng)，從而創(chuàng)建個人大腦的生物反饋。
這其實就是通過眼睛實現(xiàn)的初級「腦機接口」。
Crispin 表示，「這是一項艱巨的工作，也是我引以為豪的事情。隨時都會接受侵入性腦部手術(shù)?！?/p>
從中可見，蘋果頭顯利用大量神經(jīng)科學(xué)技術(shù)來開發(fā)其中的一些關(guān)鍵功能，憑借不同技巧來確定一個人將要做的事。
此外，Crispin 稱自己工作很大一部分，涉及通過用戶在沉浸式體驗中的身體和腦部數(shù)據(jù)，來檢測用戶的心理狀態(tài)。
畢竟沉浸在虛擬世界中的人們，真的很需要有個健康檢測的功能。
當(dāng)你處在混合現(xiàn)實，或者虛擬現(xiàn)實體驗中，AI 模型嘗試預(yù)測你是否感到好奇、思維漫游、害怕、注意力集中、記起過去的經(jīng)歷或其他認知狀態(tài)。
而這些都可以通過眼動追蹤、腦部電活動、心臟跳動和節(jié)奏、肌肉活動、大腦中的血液密度、血壓、皮膚電導(dǎo)等測量數(shù)據(jù)來推斷。
除了以上提到的技術(shù)，推測認知狀態(tài)還包括你可能察覺不到的方式。
比如，向你快速閃爍視覺效果，或者聲音，然后測量你對此的反應(yīng)。
還有一項專利介紹了，如何使用機器學(xué)習(xí)，以及來自身體和大腦的信號來預(yù)測你的注意力、放松程度或?qū)W習(xí)情況。
然后，頭顯會自動更新虛擬環(huán)境，以增強這些狀態(tài)。
因此，你可以想象一個自適應(yīng)沉浸式環(huán)境，它可以通過改變你在背景中看到和聽到的內(nèi)容，來幫助每個人學(xué)習(xí)、工作或放松。
Sterling Crispin 介紹的這些和科技，或許我們能夠在 VisionPro 未來迭代升級中看到。
背后部分專利一覽
支撐發(fā)布會上魔幻演示的效果的，是蘋果在默默開發(fā) VR 設(shè)備這么多年中自己的技術(shù)積累。
5000 多項 VR 專利，是發(fā)布會上驚艷眾人產(chǎn)品和基石和護城河。
現(xiàn)在就來看看演示中涉及到的專利技術(shù)。
雙手 + 意念控制一切
市面上幾乎所有的 VR 設(shè)備都配備了手柄。
但是蘋果卻大膽的在自己的第一款 VR 產(chǎn)品中就完全依賴手勢追蹤和眼球追蹤實現(xiàn)了絲滑的控制效果。
背后的技術(shù)在 2023 年獲得了專利。
根據(jù)專利圖示，F(xiàn)IG.1 是 3D 操作環(huán)境的框架圖，展示了用戶 UI 實現(xiàn)的整體框架。
FIG.4 是捕捉用戶的手勢輸入的頭顯計算機系統(tǒng)的手部跟蹤單元的框架圖。
FIG.5 是用戶的眼球追蹤數(shù)據(jù)輸入的頭顯計算機系統(tǒng)的眼睛跟蹤單元的框架圖。
這個專利圖例展示了眼球反光輔助眼球追蹤的流程圖。
除了提供手部和眼球追蹤技術(shù)的基礎(chǔ)之外，該專利還描述了用戶如何在 3D 環(huán)境中更有效的進行交互的設(shè)計和流程。
強大的手勢追蹤體驗，還源于今年 5 月，蘋果又獲得了一項專利。
這項專利描述了頭顯中的攝像頭如何使用深度映射來區(qū)分不同的手勢。
圖注：FIG.7E / F / H / I 說明了相對于三維環(huán)境，基于用戶在一系列用戶輸入期間保持的手握力從而有選擇地移動虛擬對象或相對于三維環(huán)境（以及三維環(huán)境中的所有虛擬對象）移動視點維度環(huán)境。
一鍵生成 3D 形象
還記得之前被全網(wǎng)嘲諷的小扎在 Horizon World 里的 3D 形象嗎？
蘋果給出了的方案也許部分解釋了為什么同樣是做 VR 設(shè)備，蘋果能引爆全網(wǎng)，Meta 卻讓自己的股票「跌跌不休」。
背后的技術(shù)專利也在上周被公布出來。
這個專利描述了未來的 Apple Watch 和 XR 頭顯將允許用戶使用設(shè)備上的相機設(shè)置自己的 3D 頭像的技術(shù)。
在專利的示意圖中，蘋果展示了未來的 Apple Watch 允許用戶使用 Apple Watch 背面的傳感器拍攝自己的 Face ID 圖像。
該傳感器技術(shù)同樣可用于 XR 環(huán)境。
無限畫布
蘋果發(fā)布會上演示的 Vision Pro 可以將周圍空間作為無限畫布。
用戶不僅可以隨意使用任何 APP，而且可以把它們調(diào)成喜歡的任意尺寸。
蘋果在 2018 年就申請了和這個功能相關(guān)的專利，這項技術(shù)讓未來的 XR 頭顯提供用戶在 3D 環(huán)境中編輯文檔的功能。
如下圖 Apple 的專利圖所示。
另一個相關(guān)專利是 2021 年獲得的讓佩戴 XR 頭顯設(shè)備 (HMD) 的用戶可以查看顯示器（Mac、MacBook 或電視）并根據(jù)需要進行虛擬擴展的技術(shù)。
收購 AR 初創(chuàng)公司 Mira
其實，從申請多項專利可見，蘋果在 AR / VR 領(lǐng)域的探索，蓄謀已久。
最早可以回溯到 2010 年，蘋果就收購了來自瑞典的面部識別技術(shù)公司 Polar Rose。
在 Vision Pro 推出的后一天，就傳出了蘋果近來收購了 Mira。這是一家構(gòu)建輕量級 AR 頭顯的初創(chuàng)公司，還為美國軍方提供服務(wù)。
根據(jù) Mira 首席執(zhí)行官 Ben Taft 在 Ins 上的帖子顯示，作為收購的一部分，蘋果已經(jīng)聘請了至少 11 名 Mira 的員工。為 Mira 在蘋果的下一篇章感到興奮。從宿舍到收購的 7 年旅程。
目前，具體收購金額未知，也不清楚 Mira 在蘋果的增強現(xiàn)實路線圖中扮演怎樣的角色。
據(jù) 2 名前員工透露，蘋果前設(shè)計主管 Jony Ive 曾一度擔(dān)任這家初創(chuàng)公司的顧問。
Mira 于 2016 年由 Ben Taft 創(chuàng)立，總部位于洛杉磯，一直在為全球客戶生產(chǎn) AR 頭顯，包括任天堂在日本環(huán)球影城中的主題公園。
這家初創(chuàng)公司迄今已籌集了約 1700 萬美元的資金，包括藍熊資本、幸福投資和紅杉資本在內(nèi)的投資者。
而蘋果在 Vision Pro 中展示出來的很多技術(shù)，也是源于一次次成功的收購。
比如一些手勢和空間定位的專利技術(shù)，就是通過收購了總部位于蒙特利爾的 VRvana 獲得的。
頭顯「iPhone 時刻」到來，還需 5 年
蘋果推出的 Vision Pro，預(yù)示著它的下一個時代即將到來。
這款頭顯標志著蘋果首次創(chuàng)建了一個新的計算平臺，可以取代現(xiàn)有的大部分主要產(chǎn)品。
盡管 iPhone 蠶食了 iPod，iPad 威脅到了 Mac。但是，還沒有哪一個蘋果產(chǎn)品類別能夠同時擊敗當(dāng)前 3 個主要細分市場。
彭博報道稱，想讓 Vision Pro 成為 iPhone 的替代品，至少需要 5 年的時間。若要成為殺手級產(chǎn)品，可能需要付出更多的時間。
如今，Vision Pro 售價 3499 美元，價格高且不說，不能與手機互聯(lián)互通，甚至也不能打電話。
而且設(shè)計還是太過笨重，而且必須隨身裝一個外置電池組，僅有 2 小時電量，無法長時間使用。
但在接下來的幾年里，蘋果能夠解決這些問題，并推出一款「無所不能」的設(shè)備。
表面來看，Vision Pro 看起來就像是一個為有錢人，或者那些對科技新品有無限需求的人而定制的「高價玩具」。
但是，蘋果在 WWDC 上也竭力表明，這是每個人的設(shè)備，從辦公、到娛樂、視頻、出行等等方面。
不過，這并非不可能。
蘋果在 iPhone、MacBook 等產(chǎn)品的迭代更新向世人展示了自身的潛力。
進而，Vision Pro 及其更先進的后續(xù)產(chǎn)品的發(fā)展價值，也將變得更加清晰。
其實還有一點是，Vision Pro 并不像 iPad 或 iPhone 一樣容易上手。而且每個人戴上頭顯還可能會有沉浸體驗的不舒適感。
不過，隨著時間的推移，人們便會習(xí)慣這種全新的「空間計算機」，就像戴一副眼鏡一樣。
通過 Vision Pro，蘋果展示了自己正朝著將計算設(shè)備體積縮到最小、最輕便的未來努力。
但這可能是一條漫長，而崎嶇的道路。
不過，至少在周一的 2 個小時里，對于數(shù)百萬果粉來說，這款頭顯讓他們終于見證了 Vision Pro 的到來。
或許有一天，我們可能會戴著 Vision Pro，觀看 WWDC 2030。
參考資料：
https://twitter.com/sterlingcrispin/status/1665792422914453506
https://www.bloomberg.com/news/newsletters/2023-06-06/apple-vision-pro-a-post-mac-iphone-and-ipad-future-with-new-visionos-and-apps
https://www.patentlyapple.com/2023/06/today-apple-introduced-the-apple-vision-pro-a-revolutionary-spatial-computer-headset-thats-out-of-this-world-backed-by.html
本文來自微信公眾號：新智元 （ID：AI_era）
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。