IT之家 12 月 10 日消息，今日舉行的 FBEC2021 上，華為 VR / AR 產(chǎn)品線總裁李騰躍表示，華為 AR Engine 安裝量已達(dá)到 11 億次，已覆蓋機(jī)型 106 款，已接入應(yīng)用超 2000 款。
AR Engine 服務(wù)是一個(gè)用于在 Android 上構(gòu)建增強(qiáng)現(xiàn)實(shí)應(yīng)用的引擎。AR Engine 通過(guò)整合 AR 核心算法提供了運(yùn)動(dòng)跟蹤、環(huán)境跟蹤、人體和人臉跟蹤等 AR 基礎(chǔ)能力，通過(guò)這些能力可讓您的應(yīng)用實(shí)現(xiàn)虛擬世界與現(xiàn)實(shí)世界的融合，為您的應(yīng)用提供全新的視覺(jué)體驗(yàn)和交互方式。
借助 AR Engine ，開(kāi)發(fā)者可為您的應(yīng)用提供運(yùn)動(dòng)跟蹤、人體和人臉跟蹤、環(huán)境跟蹤等 AR 能力，助力應(yīng)用融合虛擬世界與現(xiàn)實(shí)世界，打造全新的視覺(jué)體驗(yàn)和交互方式。
目前 AR Engine 可提供三大類(lèi)能力，包括運(yùn)動(dòng)跟蹤、環(huán)境跟蹤、人體和人臉跟蹤。
AR Engine 借助這些能力來(lái)更好的理解現(xiàn)實(shí)世界，為用戶提供虛實(shí)融合的全新交互體驗(yàn)：
AR Engine 的運(yùn)動(dòng)跟蹤能力主要通過(guò)終端設(shè)備攝像頭標(biāo)識(shí)特征點(diǎn)，并跟蹤這些特征點(diǎn)的移動(dòng)變化，來(lái)不斷跟蹤終端設(shè)備位置和姿態(tài)。
AR Engine 的環(huán)境跟蹤能力可以識(shí)別平面（如地面、墻壁等）和物體（如立方體、矩形、圓形等），也可估測(cè)平面周?chē)墓庹諒?qiáng)度。
AR Engine 的人體和人臉跟蹤讓您的終端設(shè)備具備了對(duì)人的理解能力。通過(guò)定位人的手部位置和對(duì)特定手勢(shì)的識(shí)別，可將虛擬物體或內(nèi)容特效放置在人的手上；結(jié)合深度器件，還可精確還原手部的 21 個(gè)骨骼點(diǎn)的運(yùn)動(dòng)跟蹤，做更為精細(xì)化的交互控制和特效疊加；當(dāng)識(shí)別范圍擴(kuò)展到人的全身時(shí)，可利用識(shí)別到的 23 個(gè)人體關(guān)鍵位置，實(shí)時(shí)的檢測(cè)人體的姿態(tài)，為體感和運(yùn)動(dòng)健康類(lèi)的應(yīng)用開(kāi)發(fā)提供能力支撐。
運(yùn)動(dòng)跟蹤
持續(xù)跟蹤設(shè)備相對(duì)于周?chē)h(huán)境的位置和姿態(tài)變化軌跡，建立虛擬數(shù)字世界和現(xiàn)實(shí)物理世界的統(tǒng)一幾何空間，為您的應(yīng)用提供虛實(shí)融合的交互基礎(chǔ)平臺(tái)。目前運(yùn)動(dòng)跟蹤主要包括以下能力：運(yùn)動(dòng)跟蹤、命中檢測(cè)。
運(yùn)動(dòng)跟蹤
持續(xù)穩(wěn)定跟蹤終端設(shè)備的位置和姿態(tài)相對(duì)于周?chē)h(huán)境的變化，同時(shí)輸出周?chē)h(huán)境特征的三維坐標(biāo)信息。
AR Engine 主要通過(guò)終端設(shè)備攝像頭標(biāo)識(shí)特征點(diǎn)，并跟蹤這些特征點(diǎn)的移動(dòng)變化，同時(shí)將這些點(diǎn)的移動(dòng)變化與終端設(shè)備慣性傳感器結(jié)合，來(lái)不斷跟蹤終端設(shè)備位置和姿態(tài)。
通過(guò)將 AR Engine 提供的設(shè)備攝像頭的位姿與渲染 3D 內(nèi)容的虛擬攝像機(jī)的位姿對(duì)齊，您可從觀察者視角渲染虛擬物體，并可疊加到攝像頭圖像中，實(shí)現(xiàn)虛實(shí)融合。
命中檢測(cè)
用戶可通過(guò)點(diǎn)擊終端設(shè)備屏幕選中現(xiàn)實(shí)環(huán)境中的興趣點(diǎn)。
AR Engine 通過(guò)命中檢測(cè)技術(shù)，將終端設(shè)備屏幕上的興趣點(diǎn)映射為現(xiàn)實(shí)環(huán)境中的興趣點(diǎn)，并以興趣點(diǎn)為源發(fā)出一條射線連接到攝像頭所在位置，然后返回射線與平面（或特征點(diǎn)）的交點(diǎn)。命中檢測(cè)能力使您可與虛擬物體進(jìn)行交互。
環(huán)境跟蹤
跟蹤設(shè)備周?chē)墓庹铡⑵矫?、圖像、物體、環(huán)境表面等環(huán)境信息，輔助您的應(yīng)用實(shí)現(xiàn)虛擬物體以場(chǎng)景化的方式逼真地融入現(xiàn)實(shí)物理世界。目前環(huán)境跟蹤主要包括以下能力：光照估計(jì)、平面檢測(cè)、圖像跟蹤、環(huán)境 Mesh、平面語(yǔ)義、3D 云識(shí)別、目標(biāo)語(yǔ)義。
光照估計(jì)
跟蹤設(shè)備周?chē)墓庹招畔?，支持估?jì)環(huán)境光的強(qiáng)度。
AR Engine 可跟蹤設(shè)備周?chē)墓饩€信息，并計(jì)算出攝像頭圖像的平均光照強(qiáng)度。光照估計(jì)能力可讓虛擬物體融入到真實(shí)的光照環(huán)境中，看起來(lái)更加逼真。
平面檢測(cè)
AR Engine 可識(shí)別到水平和垂直平面（地面或墻面）上的成群特征點(diǎn)，并可識(shí)別到平面的邊界，您的應(yīng)用可使用這些平面來(lái)放置您需要的虛擬物體。
圖像跟蹤
AR Engine 提供圖像識(shí)別與跟蹤的能力，檢測(cè)場(chǎng)景中是否存在用戶提供的圖像，識(shí)別之后輸出圖像的姿態(tài)。
通過(guò)圖像識(shí)別與跟蹤功能，您可實(shí)現(xiàn)基于現(xiàn)實(shí)世界場(chǎng)景中圖像（海報(bào)或封面等）的增強(qiáng)現(xiàn)實(shí)。您可提供一組參考圖像，當(dāng)這些圖像出現(xiàn)在終端設(shè)備的相機(jī)視野范圍內(nèi)時(shí)，AR Engine 可為您的 AR 應(yīng)用實(shí)時(shí)跟蹤圖像，豐富場(chǎng)景理解及交互體驗(yàn)。
環(huán)境 Mesh
實(shí)時(shí)計(jì)算并輸出當(dāng)前畫(huà)面中的環(huán)境 Mesh 數(shù)據(jù)，可用于處理虛實(shí)遮擋等應(yīng)用場(chǎng)景。
AR Engine 提供實(shí)時(shí)輸出環(huán)境 Mesh 能力，輸出內(nèi)容包括終端設(shè)備在空間中的位姿，當(dāng)前相機(jī)視角下的三維網(wǎng)格，目前擁有后置深度攝像頭的機(jī)型支持，且支持的掃描環(huán)境為靜態(tài)場(chǎng)景。
通過(guò)環(huán)境 Mesh 能力，您可將虛擬物體放置在任意可重建的曲面上，而不再受限于水平面和垂直面。同時(shí)您可利用重建的環(huán)境 Mesh 實(shí)現(xiàn)虛實(shí)遮擋和碰撞檢測(cè)，使得虛擬角色能夠準(zhǔn)確的知道當(dāng)前所在的周?chē)S空間情況，幫助您實(shí)現(xiàn)更好的沉浸式 AR 體驗(yàn)。
平面語(yǔ)義
識(shí)別平面語(yǔ)義（例如桌面、地板、門(mén)等）。
AR Engine 可識(shí)別當(dāng)前平面的語(yǔ)義，目前可以識(shí)別桌面、地板、墻壁、座位、天花板、門(mén)、窗戶、床。
3D 云識(shí)別
AR Engine 檢測(cè)場(chǎng)景中是否存在用戶在云側(cè)配置的 3D 物體，當(dāng)這些物體出現(xiàn)在終端設(shè)備的相機(jī)視野范圍內(nèi)時(shí)，云側(cè)實(shí)時(shí)返回識(shí)別結(jié)果至終端設(shè)備，實(shí)現(xiàn)基于現(xiàn)實(shí)世界場(chǎng)景中 3D 物體的增強(qiáng)現(xiàn)實(shí)。
目標(biāo)語(yǔ)義
AR Engine 可識(shí)別物體的標(biāo)簽和形狀，目前可以識(shí)別桌子、椅子，支持識(shí)別的形狀包含立方體、圓形、矩形。
2D 云識(shí)別
識(shí)別和跟蹤云端 2D 圖像的數(shù)據(jù)。
AR Engine 檢測(cè)場(chǎng)景中是否存在用戶在云側(cè)配置的 2D 圖像，當(dāng)這些圖像出現(xiàn)在終端設(shè)備的相機(jī)視野范圍內(nèi)時(shí)，云側(cè)實(shí)時(shí)返回識(shí)別結(jié)果至終端設(shè)備，實(shí)現(xiàn)基于現(xiàn)實(shí)世界場(chǎng)景中 2D 圖像的交互。
人體和人臉跟蹤
跟蹤人臉、人體、手勢(shì)等實(shí)時(shí)信息，以輔助您的應(yīng)用實(shí)現(xiàn)用戶與虛擬物體交互的能力。
手勢(shì)識(shí)別
識(shí)別特定的手勢(shì)和特定的動(dòng)作。
AR Engine 提供多種特定手勢(shì)的識(shí)別，輸出識(shí)別到的手勢(shì)類(lèi)別結(jié)果并給出手掌檢測(cè)框屏幕坐標(biāo)，左手和右手均可支持。當(dāng)圖像中出現(xiàn)多只手時(shí)，只反饋單手（最清晰且置信度最高）識(shí)別結(jié)果和坐標(biāo)信息。支持前后置相機(jī)切換。
通過(guò)手勢(shì)識(shí)別能力，可將虛擬物體疊加到人的手部位置，并根據(jù)不同的手勢(shì)變化來(lái)激活某些狀態(tài)的切換，這可給您的 AR 應(yīng)用提供基礎(chǔ)的交互功能并增加新的玩法。
手部骨骼跟蹤
識(shí)別和跟蹤 21 個(gè)手部關(guān)節(jié)點(diǎn)的位置和姿態(tài)，形成手部骨骼模型，并可分辨左右手。
AR Engine 提供單手關(guān)節(jié)點(diǎn)和骨骼識(shí)別能力，輸出手指端點(diǎn)、手部骨骼等手部高級(jí)特征。當(dāng)圖像中出現(xiàn)多只手時(shí)，只反饋單手（最清晰且置信度最高）識(shí)別結(jié)果和坐標(biāo)信息。目前僅 Mate 20 Pro、Mate 20 RS 前置深度攝像頭支持。
通過(guò)手部骨骼識(shí)別能力，您可將虛擬物體疊加到更為精確的手部位置，例如手指尖、手掌心等；利用手部骨骼，可驅(qū)動(dòng)虛擬手做出更為豐富和精細(xì)的動(dòng)作，這可給您的 AR 應(yīng)用提供增強(qiáng)的交互功能和難以置信的新奇玩法。
人體姿態(tài)識(shí)別
識(shí)別特定的人體姿態(tài)，目前支持 6 種特定姿態(tài)。
AR Engine 提供單人的身體姿態(tài)識(shí)別能力，識(shí)別六種靜態(tài)身體姿勢(shì)并輸出識(shí)別結(jié)果，支持前后攝像機(jī)切換。
您可將人體姿態(tài)識(shí)別能力運(yùn)用在需要識(shí)別動(dòng)作并觸發(fā)某些事件的應(yīng)用場(chǎng)景，比如交互界面控制、游戲操作動(dòng)作識(shí)別等觸發(fā)類(lèi)交互行為，是體感應(yīng)用的基礎(chǔ)核心功能，為您的 AR 應(yīng)用提供較遠(yuǎn)距離遠(yuǎn)程控制和協(xié)作的能力，豐富應(yīng)用的交互體驗(yàn)。
人體骨骼跟蹤
識(shí)別和跟蹤 23 個(gè)身體骨骼點(diǎn)的 2D 位置（或 15 個(gè)骨骼點(diǎn)的 3D 位置），支持單人和雙人。
AR Engine 提供單人和雙人的身體關(guān)節(jié)點(diǎn)識(shí)別能力。支持 2D 骨骼（屏幕坐標(biāo)系）和 3D 骨骼（與 SLAM 結(jié)合的空間坐標(biāo)系）的輸出，支持前后置相機(jī)切換。
通過(guò)人體骨骼識(shí)別能力，您可將虛擬物體疊加到人體的指定部位，例如左肩、右腳踝等；利用人體骨骼，可驅(qū)動(dòng)虛擬人偶做出更為豐富和精細(xì)的動(dòng)作，這可給您的 AR 應(yīng)用提供大范圍的交互功能和難以置信的新奇玩法。
人體 Mask
識(shí)別和跟蹤當(dāng)前畫(huà)面人體所在區(qū)域，并提供該區(qū)域的深度信息。
AR Engine 提供單人或雙人身體輪廓的識(shí)別和跟蹤能力，實(shí)時(shí)輸出人體輪廓 Mask 信息和對(duì)應(yīng)的骨骼點(diǎn)信息。
通過(guò)人體輪廓跟蹤能力，您可利用人體的輪廓 Mask 信息對(duì)虛擬物體和場(chǎng)景進(jìn)行遮蔽。比如在 AR 拍照時(shí)更換虛擬背景、讓虛擬玩偶躲到人身后等，都可使用 Mask 能力來(lái)實(shí)現(xiàn)更為自然的遮擋效果，這可進(jìn)一步提升 AR 應(yīng)用的真實(shí)感和觀看體驗(yàn)。
人臉表情跟蹤
實(shí)時(shí)計(jì)算人臉的位姿及各表情對(duì)應(yīng)的參數(shù)值，可用于人臉表情直接控制虛擬形象的表情。
AR Engine 提供人臉表情跟蹤的能力，跟蹤獲取人臉圖像信息，實(shí)時(shí)將其理解成人臉表情內(nèi)容，并轉(zhuǎn)化成各種表情參數(shù)。利用表情參數(shù)可控制虛擬形象的表情展現(xiàn)。
AR Engine 提供的表情種類(lèi)為 64 種，包含眼睛、眉毛、眼球、嘴巴、舌頭等主要臉部器官的表情動(dòng)作。
人臉 Mesh
實(shí)時(shí)計(jì)算人臉的位姿及 Mesh 模型數(shù)據(jù)，Mesh 模型數(shù)據(jù)實(shí)時(shí)跟隨人臉形變和運(yùn)動(dòng)。
AR Engine 提供高精度人臉 Mesh 建模及跟蹤能力，在獲取人臉圖像信息后，實(shí)時(shí)建立逼真的 Mesh 模型。Mesh 模型隨著人臉的移動(dòng)變形發(fā)生相應(yīng)的位置和形狀變化，達(dá)到實(shí)時(shí)精確捕捉動(dòng)作的效果。
AR Engine 提供 4 千多個(gè)頂點(diǎn)、7 千多個(gè)三角形面片的 Mesh，能精細(xì)勾勒臉部輪廓，增強(qiáng)體驗(yàn)效果。
人臉健康檢測(cè)
實(shí)時(shí)計(jì)算人臉健康信息，同時(shí)計(jì)算人體關(guān)鍵健康信息（如心率等）。
AR Engine 提供人體健康檢測(cè)的能力，包括心率、呼吸率、面部健康狀態(tài)、心率波形圖信號(hào)等健康信息。
IT之家了解到，AR Engine 的優(yōu)勢(shì)包括：
軟硬優(yōu)化：整合模組、芯片、算法和 HarmonyOS 系統(tǒng)，采用硬件加速，提供效果更好、功耗更低的增強(qiáng)現(xiàn)實(shí)能力。
差異化能力：基于華為設(shè)備的獨(dú)特硬件，在基礎(chǔ)的 SLAM 定位和環(huán)境理解能力外，還提供手勢(shì)、肢體識(shí)別交互能力。
多設(shè)備支持：支持在眾多華為設(shè)備上集成 HUAWEI AR Engine，下載量已超過(guò) 11 億。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。