IT之家 12 月 29 日消息，在虛擬現(xiàn)實(shí)和 3D 建模過程中，如何利用有限的數(shù)據(jù)源（例如單視角的多段視頻），構(gòu)建動態(tài)、高保真數(shù)字人體模型存在諸多挑戰(zhàn)。
傳統(tǒng)方法主要依賴大量訓(xùn)練數(shù)據(jù)和復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)，需要平衡詳細(xì)且準(zhǔn)確的數(shù)字模型和實(shí)時應(yīng)用程序所需的計(jì)算效率，因此在渲染速度和模型保真度方面會有所犧牲。
浙江大學(xué) ReLER 實(shí)驗(yàn)室攜手 CCAI，為了應(yīng)對這些調(diào)整，開發(fā)突破性框架--Human101，可以顯著提高虛擬現(xiàn)實(shí)應(yīng)用程序中的訓(xùn)練和渲染速度。
這種創(chuàng)新方法在確保生成模型的高保真度情況下，快速高效地重建 3D 數(shù)字人體模型。
Human101 的核心在于集成了 3D 高斯散射和先進(jìn)的動畫技術(shù)，有助于高效處理單視角視頻數(shù)據(jù)，生成動態(tài)的 3D 人體模型。
Human101 利用了一種新穎的、以人類為中心的前向高斯動畫方法，避免了對目標(biāo)姿勢點(diǎn)的相應(yīng)規(guī)范點(diǎn)的窮舉搜索，直接將規(guī)范點(diǎn)變形到觀察空間，簡化了變形過程并提高了渲染速度。
此外 Human101 還采用規(guī)范人類初始化方法，更有效地初始化原始高斯分布，極大地加快了模型的收斂速度。
從測試結(jié)果來看，訓(xùn)練 3D 高斯體可以在 100 秒內(nèi)完成，相比較現(xiàn)有方法，大幅縮短了時間。
此外，渲染速度超過 100 FPS，這一重大改進(jìn)為實(shí)時交互式應(yīng)用程序和沉浸式虛擬現(xiàn)實(shí)體驗(yàn)開辟了新的可能性，這種效率并未以質(zhì)量為代價；該框架設(shè)法保持甚至在許多情況下超過了當(dāng)前方法的視覺保真度。
IT之家附上論文參考地址：https://arxiv.org/abs/2312.15258
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。