研究人員提出首個可以渲染高動態(tài)范圍（High Dynamic Range, HDR）自然光的 3DGaussian Splatting 模型 HDR-GS，以用于新視角合成（Novel View Synthesis, NVS）。
該方法可以根據(jù)用戶輸入的曝光時間來改變渲染場景的光照強度，同時還可以直接渲染高動態(tài)范圍場景。比當前最好的算法 HDR-NeRF 速度上要快 1000 倍。
常見的 RGB 圖像大都為低動態(tài)范圍（Low Dynamic Range, LDR），亮度的取值范圍在 [0,255] 之間。
然而人眼對亮度的感知范圍要比 RGB 圖像寬廣得多，一般為 [0,+∞]，導致 LDR 圖像很難反映真實場景的亮度范圍，使得一些較暗或者較亮的區(qū)域的細節(jié)難以被捕捉，高動態(tài)范圍（High Dynamic Range，HDR）圖像應運而生，具有更廣的亮度范圍。
新視角合成（Novel View Synthesis，NVS）任務是在給定「一個場景的幾張不同視角圖像，并且相機位置已知」的情況下，合成其他新視角的場景圖像。
同比于 LDR NVS，HDR NVS 能更好地擬合人類視覺，捕獲更多的場景細節(jié)，渲染更高質量、視覺效果更好的圖片，在自動駕駛、圖像編輯、數(shù)字人等方面有著十分廣泛的應用。
當前主流的 HDR NVS 方法主要基于神經(jīng)輻射場（Neural Radiance Fields, NeRF），然而，NeRF 的 ray tracing 加 volume rendering 機制都十分耗時，常常需要十分密集地采集射線，然后在每一條射線上采集多個 3D 點，對每一個 3D 點過一遍 MLP 來計算體密度和顏色，嚴重拖慢了訓練時間和推理速度。當前最好的 NeRF 算法 HDR-NeRF 需要耗費 9 小時來訓練一個場景，8.2 秒來渲染一張尺寸為 400x400 的圖像。
為了解決上述問題，清華大學、上海交通大學、香港科技大學、約翰霍普金斯大學的研究人員提出了首個基于 3DGS 的方法 HDR-GS，用于三維 HDR 成像；設計了一種有著雙動態(tài)范圍的三維高斯點云模型，同時搭配兩條平行的光柵化處理管線以用于渲染 HDR 圖像和光照強度可控的 LDR 圖像。
研究人員還重新矯正了一個 HDR 多視角圖像數(shù)據(jù)集，計算得到的相機參數(shù)和初始化點云能夠支持 3DGS 類算法的研究。HDR-GS 算法在超過當前最好方法 1.91 dB PSNR 的同時僅使用 6.3% 的訓練時間并實現(xiàn)了 1000 倍的渲染速度。
一大波演示如下：
對比近期出現(xiàn)的 3D Gaussian Splatting（3DGS），雖然能在保證圖像質量的同時也大幅提升了訓練和渲染速度，但卻很難直接應用到 HDR NVS 上，仍然存在三個主要問題：
1. 渲染的圖片的動態(tài)范圍依舊是 [0,255]，仍舊屬于 LDR；
2. 直接使用不同光照的圖片來訓練 3DGS 容易導致模型不收斂，因為 3DGS 的球諧函數(shù)（Spherical Harmonics，SH）無法適應光照的變化，時常會導致偽影、模糊、顏色畸變等問題；
3. 常規(guī)的 3DGS 無法改變渲染場景的亮度，極大限制了應用場景，尤其是在 AR / VR、電影、游戲等領域，經(jīng)常需要改變光照條件來反映人物的心情與環(huán)境氛圍。
方法架構
研究人員首先使用 Structure-from-Motion（SfM 算法來重新矯正場景的相機參數(shù)并初始化高斯點云，然后將數(shù)據(jù)喂入到雙動態(tài)范圍（Dual Dynamic Range，DDR）的高斯點云模型來同時擬合 HDR 和 LDR 顏色，使用 SH 來直接擬合 HDR 顏色。
再使用三個獨立的 MLP 來分別對 RGB 三通道做 tone-mapping 操作，根據(jù)用戶輸入的曝光時間將 HDR 顏色轉為 LDR 顏色，然后將 3D 點的 LDR 和 HDR 顏色喂入到平行光柵化（Parallel Differentiable Rasterization, PDR）處理管線來渲染出 HDR 和 LDR 圖像。
實驗結果
定量結果
合成實驗和真實實驗的定量對比結果分別如表 1 和表 2 所示，HDR-GS 在性能上顯著超過之前方法的同時，訓練和推理也分別達到了 16 倍速和 1000 倍速。
視覺結果
LDR NVS 的視覺對比結果如圖 4 和圖 5 所示，HDR NVS 的視覺對比結果如圖 6 所示。HDR-GS 能夠渲染出更豐富更清晰的圖像細節(jié)，更好地捕獲 HDR 場景并能靈活地改變 LDR 場景的光照強度。
參考資料：
https://arxiv.org/abs/2405.15125
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。