隨著智能手機(jī)的不斷發(fā)展成熟，為了尋找差異化的廠商不斷增加攝像頭的數(shù)量。然而，攝像頭的數(shù)量越多，就代表拍照的質(zhì)量越好嗎？
Google Pixel手機(jī)一直堅持單攝，雖然硬件不算頂尖，但是憑借著強(qiáng)大的算法，Pixel手機(jī)的照相水平非常突出。上個月，Pixel 3發(fā)布會的Keynote顯示其暗光拍照的成像效果甚至完虐iPhone XS，讓人驚嘆不已。
近日，Google又為自己的相機(jī)應(yīng)用增加了“Night Sight”功能（夜視功能），用戶無需三腳架和閃光燈就能在夜間拍出銳利干凈的照片，并獲得了眾多評測博主的好評。本文就將為讀者介紹弱光條件下拍照的難點以及機(jī)器學(xué)習(xí)在這一問題中的應(yīng)用。
01.弱光拍攝的難點
大家如果在夜晚拍過照片的話，肯定會發(fā)現(xiàn)拍出的照片上有很多噪點，使得照片看起來顏色和亮度都很不均勻。噪點或者叫噪聲的來源有兩個：散粒噪聲和讀取噪聲。散粒噪聲指進(jìn)入感光元件的光子數(shù)量太少造成可觀測的光子數(shù)量不均。散粒噪聲的出現(xiàn)與我們所使用感光元件的質(zhì)量沒有關(guān)系，不過智能手機(jī)的感光元件太小，所以受散粒噪聲影響比普通相機(jī)更大。讀取噪聲則是由將電信號轉(zhuǎn)換成讀數(shù)時的隨機(jī)錯誤造成的。感光元件的質(zhì)量越好那么讀取噪聲也就越小。
把所有噪聲的來源都考慮進(jìn)去我們可以得出一個信噪比，信噪比越高則意味著我們拍出的照片質(zhì)量越好。感光元件大小不變的情況下信噪比和曝光時間成正比，所以看來只要練成鐵手就能完美地解決這個問題。然而還是想簡單了，就算拍攝者能長時間穩(wěn)穩(wěn)地舉著手機(jī)被拍的對象也沒法保持長時間不動。
2014年發(fā)布的HDR+功能改善了散粒噪聲和讀取噪聲的問題，不過HDR+的本意如它的名字一樣是為了提高照片的動態(tài)范圍。HDR+的原理是連拍很多張照片，然后通過圖像識別把多張照片進(jìn)行疊加成一張照片。每張照片的曝光時間能根據(jù)用戶手抖的程度和拍攝目標(biāo)的移動自動調(diào)節(jié)來保證照片的銳度，這樣就在保證銳度的前提下增加了曝光時間，所以照片的信噪比也能提高了。
看起來弱光拍照的問題已經(jīng)完美解決了，就連拍幾十張后合并成一張就行了。然而實際的情況是就算用多張照片合并的方法還是對光照有要求，光照低于一定的標(biāo)準(zhǔn)就算再多拍效果也不好。標(biāo)示光源亮度的物理量是光通量，它的單位是流明。單位面積接收到的光通量叫做照度，單位是勒克斯。他們之間的關(guān)系大家可以參照壓力與壓強(qiáng)的關(guān)系來理解。為了讓大家能直觀地了解不同勒克斯的概念，下面表中用生活中的場景與勒克斯數(shù)值做了對比：
普通的手機(jī)相機(jī)從30勒克斯開始就不太行了，如果使用HDR+或者類似合成多張照片的技術(shù)大概能降到3勒克斯但再低也就不行了。我們開發(fā)夜視功能的目標(biāo)是讓手機(jī)在0.3到3勒克斯之間不補(bǔ)光只按一次快門也能拍出好照片，而要實現(xiàn)這一目標(biāo)最重要的手段就是盡可能多地捕獲光子。
02.曝光時間限制和模糊問題
延長曝光時間雖然能提高信噪比拍出更干凈的照片，但也同時帶來了兩個問題。Pixel手機(jī)默認(rèn)的拍攝模式是零快門延遲，意思是說用戶一打開相機(jī)應(yīng)用其實相機(jī)就開始拍照存儲在緩存里了。當(dāng)用戶按下快門的時候手機(jī)會提取最新拍攝的9至15張相片來進(jìn)行合成，這樣就能保證拍到的是用戶按快門的那一刻。
用戶在拍照時手機(jī)會顯示預(yù)覽，為了維持最低15幀的顯示刷新，HDR+能實現(xiàn)的最慢快門速度也只有66毫秒。所以為了進(jìn)一步延長曝光時間，夜視功能改變了拍攝模式。用戶使用夜視功能拍照時按下快門后相機(jī)才會開始拍攝，所以用戶必須維持一小段時間盡量不動。
延長曝光帶來的第二個問題是畫面模糊。雖然Pixel 2和Pixel 3配備了光學(xué)防抖鏡頭但最多只能支持到1/8秒快門。Pixel 3為了解決這一問題應(yīng)用了所謂的動作測量技術(shù)，也就是使用光流法來判斷畫面的移動，然后再動態(tài)調(diào)整快門速度來讓畫面盡量清楚。Pixel 1 ?和Pixel 2雖然不會默認(rèn)使用動作測量，不過用戶開啟夜視模式時它們也會使用動作測量。這樣如果用戶畫面晃動不大的話每張照片的曝光時間最多能到333毫秒。這項技術(shù)也針對Pixel 1和使用了腳架的情況進(jìn)行了優(yōu)化。Pixel 1沒有光學(xué)防抖，所以快門的時間就稍微短一些而如果手機(jī)完全沒有移動的話快門時間最高可達(dá)一秒。
除了快門時間，應(yīng)用也會根據(jù)情況調(diào)整所拍的照片張數(shù)來減少用戶等待的時間。如果使用三腳架只拍6張就可以合成了，若為手持則最多會拍15張。所以使用Pixel手機(jī)拍照，根據(jù)相機(jī)是前置還是后置、手持穩(wěn)定性、畫面穩(wěn)定性和亮度的不同，合成前所拍攝的照片在15張1/15秒快門照片和6張1秒快門的照片之間。下面的圖中我們可以看到一點區(qū)別：
左圖我們可以看到狗頭部的動作。中間圖為動作測量關(guān)閉狀態(tài)下拍攝，快門為73毫秒，能明顯看到模糊。右圖為動作測量開啟狀態(tài)下拍攝，快門為48毫秒，比關(guān)閉動作測量清楚一些。
下面的圖是手持和三腳架拍攝的不同效果：
左圖為手持拍攝，略微有抖動。拍攝了15張快門333毫秒的照片進(jìn)行合成。右圖為手機(jī)判斷無抖動所以拍攝了6張快門1秒的照片進(jìn)行合成。
03.對齊與合成
拍攝多張照片進(jìn)行合成不是什么新鮮的方法，在天文和微距攝影上都有很廣泛的應(yīng)用。雖然原理聽起來很容易，但將手持拍攝的照片對齊就很困難。我們從2010年就開始進(jìn)行對齊與合成相關(guān)的研究，最早的成果是iOS平臺一個叫做Synthcam的應(yīng)用。
夜視功能的原理其實和Synthcam差不多，但提高了照片的分辨率。Pixel 1和2中使用的HDR+融合算法提高了剔除無效照片的能力，Pixel 3中使用的超高分辨率變焦技術(shù)雖說并不是為減少噪點所開發(fā)但客觀上也實現(xiàn)了除噪點的效果。這項技術(shù)某些條件下效果優(yōu)于HDR+但對計算能力要求更高，所以沒有應(yīng)用在Pixel 1和Pixel 2上。
04.其他難題
原理聽起來挺簡單，但開發(fā)夜視功能的過程中還是碰到了不少難題。
|1.弱光條件下自動白平衡失效
自動白平衡的目的是將不同色溫條件下拍攝的照片都調(diào)整為白光下拍攝的顏色，否則人眼在回看照片時會發(fā)現(xiàn)明顯的色差。
白平衡在數(shù)學(xué)上屬于不適定問題。比如感光元件判斷拍到的雪花是藍(lán)色的，但無法判斷雪花到底是真的藍(lán)還是天的藍(lán)色映在雪花上?，F(xiàn)在的自動白平衡算法在強(qiáng)光條件下效果不錯，但在弱光拍攝時就非常不準(zhǔn)了。
為此我們訓(xùn)練了一個模型來判斷照片的白平衡是否正常并作出矯正。為了訓(xùn)練這個模型我們使用Pixel手機(jī)在各種光照條件了拍了很多照片并手工對白平衡進(jìn)行調(diào)整。下圖中我們能看到應(yīng)用模型前后的明顯區(qū)別。
|2.色調(diào)映射
人眼在弱光下是分不清楚顏色的，因為只有不能判斷顏色的視桿細(xì)胞才能在晚上工作。但人眼看不到并不表示到晚上顏色就沒有了，所以夜視功能想超越人眼的極限必須在夜間也能拍出清晰的顏色。
下面這張圖就是在夜間通過長時間曝光所拍攝的（注意天空中可以看到星星）。雖然偶爾拍拍這種把晚上拍成白天的效果也不錯，但恐怕大家還是想能把晚上拍成晚上。
其實藝術(shù)家們很早就發(fā)現(xiàn)了讓觀眾感覺所畫的是夜間的方法，如下圖所示：
畫家提高畫面的對比度并把陰影部分直接涂黑來營造出夜間的效果。我們也使用了類似的方法，比如使用S形色調(diào)映射。不過怎么把握其中的度還是挺值得思考的，下面這張用Pixel 3拍的照片就非常成功：
05.夜視模式的極限
當(dāng)照度低于0.3勒克斯時手機(jī)的自動對焦功能會失效，所以我們在Pixel 3的夜視模式增加了兩個手動對焦按鈕：近和遠(yuǎn)。近模式的對焦距離約為1.2米，遠(yuǎn)模式則在約3.6米處對焦。在遠(yuǎn)模式下景深是從1.8米到無窮遠(yuǎn)。雖然照度低于0.3勒克斯也能拍出好照片，但就必須借助三腳架和第三方應(yīng)用了。
那么理論上對攝影來說照度能低到什么程度呢？我想當(dāng)捕捉到的光子會受到讀取噪音影響時就差不多了。另外還有其他的噪聲來源，比如受溫度影響的暗電流，不過我可不建議大家為了降噪點把手機(jī)泡到液氮里。就算這些問題全都解決了也會有風(fēng)吹樹搖，超長曝光攝影還是很困難。
06.注意事項
用夜視功能拍照很有趣，如果使用得當(dāng)?shù)脑捘軌蚺某鲂Ч浅：玫恼掌?。夜視功能在Pixel 3上面的效果是最好的，一方面是因為它芯片速度最快，另外自動白平衡算法也是以Pixel 3為基礎(chǔ)訓(xùn)練的。不過就算用的不是Pixel 3夜視功能也能讓你在弱光下拍出好照片（預(yù)覽里的噪點并不會出現(xiàn)在完成的照片上）。文章最后就給大家一些更好地使用夜視功能的注意事項吧：
完全黑暗的地方夜視功能也拍不到什么東西
柔和均勻的光照條件下拍攝效果更好
不要對著光源拍，否則會有炫光
可以點預(yù)覽屏幕來調(diào)整曝光
如果是單純地想降低曝光是可以通過軟件后期實現(xiàn)的，而且沒那么多噪點
對著畫面上有顏色或者亮度對比的地方比較容易自動對上焦
還是對不上焦就試試手動對焦（如下圖）
靠著墻可以增加手持的穩(wěn)定性有助于提升照片銳度
用前置鏡頭自拍也可以用夜視功能，而且手機(jī)屏幕還能補(bǔ)光
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。