IT之家5月2日消息 小米此前已發(fā)布了包括小米10/Pro以及小米10青春版手機(jī)，除了硬件配置升級外其AI相機(jī)也升級到了2.0版本。今日小米官方也發(fā)文詳細(xì)科普了全新的小米AI相機(jī)2.0。
IT之家了解到，小米相機(jī)算法團(tuán)隊將傳統(tǒng)的場景感知拓展成為全方位的色彩、對比度、光影等內(nèi)容感知，同時小米的相機(jī)團(tuán)隊還使用了深度神經(jīng)網(wǎng)絡(luò)對整個畫面進(jìn)行全局和局部的分析以獲取最優(yōu)的畫面效果，并且實時地對畫質(zhì)進(jìn)行增強(qiáng)。新一代的AI相機(jī)能夠?qū)λ械膱鼍斑M(jìn)行有針對性的畫質(zhì)提升，即識別+處理合二為一。
（1）數(shù)據(jù)生成
小米相機(jī)團(tuán)隊除了和設(shè)計師合作PS了數(shù)萬張手機(jī)拍張數(shù)據(jù)之外還收集了很多網(wǎng)絡(luò)上的高分圖片作為目標(biāo)，同時其還使用了two path GAN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，能夠保證生成網(wǎng)絡(luò)生成的圖片跟原圖片的內(nèi)容保持一致，僅僅去優(yōu)化一些團(tuán)隊希望對原圖進(jìn)行優(yōu)化的維度。
Two Path GAN示意圖
（2）訓(xùn)練過程
在訓(xùn)練的過程中小米相機(jī)團(tuán)隊通過consistency loss，similarity loss，total variance loss ，adversarial loss等不同的weight 來控制生成網(wǎng)絡(luò)的優(yōu)化方向和能力。
訓(xùn)練過程（訓(xùn)練機(jī)制、幀間一致性處理、開關(guān)模塊）：
> Teacher - student 機(jī)制：
生成器網(wǎng)絡(luò)訓(xùn)練結(jié)束后，以生成器網(wǎng)絡(luò)作為teacher 網(wǎng)絡(luò)，一個更輕量級的網(wǎng)絡(luò)作為student 網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。小米相機(jī)團(tuán)隊在輕量級的網(wǎng)絡(luò)中加入了自相似圖（self-similarity map）作為guidance map來實現(xiàn)相似結(jié)構(gòu)和區(qū)域的效果盡量一致。
Teacher-Student網(wǎng)絡(luò)
> 幀間效果一致性：
由于每幀都會做處理，幀間效果需要穩(wěn)定，否則在視頻和預(yù)覽的時候就會容易出現(xiàn)跳變。但是上述的訓(xùn)練是在圖片上做的，因此，在訓(xùn)練student網(wǎng)絡(luò)的時候我們添加了幀間相似度loss，以保證幀間的效果一致。
幀間相似度Loss
> 開關(guān)module：
小米相機(jī)團(tuán)隊在訓(xùn)練的過程中加入了switch module，這個模塊的作用就是能夠通過判斷不同的景物來選擇不同的效果，有效的實現(xiàn)了針對不同的場景做不同的處理的效果。
Switch module
（3）處理速度
在實現(xiàn)AI算法2.0中，團(tuán)隊除了使用常見的網(wǎng)絡(luò)減枝，網(wǎng)絡(luò)壓縮的技術(shù)外還提出了一種新的基于導(dǎo)向圖的開關(guān)網(wǎng)絡(luò)結(jié)。這個網(wǎng)絡(luò)不僅僅可以使得網(wǎng)絡(luò)參數(shù)和計算量大幅下降，也可以滿足優(yōu)化的多樣性要求（噪聲，亮度，顏色，對比度，高動態(tài)等等），最終得以將全新的AI相機(jī)展現(xiàn)給用戶。
基于導(dǎo)向圖的開關(guān)網(wǎng)絡(luò)結(jié)構(gòu)
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。