作者：SFXiang
首發(fā)：AI算法修煉營(yíng)

本文是收錄于CVPR2020的工作，我是被雙目圖像去霧的題目所吸引的，其實(shí)整個(gè)工作的創(chuàng)新性不高，但是可以從中學(xué)到數(shù)據(jù)集的制作，圖像去霧等基本知識(shí)。整體上，也可以看作視覺(jué)注意力機(jī)制的又一應(yīng)用。

論文地址：
http://openaccess.thecvf.com/.../_CVPR/_2020/papers/Pang/_BidNet/_Binocular/_Image/_Dehazing/_Without/_Explicit/_Disparity/_Estimation/_CVPR/_2020/_paper.pdf

嚴(yán)重的霧度會(huì)導(dǎo)致圖像質(zhì)量嚴(yán)重下降，從而影響視覺(jué)感知、目標(biāo)檢測(cè)等性能。通常，去霧化的雙目圖像在像3D目標(biāo)檢測(cè)等立體視覺(jué)任務(wù)上的表現(xiàn)要優(yōu)于霧度較高的圖像，并且圖像霧度是一個(gè)與深度有關(guān)的函數(shù)。在這些基礎(chǔ)上，本文提出了一種雙目圖像去霧網(wǎng)絡(luò)（BidNet），旨在利用深度學(xué)習(xí)框架的對(duì)雙目左右圖像進(jìn)行去霧。

現(xiàn)有的雙目除霧方法依賴(lài)于同時(shí)除霧和估計(jì)視差，而B(niǎo)idNet不需要明確執(zhí)行耗時(shí)長(zhǎng)、具有挑戰(zhàn)性的視差估計(jì)任務(wù)。但是，由于視差的小誤差會(huì)引起深度變化和無(wú)霧圖像估計(jì)的大變化，BidNet網(wǎng)絡(luò)中所提出的立體變換模塊（STM）編碼了雙目圖像之間的關(guān)系和相關(guān)性。 同時(shí)，對(duì)雙目圖像中的左右圖像同時(shí)進(jìn)行除霧是互利的，這比僅對(duì)左圖像除霧要好。最后，作者將Foggy Cityscapes數(shù)據(jù)集擴(kuò)展為具有雙目有霧圖像對(duì)的Stereo Foggy Cityscapes數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，在主觀(guān)和客觀(guān)評(píng)估中，BidNet均明顯優(yōu)于最新的除霧方法。

簡(jiǎn)介

在計(jì)算機(jī)視覺(jué)領(lǐng)域，通常使用霧天圖像退化模型來(lái)描述霧霾等惡劣天氣條件對(duì)圖像造成的影響，該模型是McCartney首先提出。該模型包括衰減模型和環(huán)境光模型兩部分。模型表達(dá)式為：

其中，是圖像像素的空間坐標(biāo)，是觀(guān)察到的有霧圖像，是待恢復(fù)的無(wú)霧圖像，表示大氣散射系數(shù)，代表景物深度，是全局大氣光，通常情況下假設(shè)為全局常量，與空間坐標(biāo)無(wú)關(guān)。

公式(1)中的表示坐標(biāo)空間處的透射率，使用來(lái)表示透射率，于是得到公式（2）：

由此可見(jiàn)，圖像去霧過(guò)程就是根據(jù)求解的過(guò)程。要求解出，還需要根據(jù)求解出透射率和全局大氣光。

實(shí)際上，所有基于霧天退化模型的去霧算法就是是根據(jù)已知的有霧圖像求解出透射率和全局大氣光 。

根據(jù)上述等式可知，圖像霧度是深度的函數(shù)。雙目圖像的相關(guān)性可以幫助預(yù)測(cè)深度，這表明雙目圖像對(duì)于除霧任務(wù)是有益的。為了克服霧度造成的雙目圖像退化，直接和分別在左霧圖像和右霧圖像上應(yīng)用單個(gè)圖像去霧方法不能獲得令人滿(mǎn)意的結(jié)果，尤其是對(duì)于重霧度，因?yàn)檫@種方法沒(méi)有利用雙目圖像。

現(xiàn)有的雙目圖像去霧方法依賴(lài)于同時(shí)執(zhí)行去霧和視差估計(jì)。然而，這種方法有三個(gè)缺點(diǎn)：（1）對(duì)于給定的微小視差誤差，深度誤差會(huì)隨著視差的增加而增加。因?yàn)楣烙?jì)透射圖對(duì)去霧圖像是必需的，并且透射圖是深度的指數(shù)函數(shù)，誤差不均也導(dǎo)致在估計(jì)透射圖時(shí)出現(xiàn)較大誤差，并妨礙了無(wú)霧度圖像。（2）最新的基于學(xué)習(xí)的視差估計(jì)方法很耗時(shí)，因?yàn)樗鼈儽仨殤?yīng)用3D卷積，計(jì)算量大。（3）這些方法僅輸出左去霧圖像，而不是雙目去霧圖像對(duì)。在本文中，提出了一種新穎的基于深度學(xué)習(xí)的雙目圖像去霧網(wǎng)絡(luò)（BidNet），該網(wǎng)絡(luò)能夠利用左右圖像中包含的協(xié)作信息，而無(wú)需明確執(zhí)行耗時(shí)且具有挑戰(zhàn)性的視差估計(jì)環(huán)節(jié)。

圖1.使用提出的BibNet樣本圖像去霧結(jié)果。左上：輸入左霧圖像。左下：輸入右霧圖像。右上：去霧左圖像。右下：去霧右圖像

對(duì)于基于深度學(xué)習(xí)的雙目圖像去霧任務(wù)，沒(méi)有包含雙目霧圖像的特定數(shù)據(jù)集。通過(guò)將霧添加到Cityscapes數(shù)據(jù)集中來(lái)創(chuàng)建Foggy Cityscapes數(shù)據(jù)集。本文將Foggy Cityscapes數(shù)據(jù)集擴(kuò)展到Stereo Foggy Cityscapes數(shù)據(jù)集，該數(shù)據(jù)集由雙目有霧圖像對(duì)組成。關(guān)鍵是利用視差和給定的攝像機(jī)參數(shù)來(lái)計(jì)算攝像機(jī)與左場(chǎng)景之間的距離以及攝像機(jī)與右場(chǎng)景之間的距離。在這個(gè)過(guò)程中，應(yīng)用了complete pipeline ，它使用不完整的深度信息將合成霧添加到真實(shí)，晴朗的天氣圖像中。

主要貢獻(xiàn)：

（1）提出了一種新穎的雙目圖像去霧框架，稱(chēng)為BidNet，該框架能夠利用左右圖像之間的相關(guān)性對(duì)雙目圖像對(duì)進(jìn)行除霧，而無(wú)需估計(jì)視差， 它可以避免由不精確的視差估計(jì)引起的大誤差。

（2）受non-local網(wǎng)絡(luò)的啟發(fā)，提出了一種簡(jiǎn)單而有效的機(jī)制并將其嵌入BidNet中，通過(guò)該機(jī)制將右圖像特征圖中的有用信息引入左圖像特征圖中。 具體是通過(guò)計(jì)算立體horizontal non-local相關(guān)矩陣并將該矩陣與右圖像的特征圖相乘來(lái)實(shí)現(xiàn)的。嵌入的過(guò)程是有效的，因?yàn)橄嚓P(guān)矩陣的大小比傳統(tǒng)的non-local網(wǎng)絡(luò)小一階。類(lèi)似地，可以將左圖像的特征圖的有用信息嵌入到右圖像的有用信息中。

（3）在輸入左圖像和右圖像的情況下，只能使用上述除霧框架對(duì)左圖像或右圖像進(jìn)行除霧。但是發(fā)現(xiàn)，通過(guò)同時(shí)考慮左右圖像來(lái)制定除霧損失函數(shù)，可以同時(shí)去除左右霧度圖像的霧度，從而產(chǎn)生更好的除霧效果。

（4）擴(kuò)展了Cityscapes數(shù)據(jù)集以適應(yīng)去霧任務(wù)。實(shí)驗(yàn)結(jié)果表明，在主觀(guān)評(píng)估和客觀(guān)評(píng)估方面，BidNet均明顯優(yōu)于最新的除霧方法。

本文方法：BidNet

圖2.（a）雙目圖像去霧網(wǎng)絡(luò)（BidNet）的總體架構(gòu)。BidNet輸入雙目模糊圖像對(duì)并輸出無(wú)霧的雙目圖像對(duì)。（b）轉(zhuǎn)換模塊（STM）的結(jié)構(gòu)。提出了STM來(lái)探索和編碼雙目圖像對(duì)之間的關(guān)系

如圖2所示，BidNet網(wǎng)絡(luò)輸入雙目有霧圖像對(duì)并估算透射圖、大氣光，同時(shí)對(duì)雙目圖像對(duì)進(jìn)行去霧。BidNet的架構(gòu)如圖2（a）所示。引入了STM（Stereo Transformation Module ）來(lái)探索和編碼雙目左右圖像之間的相關(guān)性。

一、Stereo Transmission Map Estimation Network

Stereo Transmission Map Estimation Network（STMENet）可以分為三個(gè)部分：權(quán)重共享特征提取模塊，Stereo Transformation Module（STM）和Refinement Module優(yōu)化模塊。

1、權(quán)重共享特征提取模塊（Weight-Shared Feature Extraction Module）

如圖2（a）所示，權(quán)重共享特征提取模塊是編碼器-解碼器結(jié)構(gòu)。

表1. BidNet的詳細(xì)架構(gòu)。如果沒(méi)有特別說(shuō)明，則在卷積層之后是BN和ReLU。除權(quán)重共享特征提取模塊外，左分支和右分支中的其余權(quán)重不共享。⊕表示concatenation和一個(gè)3×3卷積層以減少通道。上采樣表示雙線(xiàn)性插值。

輸入圖片首先通過(guò)預(yù)處理層以學(xué)習(xí)更好的輸入特征。學(xué)習(xí)到的左（和右）特征通過(guò)stride為2的四個(gè)3×3卷積層傳遞。四個(gè)卷積層的通道增加為32、48、64和96。之后對(duì)經(jīng)過(guò)卷積的下采樣特征應(yīng)用四個(gè)雙線(xiàn)性插值。通過(guò)自下而上和自上而下的結(jié)構(gòu)，所獲得的左特征（F1）和右特征（Fr）是有區(qū)別的。

2、Stereo Transformation Module (STM)

權(quán)重共享模塊的左側(cè)和右側(cè)模塊僅融合其自身的信息。沒(méi)有利用雙目圖像對(duì)之間的關(guān)系和相關(guān)性。于是，設(shè)計(jì)了一個(gè)Stereo Transformation Module（STM），通過(guò)學(xué)習(xí)左右特征之間的horizontal相關(guān)性來(lái)轉(zhuǎn)換深度信息。

圖2（b）表示出了STM的結(jié)構(gòu)。由于雙目圖像對(duì)在垂直方向上對(duì)齊，因此STM僅需要了解它們之間的水平相關(guān)性。受non-local網(wǎng)絡(luò)的啟發(fā)，將某個(gè)位置的響應(yīng)計(jì)算為沿水平維度所有位置的特征的加權(quán)總和，這可以捕獲包含視差（深度）信息的遠(yuǎn)程依賴(lài)關(guān)系。

3、Refinement Module

STM估計(jì)的透射圖仍然缺乏全局結(jié)構(gòu)信息。空間金字塔池是parameter-free的，而且效率很高，于是網(wǎng)絡(luò)中采用空間金字塔池引入多尺度上下文信息來(lái)完善透射圖transmission maps，從而增強(qiáng)魯棒性。 上面的表1中顯示了詳細(xì)的結(jié)構(gòu)，使用了三個(gè)平均池化層，內(nèi)核大小分別為3、7和15，步長(zhǎng)為1。池化層將初始估計(jì)的transmission maps轉(zhuǎn)換為全局表示的增強(qiáng)集合。然后，將這些具有初始估計(jì)的transmission maps通過(guò)concat進(jìn)行聚合，并進(jìn)入1×1卷積層以融合特征。最終，輸出是refine后的透射圖。

二、大氣光估算網(wǎng)絡(luò)Atmospheric Light Estimation Network

大氣光估計(jì)網(wǎng)絡(luò)（ALENet）旨在估計(jì)大氣光A。如圖2（a）所示，ALENet也是一種編碼器/解碼器結(jié)構(gòu)，但沒(méi)有尺度的跳躍連接。它包括一個(gè)3×3卷積層作為預(yù)處理，三個(gè)Conv-BN-Relu-Pool塊作為編碼器，三個(gè)Up-Conv-BN-Relu塊作為解碼器，最后是一個(gè)3×3卷積層估計(jì)大氣光A，如表1所示。1.立體圖像對(duì)具有相同的大氣光A。因此，ALENet僅輸入左側(cè)圖像進(jìn)行預(yù)測(cè)。

三、通過(guò)物理散射模型去霧Dehazing via The Physical Scattering Model

如圖2（a）所示，通過(guò)等式（2）計(jì)算左無(wú)霧圖像和右無(wú)霧圖像。等式（2）確保整個(gè)網(wǎng)絡(luò)同時(shí)優(yōu)化。直接計(jì)算出的無(wú)霧雙目圖像有一些噪點(diǎn)，于是添加了圖像優(yōu)化模塊，這是一個(gè)輕量級(jí)的密集塊。輕量級(jí)密集塊具有四個(gè)3×3卷積層，其輸入是在之前生成的特征圖的串聯(lián)。輸入通道的數(shù)量為3、8、16和24，但輸出通道的數(shù)量均為8。最后，采用1×1卷積層來(lái)估計(jì)精確的無(wú)霧雙目圖像。

四、損失函數(shù)

BidNet的損失函數(shù)包括：去霧 的雙目圖像的誤差、透射圖誤差、大氣光的誤差、Perceptual 損失。 在損失函數(shù)中同時(shí)考慮了左右圖像的誤差，因此同時(shí)對(duì)兩個(gè)圖像去霧是互利的。

無(wú)霧的雙目圖像誤差：

透射圖誤差：

大氣光誤差：

基于從預(yù)訓(xùn)練網(wǎng)絡(luò)中提取的高級(jí)特征的Perceptual 損失被廣泛用于圖像超分辨率領(lǐng)域。此外，Perceptual 損失比像素?fù)p失更有效地衡量圖像的視覺(jué)相似性。受此啟發(fā)，作者引入了Perceptual 損失以增加恢復(fù)的無(wú)霧圖像與真實(shí)圖像之間的Perceptual 相似性。 Perceptual 損失利用從預(yù)先訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中提取的多尺度特征來(lái)量化估計(jì)圖像和ground truth之間的視覺(jué)差異。本文中，使用在ImageNet 上預(yù)先訓(xùn)練的VGG16 作為loss網(wǎng)絡(luò)，并從VGG16中的Conv33中提取特征。Perceptual loss定義為：

Stereo Foggy Cityscapes Dataset

整個(gè)數(shù)據(jù)集制作過(guò)程參考了文章《Semantic foggy scene understanding with synthetic data》，感興趣的話(huà)，可以參考原文。

實(shí)驗(yàn)與結(jié)果

數(shù)據(jù)集：Stereo Foggy Cityscapes Dataset

評(píng)價(jià)指標(biāo)：PSNR、SSIM

實(shí)驗(yàn)配置：使用256×256大小的RGB圖像訓(xùn)練網(wǎng)絡(luò)，訓(xùn)練是在兩臺(tái)NVIDIA GeForce GTX 1070上進(jìn)行的，并且一個(gè)GPU用于測(cè)試。

1、對(duì)比實(shí)驗(yàn)

2、定性評(píng)估

3、消融實(shí)驗(yàn)

4、Drivingstereo 數(shù)據(jù)集上的實(shí)驗(yàn)

對(duì)于400×881的圖像，BidNet在NVIDIA GeForce GTX 1070上對(duì)雙目圖像進(jìn)行去霧處理的速度為0.23s。

更多實(shí)驗(yàn)細(xì)節(jié)，可以參考原文。

推薦閱讀

• CVPR2020 | 定向和密集的目標(biāo)檢測(cè)怎么辦？動(dòng)態(tài)優(yōu)化網(wǎng)絡(luò)來(lái)解決
• ECCV2020 | SNE-RoadSeg：一種基于表面法向量提取的道路可行駛區(qū)域分割方法
• ?Kaggle X光肺炎檢測(cè)比賽第二名方案解析 | CVPR 2020 Workshop

更多機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、自動(dòng)駕駛、機(jī)器人等領(lǐng)域最新最前沿的科技請(qǐng)關(guān)注微信號(hào)AI算法修煉營(yíng)。

審核編輯：符乾江