01、背景

作為計(jì)算機(jī)視覺中的一項(xiàng)基礎(chǔ)任務(wù)，目標(biāo)檢測受到了廣泛的關(guān)注。在惡劣的天氣下，尤其是在霧天環(huán)境下，大氣中存在很多渾濁介質(zhì)（如顆粒、水滴等），傳統(tǒng)相機(jī)可見光難以穿透顆粒介質(zhì)，因此惡劣天氣下的數(shù)據(jù)非常罕見，現(xiàn)有的檢測架構(gòu)依賴于未失真的傳感器流，而惡劣天氣下傳感器會(huì)產(chǎn)生非對稱的失真，使得戶外場景圖像出現(xiàn)退化和降質(zhì)，清晰度低和對比度低，細(xì)節(jié)特征模糊不清等特點(diǎn)，對于在高質(zhì)量圖像下訓(xùn)練的目標(biāo)檢測模型，往往無法準(zhǔn)確的定位目標(biāo)，是當(dāng)前目標(biāo)檢測任務(wù)中的一大挑戰(zhàn)，同時(shí)也是當(dāng)前如何在復(fù)雜天氣環(huán)境下進(jìn)行視覺自主導(dǎo)航的一大挑戰(zhàn)。為解決這個(gè)問題，Bijelic提出了一個(gè)新的多模式數(shù)據(jù)集，該數(shù)據(jù)集是在北歐10,000 多公里的行駛中獲得的。此數(shù)據(jù)集是惡劣天氣下的第一個(gè)大型的多模式數(shù)據(jù)集，且具有10 萬個(gè)激光雷達(dá)、相機(jī)、雷達(dá)和門控NIR傳感器的標(biāo)簽。同時(shí)Bijelic提出了一種深層融合網(wǎng)絡(luò)，可進(jìn)行穩(wěn)健的融合，而無需涵蓋所有非對稱失真的大量標(biāo)記訓(xùn)練數(shù)據(jù)。從提議級融合出發(fā)，提出了一種由測量熵驅(qū)動(dòng)的自適應(yīng)融合特征的單鏡頭模型。

02、數(shù)據(jù)集介紹

為了評估惡劣天氣中的目標(biāo)檢測，Bijelic進(jìn)行了實(shí)地測試，構(gòu)建了一個(gè)大型的汽車數(shù)據(jù)集，該數(shù)據(jù)集提供了用于多模式數(shù)據(jù)的2D 和3D 檢測邊界框，并對罕見惡劣天氣情況下的天氣，光照和場景類型進(jìn)行了精細(xì)分類。表中比較了提出的數(shù)據(jù)集和最近的大規(guī)模汽車數(shù)據(jù)集，例如Waymo，NuScenes，KITTI和BDD數(shù)據(jù)集。與NuScenes和BDD相比，該數(shù)據(jù)集不僅包含在晴朗天氣條件下的實(shí)驗(yàn)數(shù)據(jù)，還包含在大雪，雨天和霧中的實(shí)驗(yàn)數(shù)據(jù)。

所有實(shí)驗(yàn)數(shù)據(jù)分別在德國，瑞典，丹麥和芬蘭獲得，在不同的天氣和光照條件下覆蓋了10,000km 的距離。以10Hz 的幀速率共收集了140 萬幀。每第100 幀都經(jīng)過手動(dòng)標(biāo)記，以平衡場景類型的覆蓋范圍。生成的注釋包含5500個(gè)晴天，1000個(gè)濃霧，1 000個(gè)薄霧，4000個(gè)雪/雨。本數(shù)據(jù)集具體包含文件如下圖所示。

對于該數(shù)據(jù)集的使用，目前由于作者還未開源融合網(wǎng)絡(luò)，暫時(shí)只能使用源數(shù)據(jù)，但是也算為后續(xù)惡劣天氣下的多傳感器融合3D目標(biāo)檢測提供了真實(shí)環(huán)境下的數(shù)據(jù)集。若僅針對于純圖像2D目標(biāo)檢測或3D檢測來說，該數(shù)據(jù)集中可用于驗(yàn)證作用，或者以混合數(shù)據(jù)形式作為訓(xùn)練集，但是僅使用該數(shù)據(jù)集做為驗(yàn)證和訓(xùn)練可能不足以支撐網(wǎng)絡(luò)學(xué)習(xí)。正如下圖數(shù)據(jù)集具體標(biāo)簽所示，其標(biāo)簽主要包括五類，藍(lán)色為注釋標(biāo)簽，紅色為該標(biāo)簽所包括的類別。注意若使用該數(shù)據(jù)集為訓(xùn)練集，其他數(shù)據(jù)集為驗(yàn)證集要重新歸一標(biāo)簽，與其他數(shù)據(jù)集標(biāo)簽重合度較低，重新清洗數(shù)據(jù)也是使用該數(shù)據(jù)集的一個(gè)難點(diǎn)。

03、自適應(yīng)多模式單次融合

1、網(wǎng)絡(luò)架構(gòu)

數(shù)據(jù)表示。相機(jī)分支使用常規(guī)的三平面RGB 輸入，而對于激光雷達(dá)和雷達(dá)分支，本文的方法與最近的鳥瞰（BeV）投影方案或原始點(diǎn)云表示不同。BeV 投影或點(diǎn)云輸入不允許進(jìn)行深度的早期融合，因?yàn)樵缙趫D層中的特征表示與相機(jī)特征天生不同。因此，現(xiàn)有的BeV 融合方法只能在建議匹配區(qū)域之后進(jìn)行提升空間中的特征融合，而不能提前。圖中可視化了本文提出的輸入數(shù)據(jù)編碼，該編碼有助于進(jìn)行深度多模態(tài)融合。深度，高度和脈沖強(qiáng)度作為激光雷達(dá)網(wǎng)絡(luò)的輸入，而不是僅使用樸素的深度輸入編碼。對于雷達(dá)網(wǎng)絡(luò)，假設(shè)雷達(dá)在與圖像平面正交和與水平圖像尺寸平行的2D 平面中進(jìn)行掃描。因此，考慮沿垂直圖像軸雷達(dá)的不變性，并沿垂直軸復(fù)制掃描。使用單應(yīng)性映射將門控圖像轉(zhuǎn)換為RGB 相機(jī)的圖像平面。本文所提出的輸入編碼使用不同流之間的逐像素對應(yīng)，可以實(shí)現(xiàn)與位置和強(qiáng)度相關(guān)的融合，用零值來編碼缺失的測量樣本。

特征提取。作為每個(gè)流中的特征提取堆棧，本文使用了改進(jìn)的VGG主干。將通道數(shù)量減少一半，并在conv4 層上切斷網(wǎng)絡(luò)，使用conv4-10中的六個(gè)要素層作為SSD 檢測層的輸入。特征圖隨尺寸減小，實(shí)現(xiàn)了一個(gè)用于不同比例檢測的特征金字塔。如結(jié)構(gòu)圖所示，不同特征提取堆棧的激活進(jìn)行了交換。為了使融合更加可靠，為每個(gè)特征交換塊提供了傳感器熵。首先對熵進(jìn)行卷積，應(yīng)用Sigmoid與來自所有傳感器的級聯(lián)輸入特征相乘，最后級聯(lián)輸入熵。熵的折疊和Sigmoid的應(yīng)用在區(qū)間[0,1] 中生成一個(gè)乘法矩陣，這可以根據(jù)可用信息分別縮放每個(gè)傳感器的級聯(lián)特征。具有低熵的區(qū)域可以被衰減，而富熵的區(qū)域可以在特征提取中被放大。這樣能夠在特征提取堆棧中實(shí)現(xiàn)自適應(yīng)融合特征

2、實(shí)驗(yàn)

在惡劣天氣的實(shí)驗(yàn)測試數(shù)據(jù)上驗(yàn)證所提出的融合模型。將這種方法與現(xiàn)有的單傳感器輸入和融合的檢測器，以及域自適應(yīng)方法進(jìn)行比較。由于訓(xùn)練數(shù)據(jù)獲取存在天氣偏向，僅使用提出的數(shù)據(jù)集的晴朗天氣部分進(jìn)行訓(xùn)練，使用Bijelic提出新的多模式天氣數(shù)據(jù)集作為測試集來評估檢測性能。結(jié)果如圖所示。

總體而言，由圖中可看到隨著霧密度的增加，特別是在嚴(yán)重失真的情況下，該文所提出的自適應(yīng)融合模型的性能優(yōu)于所有其他方法，與次佳的特征融合變體相比，它提高了9.69％的幅度。但是在有霧條件下，激光雷達(dá)的性能也同樣具有很大的局限性，在僅激光雷達(dá)情況下的檢測率，AP下降了45.38％。此外，它還對相機(jī)-激光雷達(dá)融合模型AVOD，Concat SSD 和Fusion SSD產(chǎn)生了重大影響。它使得學(xué)習(xí)到的冗余不再成立，這些方法甚至低于僅使用圖像的方法。

04、結(jié)論

所提出的數(shù)據(jù)集解決了自動(dòng)駕駛中的一個(gè)關(guān)鍵問題：場景中的多傳感器融合和其中注釋數(shù)據(jù)稀少且由于自然的天氣偏向而難以獲取的圖像數(shù)據(jù)。為后續(xù)的研究者引入了一個(gè)新穎的惡劣天氣數(shù)據(jù)集，涵蓋了不同天氣情況下的相機(jī)、激光雷達(dá)、雷達(dá)、門控NIR 和FIR 傳感器數(shù)據(jù)。同時(shí)提出的一個(gè)實(shí)時(shí)的深度多模態(tài)融合網(wǎng)絡(luò)不同于提案層的融合，而是由測量熵驅(qū)動(dòng)自適應(yīng)融合。

該方法一定程度上改進(jìn)惡劣天氣條件下智能自主駕駛車輛在戶外環(huán)境下進(jìn)行精確的視覺感知能力，同時(shí)也能為后續(xù)視覺導(dǎo)航在復(fù)雜天氣環(huán)境下進(jìn)行精確建圖提供高精度的目標(biāo)定位。

雖然該數(shù)據(jù)集提出一定程度上填補(bǔ)了多模態(tài)數(shù)據(jù)集的缺失，但是由于自然偏向的問題，惡劣天氣采集到的圖像還是較少，仍然不適用于網(wǎng)絡(luò)的訓(xùn)練，如何解決惡劣天氣條件下數(shù)據(jù)集稀少或者降低深度學(xué)習(xí)網(wǎng)絡(luò)對于數(shù)據(jù)樣本的依賴性仍亟待改進(jìn)。

審核編輯：郭婷