自動駕駛中的視覺感知是車輛在不同交通條件下安全、可持續地行駛的關鍵部分。然而，在大雨和霧霾等惡劣天氣下，視覺感知性能受到多種降級效應的極大影響。最近，基于深度學習的感知方法已經解決了多種降級效應以反映真實世界的惡劣天氣情況，但由于其在移動設備上部署的高計算成本，同時，圖像增強與視覺感知之間的相關性差，仍然有許多邊界效應無法解決。 ?

?

? ? 為了解決在低內存和準確性方面提高惡劣天氣下車道和 2D 目標檢測以及深度估計的性能。我們提出了一個被惡劣天氣損壞的圖像作為輸入，引入高級視覺任務驅動為助力的圖像增強網絡，也就是一種新穎的任務驅動圖像增強框架，該框架通過探索視覺感知與增強之間的相互影響，從而在惡劣天氣條件下實現安全可靠的自動駕駛。具體來說，首先，通過引入了一種新穎的低內存網絡來減少密集塊的大部分層連接，以減少內存和計算成本，同時保持高性能。其次，通過引入了一種新的任務驅動訓練策略，以穩健地指導適用于高質量圖像恢復和高精度感知的高級任務模型。基于端到端學習策略，這里的模型旨在在任何惡劣天氣情況下具有感知和硬件友好的特性。 ?

惡劣環境條件下的圖像識別算法概述

? 當在自動駕駛中經常遇到的惡劣天氣條件下進行高級視覺任務時，圖像增強通常作為一個獨立的預處理階段工作，有可能與特定任務的目標相關性變差的情況。造成這類問題的原因主要是因為視覺增強工作主要關注人類感知質量，這一過程會因視覺偽影模式或噪聲擾動而變得有害。 ? 最近，已經研究了基于深度學習的高級視覺模型的局限性，這類算法是通過圖像增強方法作為獨立的預處理階段來應對惡劣天氣條件下其處理效率低下的問題。為了克服高級視覺模型的脆弱性，通過使用端到端學習方案或者分析自動駕駛場景中的語義分割網絡來解決圖像識別和分級的各種因素。 ? 比如，有一些研究已被提議用于恢復降雨效應，包括雨痕或雪花，比如，設計一個多尺度堆疊密集連接的 CNN，用于檢測和去除單個雪花圖像中的雪花。此外，包括非局部先驗或圖像到圖像轉換網絡提出了一些不依賴物理散射模型的去霧方法。

實際上，現有的圖像去霧方法并沒有給基于評估指標分析的圖像分類性能帶來太多好處。也有學者研究了一種聯合去霧和去雨的 CNN 網絡，結合來自單個圖像的全局上下文經典大氣散射模型的方法。這種混合一體化模型可以在一定程度上解決了上述普遍惡劣天氣增強的問題。此外，也有一些算法專注于生成對抗網絡依賴于僅處理特定退化類型的任務特定編碼器。然而，它們并非針對所有惡劣天氣條件進行設計和訓練，因此可能無法保證在惡劣天氣下建立安全的自動駕駛。 ? 盡管如上這些一體式方法在惡劣天氣圖像增強方面取得了令人印象深刻的性能，但它們中的大多數僅適用于一種特定類型的感知任務，例如目標檢測或語義分割，而沒有研究各種不同環境場景下的高級感知任務。此外，現有的一些方法都是針對在自動駕駛車輛中的嵌入設備而言，其計算效率太低，也不適合快速推理。 ?

自動駕駛中的單感知源提升方案

? 1、高級視覺處理圖像網絡原理 ? 在這里，我們在說明所提出的方法之前介紹問題的基礎設置。如下圖表示了特征身份提取網絡 (FIE) 中的詳細結構。其中，隨機投影顯示了從每個網絡的最后一個展平表示到 128 維潛在特征空間的連接。 ?

? 如上圖所示，假設我們有原始圖像 IGT 和相應的惡劣天氣圖像 IX。我們定義兩個圖像具有相同的高級任務標簽 YGT 。惡劣天氣輸入圖像IX 首先被送入圖像增強網絡 Een 并輸出恢復圖像 Ipred，而圖像增強網絡 Een 在最終輸出之前的最后一層表示 為flasten。 ? 隨后，恢復圖像Ipred通過高層感知網絡Eht前饋，輸出高層感知結果Ypred與最后一層卷積層flastht。每個網絡的參數表示為 qen 和qht，為每個任務預先訓練，其中 qht 在優化所提出的方法時被凍結。請注意，這里沒有明確定義高級任務的詳細網絡，建議適用于任意高級任務基線。最后，上面提到的兩個網絡的最后一層表示為flasten 和 flastht，分別被送入具有可學習參數 f 的特征身份提取網絡中。 ? 如下將總體說明本文的增強網絡的整體框架： ?

? 如上的感知處理框架包括一個低記憶增強網絡、一個特定于任務的高級感知網絡和一個特征身份提取網絡。我們將所有網絡連接到一個管道中，并以端到端的方式進行訓練。 ? 接下來將具體講解如何利用本文的增強網絡框架進行相應的的算法設計。 ? 這里的增強網絡架構受到稠密學習網絡 DenseNet特征編碼網絡的啟發。特征編碼網絡具有一種用于邊緣高分辨率應用的有效結構，并且通過利用基于 HarDNet的輕量級塊來降低級聯成本，從而優于現有的圖像增強方法。我們的增強網絡可以分為兩個部分：用于低內存計算成本的諧波密集塊（HBlock）和具有特征融合高級感知任務的特征標識提取模塊（FIE）。 ?

1)?圖像輸入稠密網絡

盡管標準的稠密網絡DenseNet 可以從傳播的所有層傳遞梯度，但它會導致大量內存使用和沉重的計算成本。 ? 為了學習恢復信息，這里用深度 L 層對 HBlock 進行建模。為了解決這些問題，深度為 L 的 HBlock 的輸出是通過與第 L 層和之前所有奇數層的連接獲得的。一旦 HBlock 完成，算法就將從 2 到 L-2 的所有偶數層的輸出刪除。最后，為了調整維度，我們在每個塊的最后一層設置了 32 個通道。每層L有一個輸出通道寬度k，其通道數按k×1:6n計算，其中n為第l層除以整數商除以2m時的最大值。 ? 此外，在每第 4 個卷積層之前使用一個瓶頸層以進一步加快參數效率，并將其輸出通道設置為： ? 其中 cin 和 cout 分別是輸入和輸出通道。為此，我們提出了兩個版本的網絡，每個版本由 71 層（5 個 HBlock）和 33 層（3 個 HBlock）組成。除最后一層外，每個卷積層之后都使用批量歸一化。之后，將 ReLU 用作激活函數。最后，為了實現更高質量的恢復，引入了遞歸增強結構，共3個階段，在最后階段逐步完善感知質量的優化。

? 2）特征身份提取模塊

? 特征身份提取模塊FIE通過在一個統一的框架中表示圖像增強和視覺感知之間的相互影響來將它們聯系起來。這種設計用于關聯來自圖像增強和高級視覺感知特征的信息。FIE 基于 3 層 CNN，它在使用隨機投影而不是密集的特征身份提取模塊FIE 的最后一層，這樣整體展平輸出后可以恰好分配出 128 維的潛在特征，如上圖所示。隨機投影可以進行無限制的特征身份比較FIE ，且最終層輸出維度不同。 ?

3）學習網絡損失函數定義

? 為了學習所提出的網絡，我們通過三階段進一步整合了圖像增強網絡和高級網絡。我們的培訓策略分為三個部分：即圖像增強網絡學習、高級視覺損失計算、特征識別學習； ?

① 圖像恢復損失Recovery Loss： ? 圖像損失恢復實際上是需要對惡劣天氣下的圖像恢復到與原始圖像盡量逼近的效果，其原理就是構建合理的損失逼近代價函數。當代價函數逐漸逼近0，且趨于穩定狀態時，就認為此時惡劣天氣圖已經完成了對原始圖像的恢復。 ? 現有的最先進的方法采用基于MSE（均方誤差）的像素損失來訓練增強網絡。然而，MSE 優化通常會產生模糊的視覺信息，從而導致內容過于平滑且圖像識別結果也不會如預期那樣好。為了防止這種情況，可以采用相對優質的懲罰函數（如Charbonnier，主要因為該函數對異常值更加穩健）來對惡劣天氣分布的逐次逼近進行估計。 ? 如下公式對恢復損失進行了相應的示意：

? ? 其中 e 是懲罰系數，根據經驗設置為 5×10?3，該值的設置主要是在增強網絡和高級感知之間提供豐富的連接。

? ② 特征身份損失High Level Task Loss： ? 特征身份可以利用歐幾里得距離計算圖像對的身份信息比對來獲取，這種距離計算方式比標準的每像素損失可以更好的生成高質量樣本。這種樣本的生成主要用于超分辨率、翻譯和圖像恢復。即使涉及圖像生成以外的識別任務，身份信息對于穩定優化仍然是必不可少的。為了在訓練過程中給出相關信息，我們建議使用特征身份損失與超球面空間中的身份直接相關，定義為：

? 其中和分別是從 (FIE) 中提取的輸入圖像和恢復圖像 的身份特征。FIE(·) V 是映射到超球面的身份表示。 ?

? ③ 高層任務損失函數Feature Identity Loss： ? 我們使用來自預先訓練的高級視覺任務網絡所生成的高級任務損失 LHT 來為增強網絡提供連接性，從而增強其感知效能。默認情況下，用于高級任務的感知網絡在由原始無雜質圖像組成的基準上進行預訓練，在完成深度學習后凍結對應的感知框架。這個感知框架可以保證即使我們的增強網絡被替換為另一個模型，也可以在不額外調整目標函數系數和重新訓練感知網絡的情況下替換它。這種方式可以在應對所有惡劣天氣的同時運行各種高級別任務的研究，在普適性上也更進了一步。為了傳達更強大的感知友好屬性，可以在接下來的步驟中描述特征標識損失。

? ④ 目標函數Target Function： ? 基于上述介紹，結合上述三類過程函數損失可以定義對應的目標函數，并基于階段方式優化總目標函數。優化的過程就是通過不斷的訓練逐步減小目標函數并取得最小值。當優化過程中逐漸發現一定時間內，目標函數區域穩定，且無法繼續減小時，則認為此時損失圖像已經恢復到和原始圖像差不多的質量。停止訓練，輸出對應的圖像。 ? 以下函數進行模型訓練：

? ? 其中 a 和 b 分別是和的權衡系數，qen 和 f 是從頭開始使用 N 個樣本學習的參數。 ?

自動駕駛中的多感知源提升方案

? 以上介紹了利用提升識別單感知源圖像本身處理能力的算法模型，然而應用于自動駕駛系統而言，同一場景下的圖像感知往往不可能來自于同一個感知源。比如典型的配置就包括了5R5V、5R11V、5R12V1L等幾種典型的傳感配置。對于以數據驅動一體化為導向的視覺融合毫米波和激光雷達的鳥瞰圖BEV而言，其3D場景重構在感知處理提升上也是行業內比較受到大家推崇的一種高階感知算法。 ? 如下圖表示了一種典型的BEV處理簡化圖模型。 ?

? 多V感知提升原理說明如下： ? 1）各自傳感器經過各自識別再進行融合時，中間損失了很多有效信息，影響了感知精度，而多相機BEV能夠有效避免類似的信息丟失； ? 2）傳統的融合算法，仍然是一種基于規則的方法，要根據先驗知識來設定傳感器的置信度，局限性很明顯，容易顧此失彼 ；而BEV融合能夠解放大量手工邏輯(包括重疊區域)，同時在資源使用率上也明顯更加友好； ? 3）多相機BEV有利于各困難case的精度提升。車輛運動過程中，某個視角的有可能會存在遮擋、光照問題，但其實視角此時正好處于正常狀態，多視覺融合雷達的 BEV感知可以很好的處理這種特殊case； ? 4）類似的，多視覺融合雷達的BEV感知也能夠提升基礎感知數據中的車道線屬性精度。

? 總結

自動駕駛感知處理過程中，從感知本身而言，需要首先考慮對各獨立傳感器的感知圖像處理。本文重點說明了多種惡劣天氣和環境條件下自動駕駛的圖像增強和高級視覺處理邏輯。主要可以從三方面入手解決問題：首先，利用一個通用的多重惡劣天氣去除框架，促使高級視覺任務能夠在不退化和重新訓練的情況下提高現有模型的魯棒性。其次，開發了一個任務驅動的增強網絡，以減少內存和計算成本，這對于車載端自動駕駛的實時資源利用而言是一個很大的福音。此外，引入一種新穎的訓練策略，可以最大限度地減少圖像增強的不利影響，同時以端到端和任務驅動的方式提高感知處理任務的效能。 ? 此外，考慮自動駕駛中傳感器配置的多樣性，當前比較典型的方法還是利用多V結合多雷達的方式實現各方BEV的融合策略。對于從單V模型中實在無法解決的極端場景可以進一步促進其識別處理性能的提升。 ?

編輯：黃飛

?