今天，小編將繼續為大家帶來Nullmax感知部總監兼計算機視覺首席科學家成二康博士做客汽車之心·行家說欄目的內容整理下篇，關于自動駕駛的數據閉環及混合數據增強的簡要介紹。Nullmax正通過將這些技術應用到不同的量產項目中，推進自動駕駛系統的迭代升級。

對于自動駕駛而言，數據具有至關重要的技術驅動作用，通過數據閉環高效收集、利用海量的真實數據，是自動駕駛研發和落地的一項核心能力。與此同時，在無法充分獲得所需真實數據的情況下，大規模地生成虛擬樣本也是一種可行的方式。

對于自動駕駛來說，真實世界的駕駛環境變幻莫測，駕駛場景層出不窮，訓練有素的軟件算法也會面臨長尾效應帶來的一系列問題，遇到一些很少遇到但是很難應對的極端場景。

因此，針對自動駕駛的長尾問題，Nullmax打造了高效的數據閉環，支持行泊一體方案的大規模應用，并且探索了大規模地生成虛擬樣本數據，運用混合數據增強方法解決少見目標檢測方面的相關難題。

這樣的話，可以最大程度、最高效率地在真實場景中收集和利用困難樣本數據，同時在真實場景數據難以滿足需求的情況，通過合成虛擬樣本來解決數據難題。

數據閉環

Nullmax的數據閉環，名為MaxFlow自主成長系統。它包含了車端、云端兩大部分，車端源源不斷地獲取數據，云端對數據進行分析，完成獲取、清洗、標注、訓練以及模型驗證的整個閉環。

它可以為感知、融合、決策、定位、測試等環節提供全方位的幫助，實現持續不斷的迭代升級，驅動自動駕駛的整個系統自主成長。特別是在感知層面，尤其是視覺感知當中，自主成長系統發揮了巨大作用。

數據閉環的數據，主要源自兩個方面。一是以offline的方式，在收集全量數據后，通過data filter機制篩選出感興趣的數據，然后送到云端參與訓練等任務。二是以online的方式，在車端運用trigger機制，通過影子模式等方法，自主地收集一些感興趣的數據，包括困難樣本。（點擊查看詳情）

影子模式，簡單來說就是通過對比人類司機和自動駕駛系統的駕駛差異，獲得一些數據，提升自動駕駛系統的駕駛能力，從而逼近甚至是超越人類駕駛水平。對于感知層面來說，也是如此，比如AEB誤觸發，那么就可以在誤觸發的時候，將視覺傳感器的數據進行回收，送到云端分析處理。這是一種相對被動的學習方式，此外系統也包含一些相對主動的學習方式，比如通過不確定性等進行樣本的篩選。

在線的trigger方面，包括有人機一致性、時序一致性、多傳感器一致性、多算法一致性、指定特殊場景等不同類型的設置。如果遇到變道失敗、傳感器之間結果不一致、算法結果不一致等等情況，那么就會觸發相應數據的收集。

舉個例子，一個障礙物在時間維度而言，既不可能憑空消失，也不可能憑空出現，這就是時序的一致性。如果一個行人在連續軌跡上消失了，那么就是典型的漏檢。

另外一個例子，就是同樣的一張圖片，用不同的算法進行一致性的校驗。比如freespace和障礙物相互校驗，可行駛區域當中不應存在障礙物，不然的話就是漏檢。

此外，運用多種算法校驗來篩選難樣本，也是非常重要的手段。比如行駛在路面的車輛，如果只檢測出車輪，但沒有檢測出車輛，那么極有可能這是一個比較難的樣本，比如涂裝車、挖掘機、平板車等等罕見的車輛。這種方法也可以用來篩選一些極近距離的大車，比如油罐車、拖車、掛車等等少見場景的數據。

同樣的，對于行人也可以通過頭部的檢測和身體的檢測，來校驗檢測結果，篩選困難案例。

混合數據增強

對于自動駕駛而言，除了通過數據閉環在真實場景中收集困難樣本之外，另外一種獲取數據樣本的方式，就是大規模的自動化生成虛擬樣本。

比如，在CVPR 2022上提出的合成數據集SHIFT，就是通過CARLA仿真幾乎零成本地生成真值數據。再比如Block-NeRF，利用3個月收集的數據重建舊金山市的場景，這是另外一種生成數據的方式，通過一些樣本的視角來生成其他視角的虛擬圖像。

此外，通過計算機圖形學和生成式模型相結合，也能夠以Neural Rendering的方式生成大量的虛擬數據。

在ICRA 2022上，Nullmax同樣也提出了一種生成虛擬樣本的方式，通過混合數據增強的方法，解決罕見目標檢測的難題。（點擊查看詳情）

因為對自動駕駛而言，即使專門去篩一些數據，獲得的數據量仍可能還是很小。收集一些少見的樣本，比如錐形筒相關的場景，其實依然很難。

所以我們當初的想法是，既然擁有大量沒有錐形筒的真實場景，那么能不能將錐形筒的mask（掩膜）貼到這些真實場景圖片上面，幾乎零成本地自動生成大量少見樣本呢？這就是我們想要通過混合數據增強來實現的目標。

這當中有兩個非常關鍵的問題，一個是錐形筒mask貼到什么位置，一個是怎么貼mask。因此，我們提出了一個多任務的深度學習網絡，為交通場景提供相應的約束，確保mask沿著車道線貼到freespace上，而不是車上。同時，還提出了一個局部自適應的顏色變換，讓mask能夠自動適應每張圖片本身的顏色分布。

實驗結果顯示，對錐形筒這類少見樣本來說，如果只有少量數據，檢測效果其實比較一般。但是在結合我們的混合數據增強方法后，檢測效果可以大幅提升。

Nullmax已經開源相應的ROD（Rare Object Dataset）數據集，當中包含1萬多張的數據，分布在不同的道路、天氣和光照條件。如果大家感興趣，歡迎登陸網站下載 https://nullmax-vision.github.io/。

篇后語

為了更好地實現行泊一體，Nullmax開發了能夠自動化支持行車和泊車兩類任務的感知基礎架構，從而最大程度地復用軟件算法。這其中，就包括了數據、訓練和部署。

基于這套架構，Nullmax能夠通過數據閉環收集的海量真實數據，以及大規模生成的虛擬樣本，以非常高效、經濟的方式提供提供豐富、充足的訓練樣本，對算法進行真實和混合數據的混合訓練，打造出一個滿足全場景自動駕駛需求的「超級大腦」。

后續，我們將介紹這套強大的感知基礎架構，敬請關注！

審核編輯 ：李倩