在自動駕駛領域，目標檢測是一項富有挑戰性的工作，尤其是一些出現頻率較低的特殊目標，常因數據不足導致檢測效果一般。對此，Nullmax的感知團隊提出了一項針對少見目標檢測的數據增強方法，并將相應數據集開源上線，為行業解決數據缺乏難題，應對長尾挑戰提供研究參考。

對于自動駕駛車輛而言，準確識別各類目標和障礙物信息，可以有效保障行駛安全。因此感知系統既要檢測一些路上常見的目標，比如車輛、行人、交通標識等，也要檢測了一些少見的目標，比如錐形筒、交通警示桶、三角警示牌，等等。

這些檢測少見目標的神經網絡模型，和其他常見目標的檢測模型一樣，需要大量的標注數據進行訓練。但這類目標出現概率很低，所以獲取訓練數據需要耗費大量的成本和時間。

因此，Nullmax的感知團隊提出了一種基于交通場景信息的數據增強方法，通過Copy-Paste方式零成本生成高度逼真的訓練樣本，解決少見目標檢測的數據難題。實驗結果顯示，Nullmax的新方法可以顯著提升少見目標檢測的任務效果。

同時，Nullmax建立了專用于自動駕駛少見目標檢測的數據集Rare ObjectDataset（ROD），并在近期正式開源上線。ROD是該細分領域內的首個公開數據集，可以為目標檢測、數據增強等方面的研究者提供稀缺的數據，研究特殊目標檢測相關課題。

01

ROD自動駕駛數據集

Nullmax推出的ROD是一個多樣化的真實世界數據集，當中包含大量訓練圖像和驗證圖像，并對小車、卡車、巴士、行人和自行車這5類常見目標進行了相應標注。

此外，ROD還提供了3類典型少見目標的掩膜，可用于少見目標檢測和數據增強方法的研究，當中包括大約1000個錐形筒、100個交通警示桶和50個三角警示牌的掩膜數據。

ROD具有良好的數據多樣性，覆蓋了自動駕駛的不同場景。它包含了不同的道路級別，包括高速公路、快速路、城市街道以及鄉村道路；不同的天氣狀況，比如晴天、陰天和雨天；以及不同的時間段，包括白天、傍晚和夜間。

ROD數據集現已開放下載：

https://nullmax-vision.github.io/

02

基于交通場景信息的數據增強

為了解決少見目標檢測的數據難題，Nullmax的感知團隊提出了結合交通場景的數據增強方法，通過簡單有效的Copy-Paste增強方式生成逼真的訓練數據，獲得了出色的檢測效果。

論文地址：

https://arxiv.org/pdf/2205.00376.pdf

通常來說，訓練樣本較少的目標檢測任務可以看作是面向不平衡或長尾的數據集。有一些研究者，通過重采樣訓練數據和調整損失函數權重來解決這個問題，但這類方法對于專家經驗較為依賴。

數據增強是解決數據稀缺問題的另一個研究方向，旨在通過最小代價生成大量帶標注的訓練樣本。數據增強大致可以分為圖像級增強和實例級增強，當包含特定目標類別的圖像級訓練數據達到一定數量時，前者是一種有效的方法；反之，則是實例級數據增強更為適合。

Nullmax采用的Copy-Paste方式，就是一種常見的實例級數據增強，它從源域復制特定目標類別的實例掩膜粘貼到目標域。通過系統性的研究，我們證明了在自動駕駛領域，通過結合交通場景信息的Copy-Paste數據增強方式，可以達到出色的少見目標檢測性能。

具體來說，Nullmax利用源域的目標掩膜進行實例級變換，創建逼真的目標實例。并將交通場景信息用作全局的幾何約束，將局部自適應的實例掩膜粘貼到目標圖像上，生成訓練數據。最后，再通過局部和全局的一致性保證訓練數據的質量和真實度。

Nullmax提出的方法包括了3個主要環節：

(1) 收集目標實例掩膜和背景圖像。在Nullmax的研究中，所有的背景圖像來自于不同的真實交通場景。以錐形筒為例，它會涵蓋不同的類型、顏色和大小。

(2) 通過理解交通場景信息，計算實例掩膜的粘貼位置。在背景圖像上隨機粘貼目標，效率低下，而且目標之間的關聯可能與真實交通場景不符。Nullmax的方法以交通環境信息為約束，考慮相機內外參，進行實例掩膜的疊加。

(3) 對實例掩膜進行局部自適應轉換。為了確保目標掩膜無縫粘貼到背景圖像中，Nullmax使用了一系列局部自適應的數據增強策略：基于感知的景深，縮放粘貼對象；應用多種實例級混合策略，確保圖像接縫盡量平滑；以及局部自適應的顏色變換（HSV）。

實驗顯示，Nullmax提出的數據增強方法在錐形筒檢測中取得了出色效果，并且這一方法也能夠推廣至其他類型的少見物體檢測任務當中。

此外，Nullmax也研究了各組件的效果，分析了方法中實例掩膜域、實例掩膜數量和強化訓練圖像數量的敏感性，證明了這一方法可為少見物體檢測任務提供有效的訓練圖像。

03

加入我們

在自動駕駛領域，除常規的目標檢測之外，數據增強在少見目標檢測方面的應用鮮有人研究。我們提出的基于交通場景信息的Copy-Paste數據增強方法，可以簡單高效地解決自動駕駛領域中因數據稀缺所帶來的少見目標檢測難題。

未來，我們希望通過增量訓練對少見目標檢測展開進一步研究。

審核編輯 ：李倩