水下目標(biāo)檢測(cè)旨在對(duì)水下場(chǎng)景中的物體進(jìn)行定位和識(shí)別。這項(xiàng)研究由于在海洋學(xué)、水下導(dǎo)航等領(lǐng)域的廣泛應(yīng)用而引起了持續(xù)的關(guān)注。但是，由于復(fù)雜的水下環(huán)境和光照條件，這仍然是一項(xiàng)艱巨的任務(wù)。因此近年來(lái)有多個(gè)賽事與水下目標(biāo)檢測(cè)相關(guān)，如近期正在進(jìn)行的2021全國(guó)水下機(jī)器人大賽，接下來(lái)我們將介紹在水下目標(biāo)檢測(cè)領(lǐng)域的深度學(xué)習(xí)方法概述。

01 水下目標(biāo)檢測(cè)的關(guān)鍵問(wèn)題

1.1 水下圖片模糊

在水下場(chǎng)景中，由于光照影響大大降低了水下圖像的質(zhì)量，從而導(dǎo)致了可見(jiàn)度損失，弱對(duì)比度和紋理失真，顏色變化等問(wèn)題（如下圖所示），并且在水下場(chǎng)景中環(huán)境復(fù)雜，這導(dǎo)致水下目標(biāo)檢測(cè)更加困難。

1.2 小目標(biāo)檢測(cè)

水下環(huán)境中的目標(biāo)物體通常很小，如：海膽，扇貝，海參等，而當(dāng)前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)器通常無(wú)法有效地檢測(cè)小物體，或者對(duì)小目標(biāo)物體的檢測(cè)性能較差。

02 水下目標(biāo)檢測(cè)的深度學(xué)習(xí)方法

緩解水下圖片模糊主要是通過(guò)對(duì)水下圖片進(jìn)行增強(qiáng)，去噪，復(fù)原等方法，對(duì)于小目標(biāo)檢測(cè)的問(wèn)題可以通過(guò)數(shù)據(jù)擴(kuò)增和改進(jìn)網(wǎng)絡(luò)的方式來(lái)緩解，接下來(lái)我們將介紹近年來(lái)解決水下目標(biāo)檢測(cè)問(wèn)題的深度學(xué)習(xí)方法。

Underwater object detection using Invert Multi-Class Adaboost with deep learning

論文鏈接： https://arxiv.org/pdf/2005.11552.pdf

代碼鏈接： https://github.com/LongChenCV/SWIPENet

主要方法：文中提出了一種用于水下目標(biāo)小樣本檢測(cè)的SWIPENet，網(wǎng)絡(luò)中提出了一種樣本重加權(quán)算法IMA（Invert Multi-Class Adaboost），IMA會(huì)減少missed objects（丟失對(duì)象）的權(quán)重，以減少這些“干擾”樣本的影響。并且在SWIPENet中引入了具有RELU的空洞卷積層（dilated conv）它們可以在不犧牲特征圖分辨率的情況下獲得大的接受區(qū)域。

IMA算法：首先順序訓(xùn)練多個(gè)基本分類(lèi)器，并根據(jù)其錯(cuò)誤率Em分配權(quán)重值α。然后，將由前面的分類(lèi)器分類(lèi)錯(cuò)誤的樣本分配較高的權(quán)重，從而使后面的分類(lèi)器專(zhuān)注于學(xué)習(xí)這些樣本。最后，將所有弱基礎(chǔ)分類(lèi)器組合在一起，形成具有相應(yīng)權(quán)重的整體分類(lèi)器。IMA還訓(xùn)練了M次SWIPENet，然后將它們整合為一個(gè)統(tǒng)一模型。不同的是，在每次訓(xùn)練迭代中，IMA都會(huì)減少丟失對(duì)象的權(quán)重，以減少這些“干擾”樣本的影響。

實(shí)驗(yàn)結(jié)果：達(dá)到URPC 2017的冠軍結(jié)果，45.0map，冠軍為45.1map。

SWIPENet的網(wǎng)絡(luò)結(jié)構(gòu)圖：

RoIMix： Proposal-Fusion among Multiple Images for Underwater Object Detection

論文鏈接： https://arxiv.org/abs/1911.03029

主要方法：URPC 2019水下目標(biāo)檢測(cè)競(jìng)賽冠軍方案：多圖像融合增強(qiáng)，針對(duì)水下場(chǎng)景重疊和遮擋（水下生物喜歡聚在一起）、模糊（水中沉淀物導(dǎo)致）的問(wèn)題，提出一種基于候選框融合的圖像增強(qiáng)方法，以生成模擬重疊、遮擋、模糊的訓(xùn)練樣本，從而提高模型的mAP和魯棒性。RoIMix算法使用RPN產(chǎn)生ROI，并以隨機(jī)的比例混合它們。該比例是根據(jù)Beta分布產(chǎn)生的，然后，使用混合樣本來(lái)訓(xùn)練模型。

下圖中：

即為用RoIMix圖像增強(qiáng)方法生成的模擬遮擋+模糊的訓(xùn)練樣本

RoIMix的網(wǎng)絡(luò)結(jié)構(gòu)圖：

實(shí)驗(yàn)結(jié)果：達(dá)到URPC 2019的冠軍方案，ROIMIX和BaseLine之間的最大性能差異為9.05%個(gè)mAP值。

An Underwater Image Enhancement Benchmark Dataset and Beyond

論文鏈接： https://arxiv.org/abs/1901.05495v1

代碼鏈接： https://github.com/Li-Chongyi/Water-Net_Code

主要方法：文中提出了一個(gè)新的具有950張水下圖片的數(shù)據(jù)集UIEBD，包含各個(gè)水下場(chǎng)景，以及水下各種特征退化（光線不足、霧）的情況，用數(shù)據(jù)集UIEBD對(duì)12種現(xiàn)階段主流的水下圖片增強(qiáng)算法進(jìn)行評(píng)測(cè)和驗(yàn)證。并且提出基于fusion的水下圖片增強(qiáng)模型DuwieNet。

12種水下數(shù)據(jù)擴(kuò)增方法比較：

DUIENet： 基于所構(gòu)建的UIEBD數(shù)據(jù)集，作者提出了一種用于水下圖像增強(qiáng)的CNN模型，稱(chēng)為DuwieNet。DuwieNet是—種門(mén)控融合網(wǎng)絡(luò)，它將輸入與預(yù)測(cè)的置信度圖融合以獲得增強(qiáng)的結(jié)果。首先通過(guò)FTUs將輸入轉(zhuǎn)換為精確的輸入，然后預(yù)測(cè)置信度圖。最后，將改進(jìn)后的輸入與相應(yīng)的置信度圖進(jìn)行融合，得到增強(qiáng)后的結(jié)果。其結(jié)構(gòu)圖如下所示：

實(shí)驗(yàn)結(jié)果：

03 水下目標(biāo)檢測(cè)比賽的開(kāi)源方案

在去年的2020年全國(guó)水下機(jī)器人（湛江）大賽水下目標(biāo)檢測(cè)比賽眾多，部分選手公開(kāi)了他們的參賽方案，他們?cè)诒荣愔械慕?jīng)驗(yàn)這對(duì)我們研究水下目標(biāo)檢測(cè)具有很大的參考價(jià)值，下面我根據(jù)使用的檢測(cè)框架進(jìn)行分類(lèi)，簡(jiǎn)單介紹其中的幾個(gè)開(kāi)源方案

3.1 mmdection

和鯨社區(qū)Kesci 水下目標(biāo)檢測(cè)算法賽（光學(xué)圖像賽項(xiàng)）三等獎(jiǎng) 單模方案

代碼鏈接：https://github.com/milleniums/underwater-object-detection-mmdetection

方法簡(jiǎn)述：

使用兩階段檢測(cè)框架，保證精度要求；

使用FPN，增強(qiáng)小目標(biāo)的檢測(cè)效果；

使用Mixup、旋轉(zhuǎn)等無(wú)損的數(shù)據(jù)增強(qiáng)技術(shù)，減輕網(wǎng)絡(luò)過(guò)擬合，并提升模型泛化能力；

使用多尺度訓(xùn)練與預(yù)測(cè)，適應(yīng)圖片分辨率差異，可以讓參與訓(xùn)練的目標(biāo)大小分布更加均衡，使模型對(duì)目標(biāo)大小具有一定的魯棒性；

參考ResNet論文，使用Global Context ROI為每個(gè)候選框添加上下文信息，充分利用數(shù)據(jù)分布特點(diǎn)，提升了檢測(cè)精度。

消融實(shí)驗(yàn)：

和鯨社區(qū)Kesci 水下目標(biāo)檢測(cè)算法賽（光學(xué)圖像賽項(xiàng)）30（A榜） / 31（B榜）

代碼鏈接： https://github.com/Wakinguup/Underwater_detection

方法簡(jiǎn)述：

1、數(shù)據(jù)增強(qiáng)：

采用Mixup、實(shí)例平衡增強(qiáng)、模糊（Median Blur和 Motion Blur）、Retinex、泊松融合、標(biāo)簽平滑。

2、模型框架：mmdetection代碼庫(kù)中的Cascade R-CNN模型，其中backbone是ResNeXt101-64x4d （64是基數(shù)Cardinality，X101的一個(gè)block的group數(shù)量。而4d是指bottleneck的寬度）。模型同時(shí)也搭配了FPN［3］，增強(qiáng)模型對(duì)小目標(biāo)的檢測(cè)能力。

3.2 EfficientDet

EfficientDet訓(xùn)練水下目標(biāo)檢測(cè)數(shù)據(jù)集

代碼鏈接： https://github.com/DataXujing/EfficientDet_pytorch

方法簡(jiǎn)述：

這個(gè)使用EfficientDet進(jìn)行水下目標(biāo)檢測(cè)，僅是baseline無(wú)任何tricks，Step by Step演示如何訓(xùn)練最近開(kāi)源的相對(duì)SOTA的Pytorch版的EfficientDet的訓(xùn)練，評(píng)估，推斷的過(guò)程。像paper中提到的一樣，我們并沒(méi)有使用任何數(shù)據(jù)增強(qiáng)或模型融合等后處理的trick來(lái)提高模型的精度，如果你想增加數(shù)據(jù)增強(qiáng)的策略可以在efficientdet/dataset.py中實(shí)現(xiàn)；

3.3 YOLOV5

我們團(tuán)隊(duì)這次也參加了2021年全國(guó)水下機(jī)器人（湛江）大賽，為大家開(kāi)源了YOLOV5檢測(cè)的baseline

代碼：https://github.com/wangdongdut/Underwater-Object-Detection

04 總結(jié)

水下目標(biāo)檢測(cè)目前任然還是一個(gè)具有挑戰(zhàn)的領(lǐng)域， 相比于傳統(tǒng)圖像處理方法分多個(gè)步驟和環(huán)節(jié)處理檢測(cè)任務(wù)， 基于深度學(xué)習(xí)的方法將其統(tǒng)一為端到端的特征提取和分類(lèi)。雖然水下目標(biāo)檢測(cè)技術(shù)已經(jīng)不斷地從學(xué)術(shù)研究走向成熟的工業(yè)應(yīng)用， 但是依然有一些需要解決的問(wèn)題。

編輯：jq