來源：CVPR 2021 UG2+ 編輯：好困

【新智元導讀】中國團隊包攬CVPR 2021 UG2+挑戰賽弱光人臉檢測賽道前三，其中TAL-ai更是以74.89的高分奪得第一。

CVPR作為是全球計算機視覺頂會之一，近年來的論文接收率不超過25%。今年，會議收到了21000名作者的7000篇投稿，經過7400名審稿人和280名區域主席的審查，最終有1600篇論文被接收，接收率約0.24。

而在CVPR 2021 UG2+挑戰賽——弱光條件下（半）監督人臉檢測賽道中，國內的「TAL-ai」團隊以mAP 74.89的高分奪得第一，領先第二名3%。

在弱光條件下，人臉的視覺特征與正常環境中有很大的差異，也就使現有人臉檢測算法無法有效工作。

TAL-ai在論文中提出了新的解決方法，研究人員除了在增強圖像亮度時結合了兩種方法，同時還對正常的圖像進行處理來擴展訓練集，并將數個檢測器組合起來增強對人臉的檢測。

https://arxiv.org/pdf/2107.00818.pdf

弱光條件的人臉檢測

賽事提供的「DARKFACE」數據集將會被用作作為訓練和驗證，其中含有6000個低亮度圖像，并具有相應的面部注釋。最終的測試集則由4000個圖像組成。

低亮度圖像增強

為了增強圖像的亮度，論文使用MSRCR方法，同時實現了動態范圍壓縮、顏色一致性以及亮度再現。

此外，還使用了另一種數據驅動亮度增強方法ZeroDCE，將亮度增強任務與深度網絡的圖像標準曲線進行估計。

從增強的低光圖像中提取顯著圖Rsaliency，并將其與Rmsrcr融合，從而抑制錯誤的結果，融合結果R saliency_enhanced：

正常圖像的域遷移

論文將WIDERFACE和UFDD預訓練集與經過預處理的DARKFACE相結合，從而構建更具魯棒性的檢測器。

考慮到預處理的DARKFACE樣本與正常圖像之間的領域差距，論文將WIDERFACE和UFDD遷移到與已處理的DARKFACE數據集更相鄰的域。

傳統的方法是降低正常圖像的亮度，添加噪音，然后用MSRCR處理。

HLAFace方法則是使用Pix2Pix網絡來合成噪聲，從而獲得由低亮度增強圖像和經過域遷移的正常圖像組成的訓練樣本。

檢測與結果

論文構建的弱光人臉檢測框架由兩部分組成：級聯R-CNN和檢測器。并使用Cascade R-CNN作為De-Scribe細節的示例。

訓練架構

測試架構

數據集拆分

論文將DARKFACE數據集按照每張圖片中人臉的數量分成幾組，然后隨機選擇每組中10%的樣本作為驗證部分，其余90%的數據作為訓練部分。

訓練策略

論文進行了多尺度訓練，調整樣本范圍從[2160,1440]到[4320,2880]，并對其應用大小為[1000,800]的隨機裁剪。并且使用圖像增強工具來在線處理訓練樣本，包括隨機亮度，顏色抖動等。

此外，還要使用AdamW優化器，初始學習率為0.0001，在27和33個epoch中進行線性衰減，共36個epoch，權重衰減為0.05。

模型重構

特征表示一直是物體檢測任務的關鍵點，而骨干網絡對特征表示的能力有非常重要的影響。

因此，論文采用Swin-Transformer和ResNet兩個架構。此外，還采用了PAFPN來代替級聯R-CNN中的FPN。

在分析了DARKFACE數據集的人臉大小分布后，研究人員注意到小尺寸的人臉占主導地位。因此，論文設置了更多的小錨點來捕捉更多小的人臉。

論文在主干中加入了注意力模塊GCnet，從而獲得更強大的表征，同時RoI-align模塊也被用來預測更精確的邊界框。

人臉大小的分布

模型組合

最后，論文用Swin-large、Swin-base、ResNet50等不同的骨架訓練Cascade R-CNN和DetectorRS，以獲得更好的檢測器多樣性結果。

論文使用加權邊界框融合(WBF)和測試時數據增強(TTA)方法將檢測器的預測組合，并在模型組合過程中使用了Soft-NMS。

驗證結果

總結

論文在增強圖像亮度時結合了兩種不同的方法，同時，研究人員對正常圖像進行處理，從而獲得增強亮度的弱光圖像以及經過域遷移的正常圖像相結合的訓練樣本。最后，論文結合了數個檢測器來定位人臉的邊界框。

參考資料：

https://cvpr2021.ug2challenge.org/leaderboard21_t1.html

https://arxiv.org/pdf/2107.00818.pdf

—完—

歡迎點贊~ 關注 新智元 及時了解人工智能新動態~

審核編輯 黃宇