yolov5和YOLOX正負樣本分配策略

導讀

整體上在正負樣本分配中，yolov7的策略算是yolov5和YOLOX的結合。因此本文先從yolov5和YOLOX正負樣本分配策略分析入手，后引入到YOLOv7的解析中。

整體上在正負樣本分配中，yolov7的策略算是yolov5和YOLOX的結合。

首先大概回顧一下yolov5和YOLOX正負樣本分配。

由于筆者能力有限，文章中可能出現一些錯誤，歡迎大家指出。

一、yolov5正負樣本分配策略

在我之前的文章中有詳細介紹：

步驟：

步驟①：anchors和gt匹配，看哪些gt是當前特征圖的正樣本

步驟②：將當前特征圖的正樣本分配給對應的grid

圖1：實線網格代表特征圖。虛線代表將一個特征點grid分為四個象限。藍色點代表gt的中心點所處位置。

那么其特點是：

①anchor base。

②一個gt可能會和多個anchor進行匹配。

③某個anchor與gt匹配上，都會在當前anchor上有3個正樣本。（理論上如果有9個anchor，那么一個gt至多可能生成9*3=27個正樣本）

二、YOLOX正負樣本分配策略

在我之前的文章中有詳細介紹：

圖2：源自曠視公眾號

那么其特點是：

①anchor free。

②simOTA能夠做到自動的分析每個gt要擁有多少個正樣本。

③能自動決定每個gt要從哪個特征圖來檢測。

三、yolov7正負樣本分配策略

首先，yolov7也仍然是anchor base的目標檢測算法，yolov7將yolov5和YOLOX中的正負樣本分配策略進行結合，流程如下：

①yolov5:使用yolov5正負樣本分配策略分配正樣本。

②YOLOX:?計算每個樣本對每個GT的Reg+Cla loss（Loss aware）

③YOLOX:?使用每個GT的預測樣本確定它需要分配到的正樣本數（Dynamic k）

④YOLOX:?為每個GT取loss最小的前dynamic k個樣本作為正樣本

⑤YOLOX:?人工去掉同一個樣本被分配到多個GT的正樣本的情況（全局信息）

其實主要是將simOTA中的第一步“使用中心先驗”替換成“yolov5中的策略”。

代碼中也大量的復用了yolov5和YOLOX中的源碼。

個人感覺，yolov5策略與YOLOX中simOTA策略的融合，相較于只使用yolov5策略，加入了loss aware，利用當前模型的表現，能夠再進行一次精篩。而融合策略相較于只使用YOLOX中simOTA，能夠提供更精確的先驗知識。

yolov6等工作中也都使用了simOTA作為分配策略，可見simOTA確實是能帶來很大提升的策略。

四、yolov7中AUX HEAD

圖3：yolov7論文中對于aux head的介紹

yolov7中的p6 model中都使用了aux head。

論文中提到使用aux head與lead head共同進行模型優化，而aux head的標簽是較為“粗糙的“。

通過查看源碼，發現aux head的assigner和lead head的assigner僅存在很少的不同，包括：

①lead head中每個anchor與gt如果匹配上，分配3個正樣本，而aux head分配5個。

②lead head中將top10個樣本iou求和取整，而aux head中取top20。

這也印證了論文中的觀點。aux head不那么strong，aux head更關注于recall，而lead head從aux head中精準篩選出樣本。

圖4：yolov7論文中對于aux head的介紹

按照yolov7中的這個正負樣本分配方式，那么針對圖5中，藍色點代表著gt所處的位置，實線組成的網格代表著特征圖grid，虛線代表著一個grid分成了4個象限以進行正負樣本分配（不理解的需要去看下yolov5的assign方式）。

如果一個gt位于藍點位置，那么在lead head中，黃色grid將成為正樣本。在aux head中，黃色+橙色grid將成為正樣本。

圖5：訓練時，lead head和aux head中正樣本分配圖示（藍色點代表著gt所處的位置，實線組成的網格代表著特征圖grid，虛線代表著一個grid分成了4個象限以進行正負樣本分配。如果一個gt位于藍點位置，那么在lead head中，黃色grid將成為正樣本。在aux head中，黃色+橙色grid將成為正樣本）

而在推理時，下圖6中，藍色點代表著gt所處的位置，實線組成的網格代表著特征圖grid，虛線代表著一個grid分成了4個象限，而依照yolov5中的中心點回歸方式，僅能將圖中紅色特征grid，預測在圖中紅色+藍色區域，是根本無法將中心點預測到gt處的！而該紅色特征grid在訓練時是會作為正樣本的。

在aux head中，模型也并沒有針對這種情況對回歸方式作出更改。所以其實在aux head中，即使被分配為正樣本的區域，經過不斷的學習，可能仍然無法完全擬合至效果特別好。