來(lái)自北京大學(xué)、清華大學(xué)和微軟亞洲研究院的研究人員提出一種新的、更精細(xì)的對(duì)象表示方法RepPoints，拋棄了流行的邊界框表示，結(jié)果與最先進(jìn)的基于 anchor 的檢測(cè)方法同樣有效。

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺中最基本的任務(wù)之一，也是許多視覺應(yīng)用的關(guān)鍵組成部分，包括實(shí)例分割、人體姿態(tài)分析、視覺推理等。

目標(biāo)檢測(cè)的目的是在圖像中定位目標(biāo)，并提供目標(biāo)的類別標(biāo)簽。

近年來(lái)，隨著深度神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，目標(biāo)檢測(cè)問(wèn)題也取得了長(zhǎng)足的進(jìn)展。

當(dāng)前先進(jìn)的目標(biāo)檢測(cè)器很大程度上依賴于矩形邊界框來(lái)表示不同識(shí)別階段的對(duì)象，如 anchors、proposals 以及最終的預(yù)測(cè)。

邊界框使用方便，但它只提供目標(biāo)的粗略定位，導(dǎo)致對(duì)目標(biāo)特征的提取也相當(dāng)粗略。

近日，來(lái)自北京大學(xué)、清華大學(xué)和微軟亞洲研究院的楊澤、王立威、Shaohui Liu 等人在他們的最新論文中，提出了一種新的、更精細(xì)的對(duì)象表示方法 ——RepPoints (representative points)，這是一組對(duì)定位和識(shí)別都很有用的樣本點(diǎn) (sample points)。

給定訓(xùn)練的 ground truth 定位和識(shí)別目標(biāo)，RepPoints 學(xué)會(huì)自動(dòng)以限制目標(biāo)的空間范圍的方式來(lái)排列自己，并表示在語(yǔ)義上重要的局部區(qū)域。此外，RepPoints 不需要使用 anchor 來(lái)對(duì)邊界框的空間進(jìn)行采樣。

作者展示了一個(gè)基于 RepPoints 的、anchor-free 的目標(biāo)檢測(cè)器，不需要多尺度訓(xùn)練和測(cè)試就可以實(shí)現(xiàn)，而且與最先進(jìn)的基于 anchor 的檢測(cè)方法同樣有效，在 COCO test-dev 檢測(cè)基準(zhǔn)上達(dá)到了42.8 AP 和 65.0 AP??。

拋棄邊界框，更細(xì)粒度的目標(biāo)表示RepPoints

在目標(biāo)檢測(cè)過(guò)程中，邊界框是處理的基本元素。邊界框描述了目標(biāo)檢測(cè)器各階段的目標(biāo)位置。

雖然邊界框便于計(jì)算，但它們僅提供目標(biāo)的粗略定位，并不完全擬合對(duì)象的形狀和姿態(tài)。因此，從邊界框的規(guī)則單元格中提取的特征可能會(huì)受到包含少量語(yǔ)義信息的背景內(nèi)容或無(wú)信息的前景區(qū)域的嚴(yán)重影響。這可能導(dǎo)致特征質(zhì)量降低，從而降低了目標(biāo)檢測(cè)的分類性能。

本文提出一種新的表示方法，稱為 RepPoints，它提供了更細(xì)粒度的定位和更方便的分類。

如圖 1 所示，RepPoints 是一組點(diǎn)，學(xué)習(xí)自適應(yīng)地將自己置于目標(biāo)之上，其方式限定了目標(biāo)的空間范圍，并表示語(yǔ)義上重要的局部區(qū)域。

圖 1：RepPoints 是一種新的目標(biāo)檢測(cè)表示方法

RepPoints 的訓(xùn)練由目標(biāo)定位和識(shí)別目標(biāo)共同驅(qū)動(dòng)，因此，RepPoints 與 ground-truth 的邊界框緊密相關(guān)，并引導(dǎo)檢測(cè)器正確地分類目標(biāo)。

這種自適應(yīng)、可微的表示可以在現(xiàn)代目標(biāo)檢測(cè)器的不同階段連貫地使用，并且不需要使用 anchors 來(lái)對(duì)邊界框空間進(jìn)行采樣。

RepPoints 不同于用于目標(biāo)檢測(cè)現(xiàn)有的非矩形表示，它們都是以自底向上的方式構(gòu)建的。這些自底向上的表示方法會(huì)識(shí)別單個(gè)的點(diǎn) (例如，邊界框角或?qū)ο蟮哪┒?。此外，它們的表示要么像邊界框那樣仍然是軸對(duì)齊的，要么需要 ground truth 對(duì)象掩碼作為額外的監(jiān)督。

相反，RepPoints 是通過(guò)自頂向下的方式從輸入圖像 / 對(duì)象特征中學(xué)習(xí)的，允許端到端訓(xùn)練和生成細(xì)粒度的定位，而無(wú)需額外的監(jiān)督。

為了證明 RepPoints 表示的強(qiáng)大能力，我們提出了一種基于可變形 ConvNets 框架的實(shí)現(xiàn)，該框架在保證特征提取方便的同時(shí)，提供了適合指導(dǎo)自適應(yīng)采樣的識(shí)別反饋。

我們發(fā)現(xiàn)，這個(gè)無(wú) anchor 的檢測(cè)系統(tǒng)在對(duì)目標(biāo)進(jìn)行精確定位的同時(shí)，具有較強(qiáng)的分類能力。在沒(méi)有多尺度訓(xùn)練和測(cè)試的情況下，我們的檢測(cè)器在 COCO 基準(zhǔn)上實(shí)現(xiàn)了 42.8 AP 和 65.0 AP?? 的精度，不僅超過(guò)了所有現(xiàn)有的 anchor-free 檢測(cè)器，而且性能與最先進(jìn)的 anchor-based 的基線模型相當(dāng)。

RepPoints vs 邊界框

本節(jié)將描述 RepPoints，以及它與邊界框的區(qū)別。

邊界框表示

邊界框是一個(gè) 4-d 表示，編碼目標(biāo)的空間位置，即 B = (x, y, w, h)， x, y 表示中心點(diǎn)，w, h 表示寬度和高度。

由于其使用簡(jiǎn)單方便，現(xiàn)代目標(biāo)檢測(cè)器嚴(yán)重依賴于邊界框來(lái)表示檢測(cè) pipeline 中各個(gè)階段的對(duì)象。

性能最優(yōu)的目標(biāo)檢測(cè)器通常遵循一個(gè) multi-stage 的識(shí)別范式，其中目標(biāo)定位是逐步細(xì)化的。其中，目標(biāo)表示的角色如下：

RepPoints

如前所述，4-d 邊界框是目標(biāo)位置的一個(gè)粗略表示。邊界框表示只考慮目標(biāo)的矩形空間范圍，不考慮形狀、姿態(tài)和語(yǔ)義上重要的局部區(qū)域的位置，這些可用于更好的定位和更好的目標(biāo)特征提取。

為了克服上述限制，RepPoints 轉(zhuǎn)而對(duì)一組自適應(yīng)樣本點(diǎn)進(jìn)行建模：

其中 n 為表示中使用的樣本點(diǎn)的總數(shù)。在這項(xiàng)工作中，n 默認(rèn)設(shè)置為 9。

Learning RepPoints

RepPoints 的學(xué)習(xí)是由目標(biāo)定位損失和目標(biāo)識(shí)別損失共同驅(qū)動(dòng)的。為了計(jì)算目標(biāo)定位損失，我們首先用一個(gè)轉(zhuǎn)換函數(shù) T 將 RepPoints 轉(zhuǎn)換為偽框 (pseudo box)。然后，計(jì)算轉(zhuǎn)換后的偽框與 ground truth 邊界框之間的差異。

圖 3 顯示，當(dāng)訓(xùn)練由目標(biāo)定位損失和目標(biāo)識(shí)別損失組合驅(qū)動(dòng)時(shí)，目標(biāo)的極值點(diǎn)和語(yǔ)義關(guān)鍵點(diǎn)可以自動(dòng)學(xué)習(xí)。

圖 3: 學(xué)習(xí)的 RepPoints 的可視化和來(lái)自 COCO minival set 的幾個(gè)例子的檢測(cè)結(jié)果。通常，學(xué)習(xí)的 RepPoints 位于目標(biāo)的端點(diǎn)或語(yǔ)義關(guān)鍵點(diǎn)上。

RPDet: 無(wú)需 Anchor 的目標(biāo)檢測(cè)器

我們?cè)O(shè)計(jì)了一種不使用 anchor 的對(duì)象檢測(cè)器，它利用 RepPoints 代替邊界框作為基本表示。

目標(biāo)表示的演化過(guò)程如下:

RepPoints Detector (RPDet) 由兩個(gè)基于可變形卷積的識(shí)別階段構(gòu)成，如圖 2 所示。

圖 2：RPDet (RepPoints detector) 的概覽，以特征金字塔網(wǎng)絡(luò) (FPN) 為主干

可變形卷積與 RepPoints 很好地結(jié)合在一起，因?yàn)樗木矸e是在一組不規(guī)則分布的采樣點(diǎn)上計(jì)算的，反之，它的識(shí)別反饋可以指導(dǎo)訓(xùn)練這些點(diǎn)的定位。

實(shí)驗(yàn)和結(jié)果

表 1：目標(biāo)檢測(cè)中 RepPoints 與邊界框表示的比較。除了處理給定的目標(biāo)表示之外，網(wǎng)絡(luò)結(jié)構(gòu)是相同的。

從表 1 可以看出，將目標(biāo)表示從邊界框變?yōu)?RepPoints，可以帶來(lái)一定程度的性能提升，如使用 ResNet-50 作為主干網(wǎng)絡(luò)時(shí)提升了 2.1 mAP，使用 ResNet-101 時(shí)提升了 2.0 mAP。這表明相對(duì)于邊界框，RepPoints 表示在對(duì)象檢測(cè)方面具有優(yōu)勢(shì)。

表 7：將所提出的 RPDet 與 COCO test-dev 上最先進(jìn)的檢測(cè)器進(jìn)行比較。

如表 7 所示，在沒(méi)有 multi-scale 訓(xùn)練和測(cè)試的情況下，所提出的框架使用 ResNet-101-DCN 主干網(wǎng)絡(luò)實(shí)現(xiàn)了 42.8 AP，與基于 anchor 的 Cascade R-CNN 方法相當(dāng)，性能優(yōu)于現(xiàn)有的所有不采用 anchor 的檢測(cè)器。此外，RPDet 獲得了 65.0 的 AP??，大大超過(guò)了所有基線。