邊緣和輪廓的提取是一個非常棘手的工作，細節也許就會被過強的圖像線條掩蓋，紋理（texture）本身就是一種很弱的邊緣分布模式，分級（hierarchical）表示是常用的方法，俗稱尺度空間（scale space）。以前做移動端的視覺平臺，有時候不得不把一些圖像處理功能關掉，原因是造成了特征畸變。現在 CNN 模型這種天然的特征描述機制，給圖像預處理提供了不錯的工具，它能將圖像處理和視覺預處理合二為一。

——邊緣提取——

1. HED

整體嵌套邊緣檢測（Holistically-Nested Edge Detection，HED 是一個深度學習的邊緣提取的算法，兩個特色：（1）整體圖像訓練和預測; （2）多尺度、多層特征學習。該深度模型利用全卷積網絡，自動學習豐富的分層表示（基于側面響應的深層監督指導）。

多尺度深度學習可分為四類，即多流學習（multi-stream）、跳網（skip-net learning）學習、多輸入單模型以及獨立網訓練，如圖所示：（a）多流架構; （b）跳網架構; （c）多尺度輸入的單一模型; （d）不同網絡獨立訓練; （e）HED，其中添加多個側面輸出。

在表示和計算復雜性方面，（a）-（d）方法存在冗余。（e）HED 是一個相對簡單的變體，能夠從多個尺度產生預測。該結構可以被解釋為（d）“獨立網絡”法的“整體嵌套”版，包括多個側輸出的單流深度網絡。隱藏層監督可以改善圖像分類任務的優化和泛化。如果需要統一輸出，多側向輸出可以靈活地添加額外的融合層。

如圖是 HED 的網絡架構圖，在卷積層之后插入側輸出層，在每個側輸出層施加深度監督，引導側輸出成為邊緣預測。HED 輸出是多尺度多層，側輸出面變小，感受野變大。一個加權融合層自動學習如何組合來自多個尺度的輸出。整個網絡通過多個誤差傳播路徑（虛線）訓練。

下圖給出HED的部分實驗結果。（a）測試圖像；（b）手工標注的邊緣；（c）HED 結果。（d）、（e）和（f）卷積神經網絡的層2、3和4的側邊響應。（g）、（h）和（i）Canny 邊緣檢測器在尺度 σ= 2.0、σ= 4.0 和 σ= 8.0 的邊緣響應。HED 與 Canny 在一致性方面顯示出明顯的優勢。

2. CASENet

CASENet 將每個邊緣像素與多于一個的邊緣類相關聯，是一種基于 ResNet 的端到端深度語義邊緣學習的架構，同時也是一種跳層（skip-layer）架構，其中頂層卷積層的類別邊緣激活共享并與底層特征的同一集融合，這里一種多標簽損失函數來監督激活的融合。

三種 CNN 架構的比較如圖（a）-（c）所示。圖中實心矩形表示 CNN 層的組合塊。寬度減小表示輸出特征圖的空間分辨率下降2倍。箭頭旁邊的數字表示輸出特征的通道數。藍色實心矩形是一堆 ResNet 塊。紫色實心矩形是分類模塊。紅色虛線框表示輸出由損失函數監控。灰色實心矩形是側面特征提取模塊。深綠色實心矩形是融合分類模塊，執行 K 個分組1×1卷積。圖（d）-（h）是圖（a）-（c）中模塊細節，其中矩形是輸入和輸出特征圖。

圖（a）是基礎網絡，采用全卷積網絡框架，在 ResNet-101 刪除平均池化和全連接層并保留底部卷積塊；將 ResNet-101 中第一個和第五個卷積塊（“res1”和“res5”）的步幅從2改為1；將擴張因子（dilation factors）引入后續的卷積層以保持原始 ResNet 相同的感受野；在基礎網絡的頂部，添加分類模塊（圖（d））作為1×1卷積層，然后是雙線性上采樣（由 K 分組反卷積層實現）產生一個 K 個激活圖 { A1，···，AK } 的集合，其中每個激活圖都與圖像尺寸相同；然后，Yk（p）=σ（Ak（p））定義的 sigmoid 單元對像素屬于第 k 類邊緣的概率建模。

前面 HED 網絡的基本思路是除了頂部網絡損失以外還考慮底層卷積損失。另外，通過監督側面激活的線性組合來獲得融合邊緣圖。不過，HED 僅執行二進制邊緣檢測。深度監督網絡（DSN）擴展了這種架構，處理側輸出的K通道和最終輸出的 K 通道，如圖（b）所示。在該網絡中，將上述分類模塊連接到每個殘差塊的輸出，產生5個側分類激活圖 { A（1）, ... , A（5）}，其中每個激活圖都有K通道。然后，通過切片連接層（sliced concatenation layer）融合這5個激活圖（圖中顏色表示圖（g）的通道索引）產生 5K 通道激活圖：

Af 饋入融合分類層，該分類層執行 K-組 1×1卷積（圖（f））產生 K-通道激活圖A（6）。最后，在激活圖 {A（1），...，A（6）}計算6個損失函數，為該網絡提供深入監督。

由于監督5個側面激活，隱含地約束了那些側面激活的每個通道只帶有該類別最相關的信息。由于切片級聯和分組卷積，像素 p 的融合激活由下式給出：

CASENet 采用嵌套式架構（nested architecture），改進點如下：

① 將底部分類模塊更換為特征提取模塊。

② 放置分類模塊，僅在網絡頂部施加監督。

③ 采用共享串聯（圖（h））而不是切片連接。

側面特征提取和側面分類之間的區別在于前者僅輸出單個通道特征圖 F（j）而不是 K 類激活。共享級聯從 Side-1-3 復制底部特征 F = {F（1），F（2），F（3）}，分別與 K 個頂部激活的每一個相連接：

到的連接激活圖再被饋送到有 K-分組卷積的融合分類層，產生 K-通道激活圖 A（6）。

通常 CASENet 被認為是聯合邊緣檢測和分類的網絡，它讓較低級的特征參與并通過跳層結構增強高級的語義分類。

下圖是 CASENet 和 DSN 的結果比較，從左到右：輸入，基礎事實，DSN 和 CASENet。CASENet 在具有挑戰性的目標上顯示出更好的檢測質量，而 DSN 在非邊緣像素有更多的誤報。

——輪廓提取——

1. DeepEdge

以前大多使用紋理或顯著性等低級特征來檢測輪廓，而 DeepEdge 利用目標相關特征作為輪廓的高級線索檢測。設計的是多級深度網絡，由五個卷積層和一個分叉全連接子網絡（bifurcated fully-connected subnetwork）組成。從輸入層到第五個卷積層是預訓練網絡，直接用于圖像輸入的四個不同尺度。將這四個平行且相同的數據流連接到兩個獨立訓練的分支組成的分叉子網絡，一個分支學習預測輪廓似然（以分類為目標），而另一個分支訓練學習在給定點輪廓的存在（基于回歸測度），如圖是 DeepEdge 架構圖，其中 Canny 邊緣檢測器提取候選輪廓點，然后在每個候選點周圍，提取四個不同尺度的補丁，同時通過預訓練的 KNet 五個卷積層。

一個解釋模型架構的單尺度示意圖，在下圖給出：首先，輸入以候選點為中心的補丁，經過 KNet 五個卷積層；為了提取高級特征，在每個卷積層提取圍繞中心點的特征圖的小子容積，并在子容積上執行最大、平均和中心池化。池化值饋入分叉子網絡。測試時，從分叉子網絡的分支計算的標量輸出做平均，生成最終輪廓預測。

如圖給出部分實驗結果：左到右依次為輸入圖像、Canny 邊緣檢測器產生的候選點集合、非閾值預測、閾值預測和基礎事實圖。為了生成閾值預測，概率閾值設為0.5。

2. CEDN

另外一種方法利用全卷積編碼器-解碼器網絡（CEDN），端到端訓練的數據來自 PASCAL VOC 中修正的不準確的多邊形標注，其網絡架構如圖所示。

部分實驗結果見圖：從左到右依此是（a）輸入圖像，（b）GT 輪廓，（c）具有預訓練 CEDN 的輪廓檢測，和（d）具有細調 CEDN 的輪廓檢測。

——參考文獻——

1. G Bertasius, J Shi, L Torresani,“DeepEdge: A Multi-Scale Bifurcated Deep Network for Top-Down Contour Detection”, CVPR, 2015 2. S Xie, Z Tu,“Holistically-Nested Edge Detection“, ICCV 2015 3. W Shen et al.,“DeepContour: A Deep Convolutional Feature Learned by Positive-sharing Loss for Contour Detection”, CVPR 2015 4. Z Yu et al.,“CASENet: Deep Category-Aware Semantic Edge Detection”, CVPR 2017