使用 CNN 處理圖像問題已經是常規操作，但此類方法會造成局部位置信息的損失。如何解決這個問題呢？來自中科院自動化所和北京中醫藥大學的研究者另辟蹊徑，提出用圖卷積網絡解決語義分割問題。

論文鏈接：https://arxiv.org/pdf/2001.00335.pdf 使用深度學習執行語義分割在圖像像素分類方面取得了巨大進步。但是，深度學習提取高級特征時往往忽略了局部位置信息（local location information），而這對于圖像語義分割而言非常重要。 為了避免上述問題，來自中科院自動化所、北京中醫藥大學的研究者們提出一個執行圖像語義分割任務的圖模型 Graph-FCN，該模型由全卷積網絡（FCN）進行初始化。 首先，通過卷積網絡將圖像網格數據擴展至圖結構數據，這樣就把語義分割問題轉換成了圖節點分類問題；然后，使用圖卷積網絡解決圖節點分類問題。 研究者稱，這是首次將圖卷積網絡用于圖像語義分割的嘗試。該方法在 VOC 數據集上獲得了有競爭力的 mIOU 性能，相比原始 FCN 模型有 1.34% 的性能提升。

Graph-FCN 架構圖。

語義分割問題的難點 語義分割是計算機視覺領域中的重要課題，其復雜程度超過分類和檢測任務。這項密集預測任務需要預測每個像素的類別，也就是說它需要從高級語義信息和局部位置信息中學習目標輪廓、目標位置和目標類別。 基于深度學習的語義分割方法，具體而言即卷積神經網絡（CNN），為該領域帶來了一系列巨大進展。提取高級特征的強大泛化能力使得圖像分類和檢測任務取得了非常好的性能，但伴隨泛化而來的局部位置信息損失則為密集預測任務增加了難度。具備較大感受野的高級語義信息對應卷積神經網絡中的小型特征圖，這類圖會造成像素級局部位置信息的損失。 多種基于深度學習的方法對該問題帶來了改進，如全卷積網絡 [16]、Segent [1]、Deeplab 方法 [2,3,4]。這些工作使用全連接層、空洞卷積和金字塔結構，來減少提取高級特征過程中的位置信息損失。 中科院等提出語義分割難題新解法 首先，研究者為圖像語義分割問題構建圖節點模型。圖模型方法廣泛應用于分割問題，這類方法將像素視作節點，將節點之間的差異度（dissimilarity）視作邊（edge）。最優的分割即對圖執行最大割（maximum cut）。 結合了概率論和圖論的概率圖模型方法（如馬爾可夫隨機場和條件隨機場）被用于細化語義分割結果。這些方法將檢測到的目標建模為圖節點，通過提取目標之間的關系來改進檢測準確率。相比于深度卷積模型把輸入數據表示為網格結構，圖模型具備更靈活的跳躍連接（skip connection），因此它可以探索圖中節點之間的關系。 受限于計算量，研究者使用 FCN 初始化該圖模型。該圖模型基于小尺寸圖像構建，其節點標注由 FCN 進行初始化，邊的權重則由高斯核函數進行初始化。

圖 1：FCN 結構示意圖。本研究使用 FCN-16s 作為基礎模型對節點標注進行初始化。 然后使用圖卷積網絡（GCN）解決這個圖模型。GCN 是處理圖結構數據的當前最優模型之一。基于節點的 GCN 利用消息傳播（message propagation）來交換相鄰節點之間的信息。這一過程可以在圖的較大相鄰范圍內提取特征，其作用類似于卷積網絡中的卷積層和池化層。由于該過程中不會有節點消失，因此基于節點的 GCN 擴展了感受野，并避免了局部位置信息出現損失。 這篇論文提出了新型模型 Graph-FCN 來解決語義分割問題。研究者使用深度卷積網絡建模圖，并首次用 GCN 方法解決圖像語義分割任務。Graph-FCN 可以擴大感受野，同時避免局部位置信息出現損失。實驗表明，Graph-FCN 的性能優于 FCN。 Graph-FCN 方法詳解 GCN 旨在解決圖結構數據集上的學習問題。圖結構數據可看作是三元組 G(N, E, U)，其中 N 表示圖的節點集合，即 |N| ? S 矩陣（|N| 表示圖節點數量，S 表示節點標注向量的維度）。E 是圖的邊集合。U 對應圖特征，由于本研究涉及任務與 U 無關，因此本研究不討論 U。 與歐幾里德空間中的數據表示不同，矩陣 N 和邊 E 并非獨特表示。矩陣 N 與 E 對應，它們都按照節點的順序排列。研究者使用監督學習方式訓練模型。節點 n_j 表示圖 j 中的節點集，t_j 表示節點集 n_j 的標注集。因此用于語義分割任務的圖模型可公式化為：

研究者將交叉熵函數作為該模型的損失函數。T_r 表示訓練集。 節點 在本研究提出的新模型中，節點標注由 FCN-16s 進行初始化。通過端到端訓練后，FCN-16s 得到步幅為 16 和 32 的特征圖，如下圖 2 所示。對步幅為 16 的特征圖執行因子為 2 的上采樣可以獲得與步幅為 32 的特征圖一樣的大小。（節點 j 的）標注 x_j 由這兩個特征向量以及特征圖中每個節點位置的級聯進行初始化。該標注包含在局部感受野上提取到的特征。在訓練過程中，研究者通過對原始標注圖像執行池化操作來得到節點標簽。

圖 2：節點標注初始化過程。節點標注由 FCN-16s 中兩個層的級聯進行初始化。 邊 在圖模型中，邊和鄰接矩陣相關。假設每個節點和其最鄰近的 l 個節點相連，這意味著節點標注可以通過圖神經網絡中的邊進行遷移。下圖 3 中的示例描述了圖神經網絡中的感受野。假設 l 為 4，那么從相關距離的影響來看，我們需要用高斯核函數獲得權重鄰接矩陣 A。

圖 3：當 l 為 4 時，雙層 GCN 的感受野。這與卷積層不同。 使用 Graph-FCN 進行訓練 在 Graph-FCN 中，FCN-16s 實現節點分類和圖模型在小型特征圖中的初始化。同時，雙層 GCN 獲取圖中節點的分類結果。研究者分別計算這兩部分輸出的交叉熵損失。和 FCN-16s 模型一樣，Graph-FCN 也以端到端模式進行訓練。Graph-FCN 網絡結構如下圖 4 所示：

圖 4：Graph-FCN 的結構示意圖。該模型有兩個輸出和兩個損失 L1 和 L2。它們共享卷積層提取特征的權重。L1 通過 output1 計算得到，L2 通過 output2 計算得到。通過最小化 L1 和 L2，FCN-16s 的性能得到了提升。 實驗 研究者在 VOC2012 數據集上對模型進行測試，實驗結果表明 Graph-FCN 的性能優于原始 FCN 模型。

表 1：Graph-FCN 和 FCN-16s 的性能對比情況。

圖 5：圖像語義分割結果。第二列是 Graph-FCN 的結果，第三列是 FCN-16s 的結果，第四列是 ground truth。