簡介

管狀結構（例如血管、道路）是臨床、自然界等各領域場景中十分重要的一種結構，其的精確分割可以保證下游任務的準確性與效率。然而這并不是一個簡單的任務，主要的挑戰源于細長微弱的局部結構特征與復雜多變的全局形態特征。

本文關注到管狀結構細長連續的特點，并利用這一信息在神經網絡以下三個階段同時增強感知：特征提取、特征融合和損失約束。分別設計了動態蛇形卷積（Dynamic Snake Convolution），多視角特征融合策略與連續性拓撲約束損失。我們同時給出了基于 2D 和 3D 的方法設計，通過實驗證明了本文所提出的 DSCNet 在管狀結構分割任務上提供了更好的精度和連續性。

思考

在開始介紹工作之前，我想和讀者討論下在大模型時代下，專用分割方法的價值。

隨著 SAM（Segment Anything）[1]、Universal Model [2]等一眾非常優秀的分割基礎模型的提出，越來越多的分割目標只需要在大模型的基礎上，直接測試或簡單微調，就能夠得到讓人十分滿意的結果。這不免讓人感到迷茫，繼續做專用分割工作是否還有價值？后續的研究方向是否是要去拼大模型？或者站在前人的肩膀上去研究如何將大模型微調到專用領域？

值得注意的是，仍存在一些復雜的領域，大模型還未能夠很好的覆蓋（也許只是時間問題）。例如偽裝目標、非顯著性目標，以及本文所關注的特殊管狀結構（占比小、特征弱且分布廣）等等。同時，當分割的對象上升到 3D 乃至 4D 的數據時，一些復雜的結構（3D 的血管、氣管等）也困擾著大模型。當然，一些特殊的場景，需要非常高的精度，例如臨床，1% 的誤差對于診斷都有著非常大的危險。

因此，將專用模型與大模型相結合，會促進研究發展地更快、更好。大模型關注更多的是普適性，通用性和便捷性，在此基礎上，大模型針對性地補充領域專有的特征信息，能夠更加快捷地獲得更高的精度。

挑戰

管狀結構的精確提取仍然具有挑戰：

細長且脆弱的局部結構。如圖 1 所示，細長的結構僅占整個圖像的一小部分，像素的組成有限。此外，這些結構容易受到復雜背景的干擾，因此模型很難精確分辨目標的細微變化，從而導致分割出現破碎與斷裂。

復雜且多變的全局形態。圖 1 顯示了細長管狀結構復雜多變的形態，即使在同一張圖像中也是如此。位于不同區域的目標的形態變化取決于分支的數量、分叉的位置，路徑長度以及其在圖像中的位置。因此當數據表現出未曾見過的形態特征時，模型傾向于過擬合到已見過的特征，無法識別未見過的特征形態，從而導致泛化性較弱。

動機

受到 Deformable Convolution [3] 的啟發，我們希望模型在學習特征的過程中，改變卷積核的形狀，從而關注管狀結構的核心結構特點。由此衍生出很多工作[4][5]，并在視網膜血管的分割工作中得到了應用。然而在我們的初期實驗中發現，由于管狀結構所占比例較小，模型不可避免地失去對相應結構的感知，卷積核完全游離在目標以外。因此我們希望根據管狀結構的特點來設計特定的網絡結構，從而指導模型關注關鍵特征。

動態蛇形卷積核（DynamicSnakeConvolution,DSConv）

我們希望卷積核一方面能夠自由地貼合結構學習特征，另一方面能夠在約束條件下不偏離目標結構太遠。在觀察管狀結構的細長連續的特征后，腦海里想到了一個動物——蛇。我們希望卷積核能夠像蛇一樣動態地扭動，來貼合目標的結構。

我們觀察一下形變卷積的操作核心 [3]：

▲ 圖3. 可形變卷積中的偏置學習

我們會發現，操控單個卷積核形變的所有偏置（offset），是在網絡中一次性全部學到的，并且閱讀其核心代碼會發現，對于這一個偏置只有一個范圍的約束，即感受野范圍（extend）。控制所有的卷積發生形變，是依賴于整個網絡最終的損失約束回傳，這個變化過程是相當自由的。

完全的自由，容易讓模型丟失占比小的細小結構特征，這對于細長管狀結構分割任務來說，是一個巨大挑戰。因此，如圖 4 所示，我們以蛇來舉例，蛇的連續移動，是其頭帶動身體，一節一節如同波浪一般。因此，我們將連續性約束加入卷積核的設計中。每一個卷積位置都由其前一個位置作為基準，自由選擇擺動方向，從而在自由選擇的同時確保感受的連續性。（具體的公式可以參考論文與代碼）

這樣的設計是否真的有用？我們進行了可視化驗證：

以 2D 的視網膜數據為例，無論血管的走向、粗細等，我們的蛇形卷積核確實能夠更好地自適應到管狀結構的細長結構，并且關注到核心特征。

多視角特征融合

我們考慮到管狀結構的走向與視角從來不是單一的，因此在設計中融合多視角特征也是必然的選擇。然而，融合更多的特征帶來的必然結果，就是更大的網絡負載，且如此多的特征難免會出現冗余，因此我們在特征融合的訓練過程中加入了分組與隨機丟棄的策略，一定程度上緩解了網絡內內存的壓力并避免模型陷入過擬合。

基于持續同調的拓撲連續損失（TCLoss）

▲ 圖7. 基于持續同調的連續性拓撲約束

我們的目標是構建數據的拓撲結構，并提取復雜管狀結構中的高維關系，也就是持續同源性（Persistence Homology, PH）。基于 PH 所設計的拓撲損失函數也有很多優秀的工作 [6][7] 已經采用，拓撲約束確實針對這類細長且占比小的結構非常有效，設計中所采用的推土機距離（Wasserstein Distance, WD）用來衡量點集的差異。簡單描述，WD 用來衡量的是從一種離散分布，轉變為另一種離散分布需要的代價。在 [6][7] 的方法中，利用這一算法來計算點與點的最佳匹配，點集中的離散點會被匹配到對角線（剛出現就消失的點聚集在對角線上），因此這些離散的點不會參與損失函數的計算與約束。

假設 PO 的上端存在著一個異常的離散點（橫坐標表示出現的時間，縱坐標表示消失的時間），這表明存在一個構件直到最后才與其他構件獲得連接從而消失。因此我們在本文中采用的是豪斯多夫距離（Hausdorff Distance, HD），HD 也是用于衡量點集相似度的一個重要算法，對離散點也非常敏感。

實驗

文中，我們使用了三個數據集，包含兩個公共數據集和一個內部數據來驗證我們的方法。在 2D 中，我們評估了 DRIVE 視網膜數據集和 Massachusetts Roads 數據集。在 3D 中，我們使用了一個名為心臟 CCTA 數據的數據集（私有數據）。后續，我們也在 3D KIPA 公開數據上做了驗證，并且正在致力于用該方法測試多組公開挑戰賽數據集，實驗結果會在后續逐步公布。

▲圖8. 可視化結果

從可視化結果可以發現，我們的方法確實對管狀結構數據有著很好的分割效果，尤其是在遙感道路數據以及冠脈血管數據上。

▲ 圖9. 量化結果

總結

我們提出的框架針對細長管狀結構進行了相應設計，并成功地將形態學特征與拓撲學知識融為一體，以共同指導模型自適應的分割。然而，其他形態學結構的目標是否也有類似的范式，并能夠通過這一方法獲得更好的性能仍然是一個有趣的話題。同時，我們也正在嘗試將其進一步優化，能夠作為基礎大模型中的一個通用框架，為這類特征難以鑒別的結構提供一種可行的范式。