高分辨率和高級語義表示對于密集預測都至關重要。從經驗上看，低分辨率特征地圖通常實現更強的語義表示，而高分辨率特征地圖一般可以更好地識別邊緣等局部特征，但包含較弱的語義信息。現有的最先進的框架（如HRNet）保持了低分辨率和高分辨率特征地圖的并行性，并在不同分辨率之間反復交換信息。然而，我們認為，最低分辨率的特征地圖往往包含最強的語義信息，需要經過更多層才能與高分辨率特征地圖合并，而對于高分辨率特征圖，每個卷積層的計算成本非常大，不需要經過這么多層。因此，我們設計了一個U形高分辨率網絡（U-HRNet），它在語義表示最強的特征圖之后添加更多的階段，并放松了HRNet中的約束，即新添加的階段需要并行計算所有分辨率。為低分辨率特征圖分配了更多計算，這大大改善了整體語義表示。U-HRNet是HRNet主干的替代品，可以在完全相同的訓練和推理設置下，在多個語義分割和深度預測數據集上實現顯著改進，而計算量幾乎沒有增加。

代碼可從PaddleSeg獲取：https://github.com/PaddlePaddle/PaddleSeg

1、簡介

密集的預測任務，包括語義分割和深度估計等，是視覺理解系統的重要組成部分。密集預測任務需要預測像素級類別標簽或回歸特定值，這比圖像級預測任務更具挑戰性。同時保持高分辨率和強語義信息是有效處理密集預測任務的關鍵。高分辨率可確保最終預測粒度盡可能接近像素級別，并可獲得更精確的局部判別，例如更精確的邊緣。強大的語義信息確保了整體預測的準確性，特別是對于難以區分或面積較大的實例。

深度卷積神經網絡，如U-Net、DeepLab、HRNet，在FCN的設計之后，在密集預測任務中取得了令人興奮的結果。特別是高分辨率網絡（HRNet）在密集預測任務中取得了最先進的結果，例如語義分割、人體姿勢估計等。HRNet能夠學習高分辨率表示，同時確保低分辨率特征圖和高分辨率特征圖之間的語義信息傳輸。

然而，作者發現HRNet仍有很大的改進空間。經常可以看到大面積的區域被錯誤地分類。例如，在圖1中，第2行顯示HRNet的結果。在圖1（a）和（b）中，整個實例被錯誤分類，而在（c）中，一個大面積實例中的一些塊被錯誤分類。這表明HRNet實現的語義表示仍然不夠好。作者認為，這可能歸因于HRNet的宏觀結構，可以概括為以下兩個方面：

HRNet最低分辨率分支的最終塊具有最強的語義表示，直接輸出，而不完全傳播到更高分辨率分支。

HRNet的低分辨率分支不夠深入，使得網絡的語義能力受到限制。然而，由于計算成本的顯著增加，在HRNet的最后兩個階段為更深的網絡增加模塊數顯然是不可取的。

U-Net在一定程度上緩解了上述兩個問題。然而，在U-Net中，每個階段只保留一個分辨率，不同尺度之間沒有融合，只有與殘差分支合并。作者認為，HRNet的最大優勢是能夠并行維護多尺度并始終執行多尺度融合。

為了在不增加額外計算成本的情況下改進高分辨率網絡的整體語義表示，作者提出了一種簡單有效的網絡，稱為U形高分辨率網絡（U-HRNet）。它繼承了UNet的編解碼器結構，有利于從最強語義特征映射到最高分辨率特征映射的嵌入傳播。同時，它完美地保留了HRNet的優點，保持了多尺度并行，并始終執行多尺度融合。

此外，它減少了高分辨率分支上的塊數，并將其計算重新分配給低分辨率分支，以獲得更大的語義容量，而無需添加更多計算。如圖1所示可以看到U-HRNet在困難對象和大面積實例的語義表示方面比HRNet更具優勢。幸運的是，U-HRNet也與OCR頭一起工作得很好，因為U-HRNet專注于提高整個網絡的語義能力，這與OCR的優勢沒有重疊，OCR旨在借助對象和類別之間的語義關系更好地標記。

因此，本文的貢獻有兩點。

提出了一種簡單有效的網絡U-HRNet，它在密集預測任務上的性能優于HRNet而計算量幾乎沒有增加。

U-HRNet與OCR的結合為多個語義分割數據集設置了新的技術水平。

2、U型高分辨率網絡

2.1、Review of HRNet

HRNet是一種用于人體姿態估計的優秀神經網絡。之后，進一步證明了HRNet可以很好地處理其他許多任務，如目標檢測、語義分割。由此可見，HRNet不僅在高級語義表示方面很強，而且在低級空間細節方面也很強。如圖2（a）所示，1/4分辨率從網絡的開始到結束都是一致的，隨著網絡深度的增加，語義表示學習增加了更多的低分辨率，從而通過多分辨率融合提高了高分辨率表示。

然而，HRNet對于一些密集的預測任務可能并不完美。例如，語義分割是一個典型的密集分類任務，為了幫助像素預測其語義類別，引入高級全局信息非常重要。從這個角度來看發現HRNet有以下幾個缺點：

具有最強語義表示的1/32分辨率分支的最后一個塊直接輸出，而沒有得到充分利用。

高分辨率和低分辨率分支之間的計算分配沒有優化，應更多關注語義表示強的低分辨率分支。

2.2、Architecture of U-HRNet

1、主體結構

繼HRNet之后，將圖像輸入到一個干塊中，將分辨率降低到1/4，主體輸出與1/4分辨率相同的特征圖。圖2（c）顯示了U-HRNet的主體。與U-Net一樣，其布局如圖2（b）所示，主體在宏觀范圍內似乎是U形網絡，而在微觀范圍內，它由幾個hr模塊組成。然而，每個hr模塊由不超過兩個分辨率分支組成。這種設計方式旨在解決第3.1節中提到的HRNet的缺點。重組的細節如下所述。

首先，刪除了HRNet最后兩個階段的高分辨率分支（階段3和階段4的1/4分辨率分支，階段4的1/8分辨率分支），這使得許多計算被釋放。

然后，為了改進高分辨率輸出的語義表示，在最低分辨率階段之后添加了幾個階段。這些階段逐漸對要素圖進行上采樣，并與之前階段特征合并。這使得最低分辨率階段輸出的語義表示最強的特征可以更早地與low-level高分辨率特征合并，從而通過充分分析最強的表示，后續階段能夠更精確地推斷空間細節。

最后，在不同階段重新安排表征模塊。在低分辨率階段增加了模塊，而在高分辨率階段減少了模塊，這在很大程度上改善了語義表示。此外，添加了一個具有1/32和1/64分辨率分支的stage，以生成更豐富的語義表示，而無需添加額外的更高分辨率分支。與UNet類似，在網絡的深度方向上設置了幾個Shortcut，分別連接第2階段和第8階段、第3階段和第7階段、第4階段和第6階段。這些Shortcut使網絡可以同時利用High-Level特征和Low-Level特征，同時使漸變可以直接傳播到前面的階段。

2、融合模塊

對應于主體中的Shortcut，在第8階段、第7階段和第6階段之前有三個融合模塊，分別將第2階段、第3階段和第4階段的高分辨率分支輸出的Low-Level特征與第7階段、第6階段和第5階段的高分辨分支的上采樣特征合并。

直覺上，可以簡單地應用高分辨率模塊中使用的融合方法，即添加兩個輸入特征，然后執行ReLU函數進行激活，如圖3中的fusion a所示。然而，假設根據U-Net的融合方法連接兩個輸入特征可以增強網絡的連通性。因此，首先將核大小為2的通道維度上的兩個輸入特性合并在一起，然后將它們作為輸出特性在通道之間連接起來，如圖3的Fusion B所示。

3、表征Head

對于表征Head，基本遵循HRNetV2。輸出的多分辨率特征來自階段5、階段6、階段7、階段8和階段9的較低分辨率分支。但是，由于增加了1/64分辨率，U-HRNet表征頭中卷積的輸入通道數是HRNetV2的兩倍。為了保持與HRNetV1表征頭類似的計算成本，通過一個核大小為2的池化操作傳遞多分辨率特性，然后將它們連接到通道維度中，作為表征頭的輸入。

2.3、Instantiation

U-HRNet的主體包含9個階段和5個分辨率流。分辨率為1/4、1/8、1/16、1/32、1/64。第一階段包含1個分支hr模塊，由4個瓶頸殘差塊組成，每個塊的寬度為64，然后是一個3×3卷積，將特征圖的寬度更改為C，表示為1/4分辨率流的寬度。第2至第8階段分別包含1、5、2、2、1、1、1hr模塊。所有這些模塊都由兩個分支組成，每個分支由4個基本殘差塊組成。與第一階段一樣，最后一階段也包含1個分支hr模塊，而該模塊由4個基本殘差塊組成。最后，五個分辨率流的卷積寬度分別為C、2C、4C、8C和16C。

U-HRNet的布局如圖2（c）所示。此外，與U-HRNet相比，U-HRNet-slim有兩點不同，

第三階段由2hr模塊組成，而其他階段與U-HRNet相同

U-HRNet-small的hr模塊中的所有分支都包含2個瓶頸塊或基本塊。

2.4、分析

在U-HRNet中，除了第一級和最后一級之外，主要采用兩個分支hr模塊作為組成網絡的基本單元，而不是HRNet使用的多分辨率（兩個或多個）并行卷積和U-Net中的一個分支卷積序列。它帶來了一些有助于改進語義表示的好處。

與HRNet相比，這兩個分支hr模塊放寬了在一定階段內所有分辨率都需要并行計算的限制，同時又不失多分辨率推理的優勢。這使得U-HRNet可以在低分辨率分支上附加比HRNet更多的計算，并進一步改進最強的語義表示。

與U-Net相比，雙分支hr模塊在多尺度表示學習上明顯優于單分支卷積序列。此外，當進入下一個分辨率時，無論是下采樣還是上采樣，U-HRNet都會繼續保持之前的一個分辨率，并不斷融合兩個分辨率的特性。這使得網絡能夠充分利用之前學習到的信息，同時避免因分辨率變化而導致的空間或語義知識的丟失。

3、實驗

3.1、消融實驗

3.2、SOTA對比

4、參考

[1].U-HRNet: Delving into Improving Semantic Representation of High Resolution Network for Dense Prediction.

審核編輯 ：李倩