圖像修復技術對于眾多修圖軟件來說十分重要，在深度學習的幫助下圖像修復算法的功能越來越強大，甚至對于大幅度污損的照片也能輕松修復。但目前的很多算法在進行圖像修復時卻面臨著結構重建問題或細節問題修復問題的困難，修復結果不盡如人意。

為了解決這一問題，來自北大、鵬城實驗室和騰訊的研究人員提出了一種新的算法StructureFlow，將圖像修復的過程分為邊緣保持的低頻結構重建和基于結構的高分辨率紋理重建，并利用流的方法充分利用未受損像素的信息實現有效的紋理補全和圖像修復。

圖像修復的主要目的在于為圖像中的有效區域和污損區域生成出視覺效果完整的結構和細節，用戶不僅可以利用這一技術修復圖像的缺失，還可以將它用于圖像編輯和物體去除等任務。圖像修復最大的難點在于生成正確完整的結構和視覺效果較為真實的細節紋理。

已有的圖像修復方法

現存的方法主要可以分為兩大類——基于擴散的方法和基于圖像片的方法。

基于擴散的方法主要通過將領域的信息傳播到缺失的位置來實現紋理合成，然而這種方法只能處理一些較小的孔洞，對于較大范圍的結構缺失則無法有效處理。

而基于圖像片的方法則不僅僅只利用缺失位置附近的像素點，這種方法可以有效利用更遠位置的信息來恢復缺失區域。基于圖像片的方法通過搜索與污損區域結構相似的目標區域，并復制圖像片來重建缺失區域，這種方法可以為較大的缺失區域生成視覺效果真實紋理。這種方法一般基于雙線性相似性的方法來搜索合適的圖像片。

但基于片元的方法主要假設非污損區域包含了與污損區域語義相似的內容，但如人臉檢測等任務中這種假設并不成立。這種方法在某些有重復性結構的圖像中表現良好，但對于具有特殊結構的圖像則無法有效處理。

近年來隨著深度學習的發展，很多方法將圖像修復問題視為一個條件生成問題，將污損圖像作為網絡輸入得到修復后的圖像。基于深度學習方法的優勢在于可以將圖像中的有效語義信息進行抽取，并生成新的圖像。

人們提出了包括基于自編碼器架構、處理全局和局部內容的判別器、構建長程相關性、選擇性利用有效像素以及邊緣修復等方法來進行圖像修復但都存在著諸如長程相關性無法有效表示、邊緣信息無法有效攜帶紋理等問題，使得這些方法得到的結果都有這樣或那樣的不足。

StructureFlow

為了解決先前模型存在的問題，研究人員們提出了一種新穎的兩階段網絡模型倆實現高質量的圖像修復。這一模型包含了兩個部分，分別是結構生成器和紋理細節生成器。

研究人員認為圖像的修復過程是一個先生成有效結構再補全真實細節的過程。所以網絡的第一部分用于生成有意義的結構，研究人員采用了保邊平滑后的圖像來表示圖像場景的全局結構。

保邊平滑方法的主要目標在于移除圖像中的高頻紋理，同時保持銳利邊緣和低頻信息（這些信息是圖像結構的主要組成部分）。利用保邊平滑后的圖像進行訓練，結構重建器可以集中于恢復全局結構而無需考慮細節和紋理的干擾。

在重建出缺失細節后，紋理生成器就可以基于重建出的結構圖來合成高頻的細節了。由于圖像領域的相似結構具有很強的相關性，所有未被污損的區域可以用于修復缺失區域的紋理。

雖然卷積網絡對于長程相關性建模比較困難，但研究人員提出了基于圖像外觀流（appearance flow，AF）的方法來從相似結構區域采樣，為不同區域構建清晰關系。此外研究人員還利用了高斯采樣代替了雙線性采樣來拓展了采樣操作的感受野，并引入了新的采樣正確性損失函數來訓練采樣過程，以此得到了性能較高的圖像修復模型。

實現細節

在結構重建器中，研究人員將最小化生成的低頻結構圖像與平滑后原圖間的誤差。第一階段的監督信號主要來自于GT圖的平滑結果，使用了保邊平滑算法RTV來得到保持圖像主要結構的圖片作為標簽。模型的主要結構基于自編碼器架構得到，添加了一系列殘差塊用于特征的優化提取。Gs和Gt分別代表了第一階段的結構生成器和第二階段的紋理生成器，而判別器則使用了類似于BicycleGAN的架構，利用了兩個不同尺度的PatchGAN來預測不同尺度生成圖像的真偽。

值得一提的是，這一模型中使用了流的概念來將未受損區域的紋理信息賦予需要修復區域。但原始的AF方法是以一種非監督的方法，網絡無法處理較大的運動和較差的局域最小值。

為了解決這一問題，研究人員提出了利用高斯采樣的方法來代替原先的雙線性采樣方法以擴展感受野，并提出了采樣正確性損失來約束可能的收斂結果。采樣過程通過輸入像素（特征）來計算梯度，如果感受野受限只能有少量像素參與計算。由于相鄰像素具有較強的相關性，所以較大的感受野有助于獲得較為正確和穩定的梯度。雙線性采樣的感受野較小，不適合于長程相關性的采樣建模。而高斯相關性則可以在較大的感受野中進行采樣。下式中的權重aij便是可調整方差的高斯核。

而新提出的采樣正確性損失則用于衡量模型的采樣是否良好，并約束AF場的信息流動。在實際使用中，研究人員主要使用了VGG19層的特征來計基準特征和采樣特征之間的余弦距離，以判斷這一采樣是否合適。

實驗結果

研究人員分別在Place2，Celeba和Paris StreetView數據集上進行了實驗，并利用Irregular Masks數據集生成缺失污損的圖像。

利用客觀的SSIM，PSNR和FID進行客觀測評，同時也利用MTurk平臺進行了主觀質量測試。下圖顯示了研究人員提出的方法與Contextual Attention（CA），Partial Convolution（PConv）和EdgeConnect等方法的比較。

下表中可以看到在多個數據集上本方法都獲得了明顯的指標提升。

研究人員還將這一算法用于圖像編輯任務中去，將圖中不希望出現的物體涂上掩膜，就可以修復出完整高質量的清晰圖像。同時也可以在結構圖上進行編輯為生成的圖像增加新的物體或內容。