基于深度學習的光流估計算法解析

光流估計是計算機視覺研究中的一個重要方向，其不像其他感知任務會顯式的在應用中呈現。如今，光流估計也在基于視頻的任務中承擔著越來越重要的作用。

光流的基本概念

光流（Optical Flow）是一個有關物體運動的概念。最早由Gibson提出，描述的是空間中運動的物體在成像平面上，造成像素運動的瞬時速度。主要由以下三類組成：

場景中前景目標本身在移動

成像平面在移動（比如，相機）

或者兩者共同運動而所產生的混合動作

光流是在一系列連續變化的圖像中產生類似光“流動”的效果，故簡稱為光流。光流是一個有方向、有長度的矢量，光流估計的目的就是根據2個連續的幀來求解對應像素的運動速度（或偏移量）。根據是否選取圖像稀疏點進行光流估計，可以將光流估計分為稀疏光流和稠密光流，demo如下所示： ? ? OpenCV也集成了相應的算法接口，稀疏光流cv2.calcOpticalFlowPyrLK()和稠密光流cv2.calcOpticalFlowFarneback()，其中稀疏光流估計算法是最經典的Lucas-Kanade算法，在此不再贅述。

FlowNet

首篇基于深度學習的光流估計算法FlowNet，收錄于ICCV2015。FlowNet構建了能夠將光流估計問題作為監督學習任務來解決的CNN。提出并比較了兩種架構，一種通用架構，另一種包括在不同圖像位置關聯特征向量的層。由于缺乏相關標注數據集，FlowNet還生成了一個大型合成 Flying Chairs數據集。實驗結果表明，在合成數據集上訓練的模型可以很好的推廣到現實場景，如 Sintel 和 KITTI，在 5 到 10 fps的幀率下實現具有不錯的性能。

FlowNet的輸入為待估計光流的兩張圖像，輸出即為圖像每個像素點的光流。光流的評價指標或損失函數EPE(End-Point-Error)，定義為預測的每個像素的光流（2維向量）和groundtruth之間的歐式距離。對于訓練數據集，人工標注光流真值幾乎不可能。因此，作者設計了一種生成的方式，得到包括大量樣本的訓練數據集FlyingChairs。其生成方式為對圖像做仿射變換生成對應的圖像。為了模擬圖像中存在多種運動，比如相機在移動，同時圖像中的人或物體也在移動。作者將虛擬的椅子疊加到背景圖像中，并且背景圖和椅子使用不同的仿射變換得到對應的另一張圖，如下圖所示：

FlowNetSimple

FlowNet提出的通用架構為FlowNetSimple，即將兩個輸入圖像堆疊在一起，并通過一個通用的網絡將其輸入，從而使網絡可以自行決定如何處理圖像對以提取運動信息。這種僅包含卷積層的架構為“FlowNetSimple”，而refinement部分，與Unet解碼器類似，但是又有獨特的光流模型的特性，如下圖所示。

FlowNetCorr

和simple版本的區別在于：先對圖片做了相同的特征處理，類似于孿生網絡，然后對于提取的兩個特征圖，做論文中提出的叫做correlation處理，融合成一個特征圖，然后再做類似于simple版本的后續處理。 FlowNet的實驗結果在15年還是比較不錯的，與傳統方法互有優劣。

FlowNet 2.0

FlowNet證明了光流估計可以作為一個學習問題。然而，關于光流質量的現有技術仍然由傳統方法定義。特別是在小位移和真實世界數據上，FlowNet與傳統算法還有一定差距。FlowNet 2.0進一步提升了算法的速度和光流質量。首先，FlowNet 2.0增加了訓練數據，并使用更復雜的訓練策略提升性能。其次，利用堆疊結構對預測結果進行多級提升，最后針對小位移的情況引入特定的子網絡進行處理。FlowNet 2.0犧牲了一點運行速度，卻降低了50%以上的誤差。在各個公開數據集上，精度已經追平了目前最好的一些傳統算法。同時，在速度上依然保持著高效快速的優勢。

此外，FlowNet 2.0提出了更快的網絡結構，速度高達140fps，并且精度與原始FlowNet相當。

PWC-Net

CVPR2018收錄的PWC-Net。PWC-Net根據金字塔式處理；基于上一層習得的光流偏移下一層特征，逐層學習下一層細部光流（warping）和設計代價容量函數（cost volume)實現了比FlowNet 2.0小17倍的網絡，更容易訓練，性能也更好。在 Sintel分辨率 (1024×436) 圖像上以約 35 fps 的速度運行。

特征金字塔提取器：給定兩個輸入圖像I1和I2，生成特征表示的l級金字塔，底部（0）級是輸入圖像。為了在第l層生成特征表示，使用卷積層對第1?1金字塔層的特征進行降采樣。從第一層到第六級，特征通道的數量分別為16、32、64、96、128和196。 warp層：在l層上，是要warp第二張圖到第一張上，l+1層上采樣到l層，本文使用雙線性插值來實現warp操作，并計算相應梯度。 Cost volume layer：接下來，使用這些特征構造一個cost volume，存儲下一幀像素與其相應像素關聯的匹配cost volume。

LiteFlowNet2

TPAMI2020！港中文湯曉鷗團隊~ FlowNet2需要超過 160M 的參數才能實現準確的流量估計。LiteFlowNet2的模型尺寸小30倍，運行速度快1.36倍，且性能更好。FlowNet2希望在傳統光流估計算法和輕量級光流CNN中已經建立的認知之間搭建對應的關系；從早期工作成果LiteFlowNet發展而來的輕量級卷積網絡LiteFlowNet2，通過提高流場精度和計算時間更好地解決光流估計問題。主要貢獻有如下幾點：

輕量級級聯式流場推理：提高了光流估計的準確性，允許網絡無縫地結合描述子匹配；

新穎的流場正則化層：級聯流量推理類似于傳統最小化方法中數據保真度的作用。為了解決流場中模糊的流場邊界和偽像問題，文章建議使用由特征驅動的局部卷積f-lconv對級聯式流場推理的光流場進行規范化。

引入f-warp層：從前一級別的流場估計將F2向F1變形來構建成本量之前減少F1和F2之間的特征空間距離，即Feature Warping。

在Sintel和KITTI基準測試集上性能超過了SOTA方法FlowNet2，并且模型尺寸縮小25.3倍，推理速度快3.1倍。GTX1080顯卡上的光流估計幀率達到25。

IRR

CVPR2019收錄的Iterative Residual Refinement for Joint Optical Flow and Occlusion Estimation 上述算法的共同特征都是從初始光流由粗到細進行Flow推斷。雖然精度高，但是參數量也隨之增加。IRR從經典的能量最小化方法和殘差網絡中汲取靈感，提出一種基于權重共享的迭代殘差細化方法，IRR可以與多個主干網絡結合。減少了參數量的同時，提高了準確性。此外集成了遮擋預測和雙向流估計后。IRR可以進一步提升性能。

性能和網絡參數量對比圖如下：

MaskFlownet

特征扭曲是光流估計的核心技術，然而扭曲過程中由遮擋區域引起的模糊性是一個尚未解決的主要問題。圖像扭曲導致遮擋區域的模糊，在特征扭曲過程中也存在同樣的問題，這些區域可以在沒有任何明確監督的情況下被掩蓋。因此，MaskFlownet應運而生，主要貢獻如下：

MaskFlownet提出了一個非對稱遮擋感知特征匹配模塊，用于學習一個粗糙的遮擋掩碼，在沒有任何顯式監督的情況下，在特征扭曲后立即過濾無用（遮擋）區域；

模塊可以很容易地集成到端到端網絡架構中，計算量可忽略同時提升性能。學習到的遮擋掩碼可以進一步輸入到具有雙特征金字塔的后續網絡級聯中，從而達到SOTA；

RAFT

ECCV 2020 best paper！光流法需要估計視頻幀中每個像素的運動，在計算機視覺中這是一個還未被攻克的難題，常見的問題有快速移動的小物體，物體之間的遮擋，運動模糊和存在無紋理區域等問題。傳統的光流法常被認為是一種手工設計的優化方法，近年來一些基于深度學習的方法開始有了替代傳統方法的趨勢。下面介紹一種新的基于深度學習來估計光流的方法——Recurrent All-Pairs Field Transformers(RAFT)。它有以下優勢：

state-of-the-art: 在KITTI上RAFT達到了目前最高的準確率。

有很強的泛化性，當只在生成的數據集上訓練時RAFT也能有很好的效果。

高效，在1080Ti上能夠以10幀每秒運行1088×436像素的圖像。

RAFT由以下三部分構成： 1）一個特征編碼器來用來從像素中提取特征：特征圖的大小是原始分辨率的1/8； 2）一個correlation層用來建模圖像上任意兩個點之間的相似度； 3）一個基于門控循環網絡GRU的更新結構用來迭代的更新最后生成的光流圖。實驗結果如下：

GMA

ICCV2021 收錄的Learning to Estimate Hidden Motions with Global Motion Aggregation GMA著重解決光流估計中被遮擋點的光流估計問題。GMA定義的遮擋點是在當前幀中可見但在下一幀中不可見的點。以前的工作依賴CNN來學習遮擋，但收效不大，或者需要多幀并使用時間平滑度來推理遮擋。GMA通過對圖像自相似性進行建模，來更好地解決遮擋問題。GMA引入了全局運動聚合模塊，這是一種基于transformer的方法，用于查找第一張圖像中像素之間的遠程依賴關系，并對相應的運動特征進行全局聚合。GMA在不損害非遮擋區域的性能的情況下，可以顯著改善遮擋區域中的光流估計。具體的解決方案如下：

兩幀之間的運動信息，可以通過計算cost volume的匹配信息進行估計

當沒有匹配信息時，基于這樣一個假設，單個物體（在前景或背景中）的運動通常是均勻的，運動信息必須從其他像素開始傳播

同時，對于每個像素理解他屬于哪個對象。也就是說，非被遮擋的自相似點的運動信息可以傳播到被遮擋的點。

CNN不適合做全局運動估計，因為CNN是局部的，transformer更適合做全局估計。