首發：AIWalker

標題&作者團隊

1. 論文簡要

在這項工作中，視頻中的3D姿態可以通過全卷積模型來估計，具體是在二維關鍵點上通過空洞時間卷積的模型得到3D姿態。我們還介紹了一種不帶標簽（反向投影）的半監督式訓練方法。我們先從未標注視頻中得到2D姿態，然后估計3D姿態和最后反向投影到輸入的2D關鍵點。在實驗中，全卷積模型相比之前state-of-arts，在Human3.6 M上平均每個關節位置誤差小6mm，對應誤差降低11%，模型在HumanEva-I中也有顯著改進。

代碼和模型的下載地址：https://github.com/facebookre...

2. 背景介紹

我們的工作重點是視頻中的三維人體姿態估計。我們以最先進的方法為基礎，然后將問題描述為2D關鍵點檢測三維姿態估計，這種方法可能導致不同的3D姿態對應相同的2D關鍵點。早期為解決這一問題主要通過RNN構建時序信息，但是由于RNN的串行結構無法多幀并行處理，因此本文提出一個完整的卷積架構，在二維關鍵點上執行時序卷積用于視頻中準確的三維姿態預測，該方法兼容任何二維關鍵點檢測器，并能通過空洞卷積有效地處理較大的上下文信息。與依賴RNNs的方法相比，它在計算復雜度和參數數量方面都提供了更高的精度、簡單性和效率。

在構建一個高度精確和高效的架構之后，接下來需要關注訓練數據，本文引入了半監督訓練的方案，因為3D姿態的監督學習需要大量的帶標簽的訓練數據，收集3D人體姿態標簽需要昂貴的動作捕捉設備和長時間錄制。本文的方法的靈感來自于無監督機器翻譯中的循環一致性，即翻譯到中間語言和翻譯回原始語言的往返應該接近恒等函數。具體地說，使用現有的2D關鍵點檢測器為未標記的視頻預測2D關鍵點，然后預測3D姿態，最后將它們映射回2D空間中。

本文創新點有兩個：（1）在網絡結構方面，基于空洞時序卷積將2D關鍵點軌跡推理出3D人體姿態，在計算量和模型參數量上遠小于基于RNN的模型；（2）在訓練數據方面，采用半監督學習解決數據量不足的問題，相比于其他方法，該方法僅僅需要相機內部參數（數據增強的過程中需要相機參數對ground-truth姿態進行幾何變換），不需要2D標簽或帶有外部攝像機參數的多視圖圖像。

image-20201126105219606

3. 相關工作

在深度學習成功之前，大部分的三維姿態估計方法都是基于特征工程和骨骼和關節靈活性的假設。目前大多數的姿態估計方法是在二維姿態估計器的基礎上，建立了一種新的三維姿態估計器，然后 被提升到3D空間中。

視頻姿態估計，大多數以前的工作都是在單幀的背景下進行的，但最近幾年利用視頻的時間信息來產生更可靠的預測，并降低對噪音的敏感性。最近，有人提出了LSTM序列到序列學習模型，該模型將視頻中的二維姿態序列編碼為固定大小的向量，然后解碼為三維姿態序列。然而，輸入和輸出序列具有相同的長度，2D姿態的確定性轉換是更自然的選擇。用seq2seq模型進行的實驗表明，輸出姿勢在較長的序列上容易產生漂移。

4. 本文方法

4.1 時序空洞卷積模型

image-20201126112311029

我們的模型是一個具有殘差結構的完全卷積的架構，它將一個2D姿態序列作為輸入，并通過時間卷積對其進行轉換。卷積模型允許在批處理維度和時間維度上并行化，而RNNs不能在時間維度上并行化。在卷積模型中，無論序列長度如何，輸出和輸入之間的梯度路徑都是固定長度的，這可以緩解影響RNN的消失和爆炸梯度。卷積架構也提供了對時間感受域的精確控制，這有利于建立三維姿態估計任務的時間依賴模型。此外，使用空洞卷積能夠對長期依賴關系進行建模，同時也保持較高計算效率。（上圖表示帶有2D關鍵點的243幀圖像，經過網絡推理得到3D關節點）

4.2 半監督訓練方法

image-20201126113555405

本文引入了一種半監督訓練方法，以提高真實的標記數據不足的情況下的模型的準確性。我們利用未標記的視頻，然后結合一個現成的2D關鍵點檢測器，來擴展監督損失函數一個反向投影損失項。解決了未標記數據的自動編碼問題：編碼器（位姿估計器）根據二維關節坐標進行三維位姿估計，解碼器（投影層）將三維位姿投影回二維關節坐標。當來自解碼器的二維關節坐標遠離原始輸入時，訓練就會受到懲罰。

上圖將監督組件與充當正則化器的非監督組件組合在一起。這兩個目標是共同優化的，標記數據占據Batch的前半部分，未標記數據占據Batch的后半部分一半。對于標記數據，我們使用真實三維姿態作為目標，訓練一個監督損失。未標記的數據用于實現自動編碼器損失，其中預測的3D姿態被投影回2D，然后檢查與輸入的一致性。

軌跡模型，由于透視投影，屏幕上的2D姿態都取決于軌跡（人體根節點整體位置，可以理解成人體中心點）和3D姿態（所有關節點相對于根關節的位置）。目標函數為每個關節的加權平均軌跡的位置誤差（WMPJPE）。

骨骼長度損失，添加一個軟約束來近似匹配未標記batch的受試者與已標記batch的受試者的平均骨長度。

5. 實驗論證

5.1 數據集與評價標準

數據集有兩個分別是Human3.6M，HumanEva-I，評價標準是Protocol 1: MPJPE（每個關節點的平均誤差）， Protocol 2：P-MPJPE（與標簽數據對準后的平移、旋轉、縮放誤差），Protocol 3：N-MPJPE（只在比例上與真實標簽相匹配）

5.2 2D姿態估計

2D姿態估計網絡模型：stacked hourglass detector, Mask R-CNN with ResNet-101-FPN，CPN

5.3 3D姿態估計

image-20201126140916717

image-20201126141002629

image-20201126141144006

6. 總結

介紹了一個簡單的完全卷積模型用于視頻中三維人體姿態估計。網絡結構利用時間信息在2D關鍵點軌跡上進行空洞卷積。這項工作的第二個貢獻是反向投影，這是一種半監督訓練方法，在標記數據稀缺的情況下提高性能。該方法適用于未標記的視頻，只需要內在的攝像機參數，使其在運動捕捉具有挑戰性的場景中切實可行。

7. 論文復現

推薦閱讀

• 720p實時視頻插幀 | 曠視科技&北大提出RIFE
• 圖像/視頻超分之降質過程
• 深入理解視頻超分中的形變對齊

本文章著作權歸作者所有，任何形式的轉載都請注明出處。更多動態濾波，圖像質量，超分辨相關請關注我的專欄深度學習從入門到精通。

審核編輯：符乾江