動作捕捉現在已經不是一個時髦的名詞了，它在電影、游戲中都得到廣泛的應用，賦予了原本動作僵硬面目死板的角色以鮮活的生命，給人們帶來驚艷的視覺體驗。

要說最早的動作捕捉，還要追溯到馬克福萊舍發明的“轉描技術”

利用特制的投影設備，將真人投影到畫布前，再由畫師，人肉作畫，一幀一幀的描下來。

（栩栩如生的豬八戒）

后來隨著動作捕捉技術的發展，又發展出幾種真正意義上的動作捕捉技術。

當然，得到最廣泛應用的自然是我們常見的往身上貼馬克點的光學式動捕。

不管是電影

還是游戲

配上動捕都如虎添翼，透著屏幕仿佛能感受到畫面中角色的呼吸。然而值得注意的是，當實時全身動捕用在靈巧的五指上時，就很難產生類似的實時追蹤效果。

手部實時動作捕捉的主要困難在于識別和標記被動馬克點。雖然可以使用主動馬克點來解決這個問題，但是一根根的連接線路和笨重的傳感器顯得有些累贅，而且主動馬克點可同時追蹤的數量也十分有限。若是對于馬克點標記的全身追蹤，常見解決方案便是從預定義的T型或A型開始，依靠高幀追蹤來向前傳播標記。可馬克點一旦被遮擋或由于虛假反射產生了重影，這種方案就沒啥精準度了。而且由于手部體積小、關節多，馬克點的分布不得不密集，這就難免不產生遮擋和重影了。

就在前些日子，Oculus的負責人介紹了一款新型手動追蹤系統。該系統采用可以自我優化的機器學習算法進行訓練，她說：“這種算法比之前所有的手部追蹤方案都更為準確。”

由上圖也可以看出，Oculus的新型手動追蹤系統不管是在單雙手還是在手與物體的交互上表現的都很出色。

其實早在去年，扎克伯格就造訪了 Oculus研究實驗室，在facebook的更新中，他上傳了幾張照片，其中一張就是帶著手套坐在一圈鐵架子中，這也與小編在新型手部動捕論文找到的攝像機設備一樣。矩形支架上統共擺放了16臺Optitrack相機，從而可以全方位捕捉手部的動作。

“我們正致力于將新的方式帶入虛擬和增強現實，戴上這些手套，你可以畫畫，在虛擬鍵盤上打字甚至可以體驗一番漫威超級英雄的生活”扎克伯格說到。

從演示視頻來看，扎克伯格對于VR手部追蹤的愿景也正一步一步實現。

折一架童年的紙飛機

十八般樂器樣樣可行

我丟

（每副手套上安裝了19個馬克點）

研究人員展示了一種新穎的標記和跟蹤系統，能夠在具有頻繁遮擋的挑戰性交互場景中實現手部姿勢的全自動實時估計。左手標記為橙色，右手標記為藍色，物體標記為綠色。

這種新型標記與追蹤技術既可以用于稀疏馬克點集，也可以用于捕捉完整手部26自由度的密集馬克點集。Facebook依靠卷積神經網絡（CNN）來預測由動捕系統檢測到的3D馬克點位置標記。然后將記錄的數據壓縮成2D圖像，這使卷積神經網絡能夠將標記點設置為唯一識別標記位置，從而避免重影和遮擋的出現。為了滿足手部高精度的追蹤需求，Facebook在精心設計的數據增強程序中使用合成數據對CNN進行訓練。在運行時，每當需要重新初始化標記追蹤的時候，CNN的輸出就用于初始化標記。這種在線標記使得Facebook能夠實時重建手部姿勢。簡單來說，就是將3D空間的問題轉化到2D平面上來解決。

將3D標記位置輸入標記系統（a），并且呈現為深度圖像（b），然后由CNN將深度圖像將手上的19個3D標記位置進行顏色編碼，用二分匹配將輸入標記與其對應的標記標簽相關聯。

通過將標記聚類成組并用左/右指針隨機分配來初始化跟蹤器。 左/右手標記被傳遞到在線標記標記管道以獲得每個標記的標記。 應用反向運動學從標記處重建手部姿勢。 如果通過研究人員的重建指標，則跟蹤的標記和手勢將被反饋到下一幀進行在線跟蹤。

肢體追蹤用活靈活現的肢體語言取代了僵硬無力的死板動作，眼球追蹤使空洞呆滯的瞳孔變得炯炯有神。新型的手部追蹤也將幫助人們在電影、游戲、VR中獲得更為靈巧的體驗，跟的上各位單身十八年的手速。