手勢(shì)追蹤被視為人機(jī)交互（HCI）/人類數(shù)據(jù)交互（Human data interaction，HDI）中最直觀的交互模式之一，是混合現(xiàn)實(shí)（XR）終端交互的最新趨勢(shì)。

在XR領(lǐng)域中，手部運(yùn)動(dòng)軌跡的感知與追蹤是改善用戶在不同技術(shù)領(lǐng)域和平臺(tái)體驗(yàn)的一個(gè)重要組成部分。手部追蹤技術(shù)在未來(lái)可以幫助用戶“解放雙手”，人機(jī)互動(dòng)不再需要通過(guò)手柄控制，實(shí)現(xiàn)真正的解放雙手，讓用戶以最直觀的方式體驗(yàn)在增強(qiáng)現(xiàn)實(shí)和物理世界之間的融合。

最近熱度不斷攀升的Oculus Quest 2一體機(jī)，在手勢(shì)追蹤識(shí)別功能上進(jìn)行了一系列升級(jí)，除了早期的特定手勢(shì)操控主界面，最新解決方案甚至實(shí)現(xiàn)了基于手部追蹤的全文本輸入操作——即便如此，Oculus對(duì)于目前在手勢(shì)識(shí)別技術(shù)上取得的成就依然不是非常滿意。

Oculus曾表示，盡管手勢(shì)是一種有潛力的新型輸入方式，但由于計(jì)算機(jī)視覺(jué)與定位技術(shù)的局限，手勢(shì)識(shí)別技術(shù)的實(shí)際應(yīng)用場(chǎng)景也受到限制。因此，Oculus一直在探索一些有用的技巧來(lái)幫助開(kāi)發(fā)者適應(yīng)手勢(shì)的局限性，甚至為了讓虛擬世界更具3D效果、更加智能地對(duì)手勢(shì)進(jìn)行回應(yīng)，Oculus已收購(gòu)兩家虛擬現(xiàn)實(shí)手勢(shì)和3D技術(shù)的創(chuàng)業(yè)型公司 NimbleVR和13th Lab，以改善其一體機(jī)的手勢(shì)控制功能。

目前，由于涉及復(fù)雜的手指手掌結(jié)構(gòu)和相關(guān)軟組織在運(yùn)動(dòng)時(shí)的變化，以及手和物體之間的接觸互動(dòng)有著非常復(fù)雜的接觸點(diǎn)位和運(yùn)動(dòng)區(qū)域，強(qiáng)大的實(shí)時(shí)手部運(yùn)動(dòng)感知和追蹤已成為公認(rèn)的一項(xiàng)極具挑戰(zhàn)性的計(jì)算機(jī)視覺(jué)任務(wù)，是科技研究領(lǐng)域中的大熱項(xiàng)目。

數(shù)據(jù)堂自制版權(quán)的系列數(shù)據(jù)集產(chǎn)品為“手勢(shì)識(shí)別”這一技術(shù)路徑的實(shí)現(xiàn)提供了強(qiáng)有力的支持。

1314,178張18種手勢(shì)識(shí)別數(shù)據(jù)

314,178張18種手勢(shì)識(shí)別數(shù)據(jù)涵蓋多種場(chǎng)景、18種手勢(shì)、5種拍攝角度、多年齡段、多種光照條件。在標(biāo)注方面，標(biāo)注21關(guān)鍵點(diǎn)（每個(gè)關(guān)鍵點(diǎn)有可見(jiàn)不可見(jiàn)屬性）、手勢(shì)類別和手勢(shì)屬性。314,178張18種手勢(shì)識(shí)別數(shù)據(jù)可用于手勢(shì)識(shí)別、人機(jī)交互等任務(wù)。

手勢(shì)交互應(yīng)用的難點(diǎn)主要在于難以形成一致的手部操作方式，加上其屬于非精確性指令操作，其應(yīng)用范圍會(huì)受交互設(shè)備、識(shí)別方法、用戶熟練程度等多個(gè)因素影響。由于不同用戶對(duì)不同產(chǎn)品使用手勢(shì)交互時(shí)，其手部運(yùn)動(dòng)軌跡也大相徑庭，所以用戶可能需要預(yù)先訓(xùn)練一段時(shí)間去掌握相關(guān)設(shè)備或者系統(tǒng)，一定程度上是用戶要滿足機(jī)器的模版識(shí)別度。但ContactPose包括著不同人群抓握不同物體時(shí)的數(shù)據(jù)集，這意味著，日后隨著數(shù)據(jù)采集的規(guī)模化，機(jī)器可以開(kāi)始輕松識(shí)別不同的手勢(shì)運(yùn)動(dòng)軌跡，從而實(shí)現(xiàn)機(jī)器識(shí)別的個(gè)性化、靈活性。

縱觀Oculus或者HoloLens這些行業(yè)領(lǐng)頭羊的設(shè)備，在用戶使用時(shí)，很多時(shí)候由于對(duì)手勢(shì)識(shí)別的不敏感或者錯(cuò)誤偏差，使得用戶不得不依賴于手柄操作和語(yǔ)音控制來(lái)完成對(duì)虛擬現(xiàn)實(shí)設(shè)備界面的指令，手勢(shì)交互的人機(jī)操控方式在技術(shù)上顯然不夠成熟，尚且還處在行業(yè)早期階段。

審核編輯黃宇