探索虛擬與現(xiàn)實的邊界：柔性應變傳感器數(shù)據(jù)手套助力元宇宙時代

元宇宙概念的興起，引發(fā)了人們對可穿戴設備的廣泛關注。基于柔性應變傳感器的數(shù)據(jù)手套因其成本低、重量輕、直接和連續(xù)監(jiān)測手指運動而受到研究人員的青睞。近日，西北工業(yè)大學和軍事科學院國防科技創(chuàng)新研究院合作，在人機交互領域國際著名學術期刊International Journal of Human-Computer Interaction（IJHCI）發(fā)表論文，綜述了基于柔性應變傳感器的數(shù)據(jù)手套在虛擬世界中的手勢交互。

文章首先比較了基于視覺傳感器、表面肌電傳感器、慣性傳感器以及柔性應變傳感器的四種不同方法在設計數(shù)據(jù)手套方面的優(yōu)缺點，論證了基于柔性應變傳感器的數(shù)據(jù)手套在元宇宙應用中的優(yōu)勢。隨后，對比了國內外代表性商用數(shù)據(jù)手套，并介紹了基于柔性應變傳感器的數(shù)據(jù)手套各模塊的結構設計。最后，總結了手勢識別在元宇宙中的應用和目前基于柔性應變傳感器的數(shù)據(jù)手套存在的問題和發(fā)展前景。作者認為，基于柔性應變傳感器的新型數(shù)據(jù)手套將產生變革性的影響，以實現(xiàn)精確、低延遲和沉浸式的元宇宙手勢交互。

圖1 人機交互是現(xiàn)實世界進入元世界的入口

可穿戴手勢識別系統(tǒng)

近年來，伴隨著計算機視覺、柔性應變傳感器等技術的不斷進步，新型手勢識別技術相繼涌現(xiàn)，穿戴不便、設備復雜等問題正在得到解決。手勢識別作為人機交互的關鍵內容之一，處于快速發(fā)展階段。目前主流的手勢識別關鍵技術包括視覺傳感器、表面肌電信號傳感器、慣性測量單元和柔性應變傳感器。首先，基于視覺傳感器的手勢識別方法容易受到環(huán)境亮度的影響，不可避免地存在遮擋問題，從而導致錯誤的結果。其次，基于sEMG的手勢識別方案并不成熟，識別的手勢數(shù)量不多，大多在10個左右，準確性和穩(wěn)定性不足。近年來，蘋果、Meta和谷歌等公司都在布局這種手勢識別方案的開發(fā)。第三，數(shù)據(jù)手套作為另一種解決方案，提供了高準確率（>90%）和低延遲（毫秒級），并具有觸覺和力反饋的附加功能。其中，基于IMU的數(shù)據(jù)手套需要在手上的關鍵點放置剛性傳感器，這影響了舒適感。而基于應變傳感器的柔性數(shù)據(jù)手套不會受到環(huán)境亮度、遮擋或噪音的影響，可以提高識別精度，提供更好的穩(wěn)定性和穩(wěn)健性，降低成本，佩戴舒適。

圖2 基于視覺傳感器、柔性應變傳感器、慣性傳感器和表面肌電傳感器的可穿戴手勢識別系統(tǒng)是連接現(xiàn)實和虛擬世界的關鍵基礎設施

手套系統(tǒng)的功能模塊

基于柔性應變傳感器的手套系統(tǒng)，最主要的三個部分是傳感器、硬件電路和手勢識別算法。柔性應變傳感器將手指彎曲程度轉換為電信號，由硬件電路對該模擬電信號進行放大、濾波等處理轉換為數(shù)字信號，通過藍牙或WIFI的方式送至PC系統(tǒng)，最后用手勢識別算法將數(shù)據(jù)轉換為手勢結果并應用到相關領域。

圖3 基于柔性應變傳感器的手套系統(tǒng)的功能模塊

手勢識別算法

計算機接收到藍牙模塊傳輸?shù)臄?shù)字信號后，需要通過相應的手勢識別算法，將數(shù)字信號轉換為相應的手勢。目前的手勢識別分為兩類，即靜態(tài)手勢識別和動態(tài)手勢識別，文中分別列出了2種典型算法。靜態(tài)手勢識別的手勢種類有限，一般是將接收到的數(shù)字信號進行分類，將其映射到包含有限種類的手勢集上。動態(tài)手勢識別相對比較復雜，它需要從一個連續(xù)的數(shù)據(jù)流中分割手勢，即找出每個手勢的起始時刻和結束時刻。雖然過渡動作沒有實際意義，但是其持續(xù)時間隨手勢動作的不同而不同，所以手勢分割的實現(xiàn)比較困難，目前仍是一個挑戰(zhàn)。

圖4 靜態(tài)和動態(tài)手勢識別的典型算法

手勢識別的應用

目前，手勢識別多應用在在手語解釋、系統(tǒng)控制、運動監(jiān)測以及運動康復等領域，如圖5所示。

圖5 手勢識別的典型應用 (a) 將手勢語言翻譯成語音；(b) 通過手勢控制黑暗中的四足機器人通過迷宮；(c) 手勢控制機械臂遠程核酸檢測；(d) 通過手勢進行鏡像手康復訓練

未來，元宇宙的最終實現(xiàn)，將不可避免地建立起用戶以及其他物理對象在虛擬空間中的數(shù)字孿生體，用戶本人將擁有一個與自己完全對應的虛擬數(shù)字人。這需要外部設備將實際用戶的手勢、身體動作和聲音等完全映射到元宇宙中。因此，在將現(xiàn)實映射到虛擬世界的過程中，手勢的識別和建模至關重要。同時，虛擬用戶在元宇宙中感知到的觸覺、視覺、溫度和濕度信息，也需要通過可穿戴設備反饋給實際用戶。高性能的數(shù)據(jù)手套具有手勢識別、觸覺反饋和動覺反饋的功能，能夠實現(xiàn)現(xiàn)實世界和元宇宙之間的雙向交互。

與基于視覺傳感器、sEMG和IMU的數(shù)據(jù)手套相比，基于柔性應變傳感器的數(shù)據(jù)手套在元宇宙的應用中具有精度高、佩戴舒適、價格低廉和給用戶帶來 "沉浸感"等獨特優(yōu)勢。然而，目前發(fā)展還不夠成熟，存在的實際問題主要包括：

1、柔性應變傳感器普遍存在固有的滯后特性和長期運行的信號漂移問題；

2、電路處理單元多基于剛性的電路板，嚴重影響長期佩戴數(shù)據(jù)手套的舒適性；

3、數(shù)據(jù)手套中的每個柔性應變傳感器都需要單獨的電線與電路處理模塊連接；

4、大部分數(shù)據(jù)手套沒有觸覺或力反饋功能，用戶的手部感覺無法從元宇宙中反饋到現(xiàn)實世界。

為了解決這些問題，我們認為未來需要重點關注以下4個方面：

1、 設計線性補償電路或開發(fā)補償算法來補償柔性應變傳感器的非理想特性；

2、 通過可拉伸互連方式連接電路元件并在結構中多層堆疊，提高電路系統(tǒng)的靈活性；

3、 通過近場通信等方式實現(xiàn)柔性應變傳感器和電路處理單元之間的無線通信；

4、通過在數(shù)據(jù)手套的指尖區(qū)域集成小型執(zhí)行器來實現(xiàn)觸覺反饋，通過外部機械結構配合提供外力來實現(xiàn)力反饋。