在人類(lèi)數(shù)百萬(wàn)年的生物進(jìn)化歷程中，手作為感知細(xì)微觸覺(jué)的主要器官，不僅是我們與物理世界互動(dòng)的智能工具，更成為了人類(lèi)意識(shí)向外延伸的直接橋梁，使我們能夠從周?chē)h(huán)境中獲取豐富的觸覺(jué)信息。諸如手柄、鼠標(biāo)、鍵盤(pán)以及觸摸板等以人手為核心設(shè)計(jì)的交互設(shè)備，被視為連接人類(lèi)與虛擬世界的重要紐帶，極大地拓展了我們的交互邊界。盡管手在日常生活中扮演著至關(guān)重要的角色，但我們對(duì)手部在抓握等動(dòng)作中產(chǎn)生的力量分布和特性仍知之甚少。例如，每根手指在抓握時(shí)產(chǎn)生的力量差異、手掌力量的具體分布模式等，這些知識(shí)的缺失成為了精準(zhǔn)醫(yī)療、體育訓(xùn)練、機(jī)器人技術(shù)、虛擬現(xiàn)實(shí)操作等多個(gè)領(lǐng)域發(fā)展的瓶頸。▍開(kāi)發(fā)觸覺(jué)交互系統(tǒng)PhyTac，實(shí)現(xiàn)手部分布力實(shí)時(shí)測(cè)量長(zhǎng)久以來(lái)，基于液壓、氣壓和機(jī)械彈簧原理的握力計(jì)一直是評(píng)估人手施加力量的主要工具。然而，這些傳統(tǒng)方法只能提供關(guān)于最大力量的信息，缺乏對(duì)于力量在空間和時(shí)間上的詳細(xì)分布數(shù)據(jù)，這大大限制了其應(yīng)用范圍和精度。
圖1 基于液壓、氣壓和機(jī)械彈簧原理的握力計(jì)近年來(lái)，柔性觸覺(jué)仿生皮膚的發(fā)展為測(cè)量手部力量的分布提供了新的契機(jī)。這類(lèi)技術(shù)大致可以分為兩類(lèi)：一類(lèi)是基于電信號(hào)的陣列式傳感技術(shù)，包括壓阻式、電容式、壓電式、摩擦電式等多種原理；另一類(lèi)則是基于視覺(jué)的傳感技術(shù)，如Gelsight、Tactip、TacLINK、Insight等。基于電信號(hào)的傳感器在單點(diǎn)力量測(cè)量方面表現(xiàn)出高精度，但在面對(duì)大面積復(fù)雜接觸變形時(shí)，容易出現(xiàn)串?dāng)_問(wèn)題，導(dǎo)致測(cè)量精度下降。而基于視覺(jué)的傳感技術(shù)雖然能夠避免電信號(hào)的串?dāng)_問(wèn)題，提供更高的魯棒性，但其量程范圍通常較小（一般小于10牛），并且在多點(diǎn)大面積接觸時(shí)同樣面臨精度不足的挑戰(zhàn)。此外，這類(lèi)技術(shù)的標(biāo)定過(guò)程往往需要大量的數(shù)據(jù)集支持（通常超過(guò)1GB）。針對(duì)以上問(wèn)題，來(lái)自香港科技大學(xué)（HKUST）電子與計(jì)算機(jī)工程學(xué)系的申亞京教授研究團(tuán)隊(duì)進(jìn)行了深入研究，并通過(guò)引入一種基于“數(shù)字通道”的手部力傳感和處理策略，成功地在分布力的接觸位置上生成了可辨別的時(shí)序數(shù)字信號(hào)，有效解決了這一技術(shù)難題。同時(shí)，研究團(tuán)隊(duì)也受觸覺(jué)神經(jīng)系統(tǒng)的解碼原理以及蘆薈等蓮座植物葉子中的螺旋結(jié)構(gòu)啟發(fā)，開(kāi)發(fā)了一種以手為中心、基于數(shù)字通道的觸覺(jué)交互系統(tǒng)——PhyTac。
圖2 兩個(gè)尺寸的PhyTacPhyTac系統(tǒng)在設(shè)計(jì)上有效防止了標(biāo)記重疊，能夠準(zhǔn)確地從耦合信號(hào)中識(shí)別出多達(dá)368個(gè)區(qū)域的多點(diǎn)刺激。值得一提的是，研究團(tuán)隊(duì)通過(guò)將物理學(xué)原理集成到模型訓(xùn)練中，成功將數(shù)據(jù)集大小縮減至僅45千字節(jié)，遠(yuǎn)低于傳統(tǒng)方法通常所需的超過(guò)1千兆字節(jié)的數(shù)據(jù)集大小。實(shí)驗(yàn)結(jié)果表明，PhyTac系統(tǒng)在0.5至25牛頓的傳感范圍內(nèi)具有高達(dá)97.7%的保真度，展現(xiàn)出了令人矚目的性能。這一技術(shù)的突破有望在醫(yī)學(xué)評(píng)估、體育訓(xùn)練、機(jī)器人以及虛擬現(xiàn)實(shí)（VR）等多個(gè)領(lǐng)域?qū)崿F(xiàn)廣泛應(yīng)用。
圖3 PhyTac的工作機(jī)制及潛在的廣泛應(yīng)用。該研究不僅加深了人類(lèi)對(duì)以手部為中心的動(dòng)作的理解，還強(qiáng)調(diào)了物理和數(shù)字領(lǐng)域的融合對(duì)于推動(dòng)基于人工智能的傳感器技術(shù)進(jìn)步的重要性，為相關(guān)領(lǐng)域的未來(lái)發(fā)展奠定了堅(jiān)實(shí)基礎(chǔ)。目前，該研究成果的相關(guān)論文已以“Digital Channel-enabled Distributed Force Decoding via Small Datasets for Hand-centric Interactions”為題發(fā)表在《Science Advances》期刊上。論文共同作者包括來(lái)自香港科技大學(xué)的唐一峰、博士后研究員李根博士、張鐵山博士、研究助理教授楊雄博士，來(lái)自香港城市大學(xué)的任豪和郭棟，以及來(lái)自南開(kāi)大學(xué)的楊柳教授。通訊作者則由香港科技大學(xué)申亞京教授擔(dān)任。▍引入“數(shù)字通道”，解決大面積復(fù)雜接觸難題“數(shù)字通道”概念的引入，能夠精確識(shí)別復(fù)雜接觸的位置，并對(duì)大面積接觸問(wèn)題中的分布力進(jìn)行準(zhǔn)確解碼。通過(guò)標(biāo)記點(diǎn)的閾值開(kāi)關(guān)，“數(shù)字通道”可以實(shí)現(xiàn)邏輯判斷，當(dāng)開(kāi)關(guān)被激活時(shí)，標(biāo)記點(diǎn)被表示為邏輯“1”，其他標(biāo)記則為邏輯“0”。這一過(guò)程形成了一個(gè)代表關(guān)鍵力空間分布的數(shù)字通道，該通道不僅能夠有效過(guò)濾周?chē)碳?lái)的不必要干擾，還能在節(jié)約計(jì)算資源的同時(shí)，提供具有物理意義的高質(zhì)量數(shù)據(jù)。值得注意的是，通過(guò)將物理模型融入人工智能模型訓(xùn)練，數(shù)據(jù)集的大小得到了顯著縮減，僅需45KB，遠(yuǎn)低于傳統(tǒng)方法所需的超過(guò)1GB的數(shù)據(jù)集。這一突破意味著，即使面對(duì)極小的數(shù)據(jù)集，該技術(shù)也能從多重耦合的模擬信號(hào)中準(zhǔn)確識(shí)別出多達(dá)368個(gè)區(qū)域的多點(diǎn)刺激，且力的重建精度高達(dá)97.7%。對(duì)此，申亞京教授表示，“針對(duì)大規(guī)模分布式觸覺(jué)傳感技術(shù)，‘?dāng)?shù)字通道’的概念為解碼力的位置提供了一個(gè)全新的維度，使得僅通過(guò)極小的數(shù)據(jù)集就能實(shí)現(xiàn)高精度和高魯棒性。”
圖4 引入數(shù)字通道后，分布力的位置與幅度均可精確重建。▍結(jié)合力學(xué)模型與神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)小數(shù)據(jù)集分布力重建此外，下圖詳細(xì)闡述了物理模型增強(qiáng)神經(jīng)網(wǎng)絡(luò)（FEM-NN）的原理及其在小數(shù)據(jù)集上的優(yōu)勢(shì)和高精度表現(xiàn)。FEM-NN的輸入包括由數(shù)字通道獲取的關(guān)鍵節(jié)點(diǎn)（key nodes of interest, KOI）和位移矩陣，輸出則為增廣剛度矩陣，且僅需一個(gè)45KB的小數(shù)據(jù)集。
圖5物理模型增強(qiáng)神經(jīng)網(wǎng)絡(luò)（FEM-NN）的原理該技術(shù)中引入的物理模型建立了一個(gè)力學(xué)框架（FEM），將標(biāo)記位移和力大小相互關(guān)聯(lián)，并提供了涵蓋PhyTac材料、幾何和力學(xué)性能的寶貴先驗(yàn)知識(shí)。FEM-NN模型既采納了這一力學(xué)先驗(yàn)知識(shí)，又得益于神經(jīng)網(wǎng)絡(luò)的強(qiáng)大擬合能力，有效彌補(bǔ)了有限元模型與現(xiàn)實(shí)世界模型之間的物理差異。研究結(jié)果顯示，F(xiàn)EM-NN在整個(gè)量程范圍（0.5 ~ 25 N）內(nèi)均保持了較高的精度，力的平均絕對(duì)誤差僅為0.11 N，平均相對(duì)誤差也僅為2.3%，這一表現(xiàn)優(yōu)于傳統(tǒng)基于純物理模型的方法和基于卷積神經(jīng)網(wǎng)絡(luò)的方法（上圖C）。▍由旋轉(zhuǎn)蘆薈和觸覺(jué)神經(jīng)系統(tǒng)啟發(fā)的硬件結(jié)構(gòu)設(shè)計(jì)自然界中，螺旋女王蘆薈的旋轉(zhuǎn)葉序能夠避免葉子互相遮擋，從而來(lái)最大化得捕獲陽(yáng)光。受此啟發(fā)，研究團(tuán)隊(duì)將標(biāo)記點(diǎn)以類(lèi)似的螺旋結(jié)構(gòu)排列，優(yōu)化了光路設(shè)計(jì)，使得PhyTac系統(tǒng)有效避免了由標(biāo)記點(diǎn)互相遮擋引起的精度下降問(wèn)題，并顯著提高了標(biāo)記點(diǎn)的分布密度。這一創(chuàng)新設(shè)計(jì)最終提升了力的傳感范圍和分辨率。
圖6 A. PhyTac的整體結(jié)構(gòu)和組件。B. 受TrkB+啟發(fā)的數(shù)字通道。C. 受螺旋女王蘆薈啟發(fā)的螺旋式標(biāo)記點(diǎn)排列方法PhyTac系統(tǒng)由帶有標(biāo)記點(diǎn)陣列的仿生外殼、偏振線性光源和運(yùn)動(dòng)捕捉攝像頭三大組件構(gòu)成。當(dāng)手部對(duì)PhyTac施加力時(shí)，其外殼會(huì)發(fā)生變形，同時(shí)攝像頭會(huì)精準(zhǔn)捕捉到每個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)軌跡。隨后，系統(tǒng)利用所有標(biāo)記點(diǎn)的位移數(shù)據(jù)作為輸入，通過(guò)物理模型增強(qiáng)神經(jīng)網(wǎng)絡(luò)（FEM-NN）準(zhǔn)確建立標(biāo)記點(diǎn)位移與手部力分布之間的映射關(guān)系。因此，該系統(tǒng)能夠重建手部豐富的觸覺(jué)力學(xué)信息，與現(xiàn)有設(shè)備相比，信息量增加了至少兩個(gè)數(shù)量級(jí)，為新一代人機(jī)交互提供了廣泛應(yīng)用的可能性。▍在機(jī)器人、虛擬現(xiàn)實(shí)、醫(yī)學(xué)和運(yùn)動(dòng)科學(xué)等領(lǐng)域的廣泛應(yīng)用PhyTac系統(tǒng)可直接應(yīng)用于握力分布的測(cè)量，這對(duì)于中風(fēng)、類(lèi)風(fēng)濕性關(guān)節(jié)炎等多種疾病的評(píng)估和治療具有重要意義。與其他潛在解決方案（如觸覺(jué)手套）相比，PhyTac系統(tǒng)更加魯棒、易用且無(wú)束縛感。如視頻所示，該系統(tǒng)能夠精確識(shí)別不同握持姿勢(shì)下握力分布的動(dòng)態(tài)變化。研究團(tuán)隊(duì)還進(jìn)一步將PhyTac系統(tǒng)安裝在網(wǎng)球拍上，并測(cè)量了擊打網(wǎng)球時(shí)手部的力量分布。該研究成果相關(guān)論文的第一作者唐一峰表示：“我們發(fā)現(xiàn)正手擊球時(shí)，力量主要集中在食指、中指和無(wú)名指上；而反手擊球時(shí)的力量分布則有所不同，其中拇指、無(wú)名指和小指貢獻(xiàn)了更多的力量。”
圖7 正反手擊球時(shí)力分布的對(duì)比此外，PhyTac系統(tǒng)還能將現(xiàn)實(shí)世界中的分布力投射到虛擬世界中，實(shí)現(xiàn)精確的虛擬現(xiàn)實(shí)（VR）操控。使用者可以用拇指和食指小心翼翼地托住一個(gè)雞蛋而不將其捏碎，或者當(dāng)總力量超過(guò)一定閾值時(shí)，用三根手指捏碎它。
圖8 在虛擬世界中精確操控雞蛋、花瓶和軟球（上圖）。遙控機(jī)器人手抓取、握住和傳遞物體（下圖）。同樣的，研究團(tuán)隊(duì)也展示了用握力捏碎花瓶，以及如何用不同的分布力精確操控軟球的變形。唐一峰補(bǔ)充道：“得益于PhyTac在三維空間中的靈活性，它還可以作為遙控操作界面，控制機(jī)器人手拿起、握住并傳遞一個(gè)薄塑料杯，而不會(huì)將其捏壞。”▍關(guān)于未來(lái)對(duì)于未來(lái)的研究方向，研究團(tuán)隊(duì)計(jì)劃將“數(shù)字通道”這一概念拓展應(yīng)用至其他幾何形狀的視觸覺(jué)傳感器上。他們認(rèn)為，在如何有效克服干擾等問(wèn)題上，電阻式、電容式等其他類(lèi)型的分布式軟觸覺(jué)傳感器也將能夠從這項(xiàng)研究中獲得顯著益處。項(xiàng)目負(fù)責(zé)人申亞京教授則表示，團(tuán)隊(duì)致力于構(gòu)建物理世界、虛擬世界與機(jī)器人之間的智能交互橋梁。PhyTac作為這一愿景實(shí)現(xiàn)過(guò)程中的重要里程碑，不僅深化了團(tuán)隊(duì)對(duì)手部動(dòng)作機(jī)制的理解，更被團(tuán)隊(duì)寄予厚望，希望未來(lái)其能成為以手為核心的交互媒介，在醫(yī)學(xué)評(píng)估、體育訓(xùn)練、機(jī)器人技術(shù)以及虛擬現(xiàn)實(shí)（VR）等多個(gè)領(lǐng)域發(fā)揮廣泛應(yīng)用價(jià)值。參考文章https://www.science.org/doi/10.1126/sciadv.adt2641審核編輯 黃宇