近日，上海交通大學電子信息與電氣工程學院微米納米加工技術全國重點實驗室劉景全團隊和上海交通大學人工智能學院盧策吾團隊在人機交互領域取得重要進展，相關成果以“Capturing forceful interaction with deformable objects using a deep learning-powered stretchable tactile array”（使用深度學習驅動的可拉伸觸覺陣列捕捉可形變物體的力學交互）為題，在國際著名期刊《Nature Communications》上發表。

研究背景

觸覺感知是獲取環境信息的重要渠道之一，在人機交互、虛擬現實、遠程醫療和人形機器人等領域有重要研究價值。對于人形機器人而言，捕捉復雜操作任務中手與可形變物體之間的觸覺數據并進一步估計手-物狀態是一個巨大挑戰。為解決上述問題，首先需要借助人機交互界面捕捉人類操作過程，再將經驗遷移給機器人。傳統的人機交互識別通常只能生成語義結果，如識別手勢代表的字母，識別物體的種類和位置。因此，研究一種具有更高維度的精準、分布式人機交互界面，將有助于動態捕捉人類操作可形變物體的過程，這對推動人類通用操作能力向機器智能操作的遷移具有重要的研究價值和應用潛力。

亮點內容

該研究提出了一種全新的視覺-觸覺聯合記錄和追蹤系統ViTaM（Visual-Tactile recording and tracking system for Manipulation）。該系統配備了具有1152個力感知通道的柔性MEMS觸覺手套，基于正/負拉阻效應克服了感知可形變物體時的應變干擾問題，實現了精準、分布式的觸覺感知；同時，該研究通過視覺與觸覺的聯合深度學習，重建了動態的手-物操作狀態，一定程度上促進了智能體在人機交互中的理解能力進步，尤其是在涉及力學交互的方面，向人類多模態感知的水平邁近了一步。

圖1 深度學習驅動的觸覺手套可捕捉與可形變物體的力學交互

該團隊研制的基于正/負拉阻效應的復合式薄膜，通過工藝調控，可以使得兩種薄膜對所受應變表現出方向相反、幅值近似的電學特性，從而對雙電極的對稱響應實時檢測，區分出傳感器所受的壓力與應變，并通過自適應校準輸出電壓與受力的關系曲線，最終達到對應變干擾的主動抑制效果。經測試，力測量精度達到97.6%，相較于未校準時提升了45.3%，這對精準感知可形變物體的受力具有較強的幫助。

圖2 具有應變干擾抑制能力的觸覺手套設計、制造和測試方法

研究團隊還提出了一種視覺-觸覺聯合深度學習框架，旨在處理多模態數據序列、動態重建手-物狀態，以及恢復可形變物體的幾何細節。該工作在包含剛性體和可形變物體的6類共24種物體上進行了訓練和實驗，所有序列的平均重建誤差僅為1.8厘米，表明了該系統在操作不同形變程度的物體時，具有較強的普適性，能夠有效復現人類操作的經驗。

圖3 視覺-觸覺聯合學習框架的流程

圖4 基于ViTaM系統的手-物重建結果

圖4展示了基于ViTaM系統進行手-物重建的結果，分別從有無應變干擾抑制方面、連續形變方面以及純視覺與視觸融合多模態方面進行了分析，顯示出視覺-觸覺聯合深度學習具有明顯的優勢。最后展示了在真實世界中收集的視覺-觸覺數據重建的序列結果，證明了該方法在處理多幀數據時的時空一致性。

未來，ViTaM系統將被集成到人形機器人的電子皮膚中，實現與周圍環境的無縫互動，提升機器人靈巧操作能力，推動機器人從操作特定物體到通用操作場景的技術進步。

研究團隊

上海交通大學電院劉景全教授和人工智能學院盧策吾教授為該論文的共同通訊作者，博士后姜春蓬和博士后徐文強為共同第一作者。該工作得到了國家重點研發計劃和國家自然科學基金等項目資助。

劉景全教授團隊長期致力于可穿戴/可植入柔性電子器件與微系統的研制，旨在充分運用多學科交叉優勢，解決醫療健康和極端環境中的重大需求，發表論文有Sci. Adv. 2021、Adv. Mater. 2021、Adv. Funct. Mater. 2023、ACS Nano 2023、Small 2019、和Biosens. Bioelectron. 2024等。課題組網頁：https://mems.sjtu.edu.cn/cn/

盧策吾教授團隊長期致力于具身智能、計算機視覺和智能機器人相關領域的研究和系統研發，擁有國際先進水平的開源人工智能框架和數據集，相關研究工作發表在計算機領域頂級期刊和會議：Nature、Nature Machine Intelligence、TPAMI和CVPR等，獲得科學探索獎（獲獎理由：具身智能貢獻）。

論文鏈接：https://www.nature.com/articles/s41467-024-53654-y