近日,在Nature旗下傳感器子刊《Nature Sensors》發表了其創刊第二篇論文,該論文設計可穿戴傳感器技術突破,作者為斯坦福大學鮑哲南院士團隊。
在可穿戴傳感器領域,設計舒適性與實現高分辨率、大范圍傳感之間存在固有矛盾。高密度表面肌電圖(EMG)設備雖然能精準捕捉手勢、步態等復雜運動信息,但通常體積龐大、電極數量多,限制了其日常穿戴的實用性與用戶體驗。傳統方法為提升識別精度往往需要增加傳感器數量與覆蓋面積,導致設備笨重、功耗高,難以在真實場景中持續使用。因此,如何以更少、更緊湊的傳感器實現與高密度陣列相當的信號重建與動作預測能力,成為當前可穿戴感知技術的重要挑戰。
近日,斯坦福大學鮑哲南教授團隊提出了一種生成式肌電圖網絡(GenENet),結合柔性可拉伸傳感器,能夠從有限的傳感器輸入中重建未覆蓋區域的肌肉活動信號,實現了用6通道設備達到32通道設備的識別性能。該系統在手語字母識別和步態動力學預測任務中表現出色,為低功耗、低復雜度的可穿戴生理監測設備開辟了新路徑。

2025年12月1日,相關工作以“A simplified wearable device powered by a generative EMG network for hand-gesture recognition and gait prediction”為題發表在Nature Sensors上。 該研究提出了生成式肌電圖網絡(GenENet),該網絡基于自編碼器架構,通過自監督生成式表征學習訓練,能從少量傳感器輸入中預測肌電圖信息,識別大面積身體區域傳感器激活的通用模式;同時,研發了由聚二甲基硅氧烷(PDMS)、耐溶劑聚(丙烯腈 - 丁二烯)(NBR)、鎵銦共晶(EGaIn)電極、聚(3,4 - 乙烯二氧噻吩):聚(苯乙烯磺酸鹽)(PEDOT:PSS)凝膠等組成的全可拉伸多陣列肌電圖設備,用于收集高質量 32 通道數據以支持 GenENet 預訓練(隨機掩蓋約 80% 數據,通過生成信號與完整信號對比學習重建缺失信息);隨后將預訓練模型與 6 通道簡化設備集成,結合后訓練網絡提取時空肌肉活動關鍵特征,最終實現美式手語翻譯和步態動力學預測,驗證了低通道設備在保持性能的同時降低系統復雜度的可行性。
圖文介紹
首先,研究了通過生成式肌電圖網絡(GenENet)實現手勢與步態預測的基本框架(圖1a)。該框架使用32通道可拉伸設備進行預訓練,通過隨機掩碼輸入信號并重建原始數據,學習肌肉活動的時空模式。在此基礎上,構建了一個僅含6通道的簡化設備(圖1b),利用預訓練網絡從有限輸入中預測未覆蓋區域的肌肉活動。圖中還展示了設備的實際形態與無線模塊的連接方式(圖1d–f)。該設計體現了GenENet如何通過先驗知識遷移,在減少硬件復雜度的同時保持預測性能,為后續手勢與步態任務的應用奠定了基礎。

圖1. 用于手語和步態預測的GenENet。a. 使用32通道可拉伸設備通過GenENet進行表征學習,隨機掩蔽輸入信號以重建原始數據。b. 使用更小的6通道設備,其中預訓練網絡預測未覆蓋區域的肌肉活動。參考電極和接地電極置于右側。c. 后訓練網絡,使預訓練模型能夠遷移到不同應用和用戶。d-f. 分別展示與a-c各階段對應的設備實物圖。無線模塊由柔性印刷電路板構成。
為了獲取高質量的預訓練數據集,研究設計了一種全可拉伸的多陣列EMG設備(圖2a)。該設備采用多層結構,包括PDMS基底、NBR保護層、EGaIn液態金屬電極、高導電PEDOT:PSS凝膠以及SBS封裝層。電極在拉伸至100%應變時仍保持低阻抗特性(圖2f),且與相同尺寸的Ag/AgCl電極相比,在握力測試中表現出更高的功率密度(圖2g)。此外,與基于聚酰亞胺的非可拉伸陣列相比,可拉伸陣列在手腕握力測試中表現出更高的平均信噪比(15.06 dB vs. 12.19 dB)(圖2h–i)。這些結果表明,可拉伸結構與低阻抗電極的設計顯著提升了信號質量,為生成式網絡的訓練提供了可靠的數據基礎。

圖2. 用于生成高質量數據集的可拉伸傳感器陣列。a. 32通道可拉伸陣列的分解視圖,顯示封裝層、傳感電極、互連線和基底。b. 32通道設備的側視圖。c. 設備原始狀態與拉伸狀態的對比。d. 32通道設備通過柔性扁平電纜連接到定制無線模塊。e. 含有與不含有PEDOT:PSS的水凝膠的電化學阻抗譜。f.在100%應變下的阻抗耐久性圖。小圖顯示PEDOT互連線在0%和100%應變下的狀態。Z和Z0分別表示應變下和無應變狀態下的阻抗。g. 使用測力計(電極附著于前臂)比較PEDOT凝膠與相同尺寸Ag/AgCl電極的韋爾奇功率譜密度估計。h,i. 在非可拉伸聚酰亞胺基底上制作的設備與在可拉伸基底上制作的設備的信噪比箱形圖,顯示可拉伸基底在32個通道上具有更高的平均信噪比。
在預訓練階段,研究采用32通道EMG陣列捕獲手腕與小腿肌肉活動信號,并通過滑動窗口計算均方根值,構建32×32×1的時序-通道張量(圖3c)。隨后,隨機掩碼約81%的數據塊,輸入GenENet進行自監督訓練(圖3d)。網絡基于編碼器-解碼器架構,通過多頭部注意力機制學習信號中的廣義表示。訓練過程中,生成信號逐漸從隨機噪聲逼近原始信號,均方誤差隨訓練周期下降(圖3e)。多個樣本在訓練后的重建效果(圖3f–g),證明GenENet能夠有效從掩碼輸入中恢復完整的肌肉活動模式,為下游任務提供了可遷移的特征表示。

圖3. GenENet的預訓練過程。a. 32通道可拉伸設備在任意手指運動和行走時,從手腕或小腿捕獲肌肉激活信號。b,c. 信號經過增強和均方根處理。d. 對后處理張量進行隨機掩蔽,訓練GenENet以最小化生成信號與原始信號之間的均方誤差損失。E和D分別表示GenENet的編碼器和解碼器模塊。e. 樣本1的代表性信號,展示訓練周期中被掩蔽、原始和生成的信號。右側圖表顯示訓練期間均方誤差的下降。f. 訓練過程中生成信號的詳細圖示。g. 訓練450個周期后,樣本2和樣本3的結果。
研究將預訓練的GenENet應用于美國手語識別任務,設計了一款6通道無線EMG手表(圖4a)。信號經與預訓練相同的后處理流程后,輸入GenENet編碼器提取潛在特征,再經由LSTM網絡進行分類(圖4c)。通過權衡通道數量與傳感器面積對性能的影響,發現6通道在準確性與設備尺寸之間取得最佳平衡(圖4e–f)。預訓練模型在150個遷移訓練周期內達到93.6%的驗證準確率,顯著優于未預訓練的模型(圖4g)。此外,設備在不同手腕位置與朝向下仍保持穩定的識別性能(圖4h),并能實時輸出字母預測結果(圖4i)。通過梯度歸因圖分析,可進一步解釋各通道信號對手勢分類的貢獻程度(圖4j),增強了模型的可解釋性。

圖4. 使用GenENet設備預測美式手語。a. 通過六通道設備捕獲的手語輸入信號。b. 與預訓練相同的后處理步驟(不包括數據增強)。c. 后處理張量輸入GenENet,連接至CNN、LSTM和密集層。解碼器和CNN的虛線部分僅在回歸建模時激活。d. 手語手勢分類。e. 通過平衡模型準確性和總傳感器面積測量的品質因數。f. 品質因數在六通道區域達到峰值,增加通道數提高準確性但也增大了傳感器面積。g. 使用六電極EMG陣列進行手指運動識別時,預訓練GenENet與非參數化GenENet的驗證準確性比較。h. 設備在手腕不同位置和方向上的適應性,顯示準確性差異可忽略。I.1–I.7表示電極陣列附著的不同位置和方向。 i. 使用來自6通道EMG輸入的數字值進行手語預測。j. 代表字母A、N和R的批次歸因圖,以及相應的EMG信號和歸因圖。
為擴展系統應用范圍,研究將GenENet用于步態動力學預測。實驗通過三塊測力板與視頻同步采集步態過程中的地面反作用力與膝關節力學數據(圖5a)。6通道EMG設備附著于小腿,輸入預訓練的GenENet編碼器,并結合CNN-LSTM網絡進行連續力值預測(圖5b–c)。模型在整個步態周期中成功預測了地面反作用力,其預測值與真實值之間的R2系數達0.975(圖5e),且在不同個體間表現一致(圖5f)。通過逆動力學分析,系統還能預測膝關節內收力矩的變化趨勢(圖5h),為步態分析與運動健康評估提供了便捷的工具。該結果表明,緊湊型EMG陣列結合生成式學習算法,能在不依賴復雜實驗室設置的條件下實現高精度的步態動力學監測。

圖5. 使用GenENet設備預測步態動力學。a. 實驗設置,涉及走過三個測力板并同時進行視頻捕捉。后訓練網絡用于預測地面反作用力,而膝關節垂直力和力矩則基于視頻數據通過逆動力學計算,并入動力學后訓練數據集。b. 附著在小腿上的六通道EMG設備示意圖。c. 步態周期中的地面反作用力預測,顯示預測值與從視頻數據獲得的真實值密切匹配的五個不同階段。d. 肌肉骨骼模型上實時預測地面反作用力的快照。e. 地面反作用力預測的確定系數R2為0.975。f. 對不同個體的適應性,顯示他們之間一致的R2系數。g. 地面反作用力和膝內收力矩向量方向的示意圖。h. 在特定時間間隔內預測的膝關節Y軸力和膝內收力矩。
綜上,該研究通過結合生成式表示學習與柔性可穿戴傳感技術,成功實現了用極少通道數EMG設備完成復雜手勢識別與步態預測任務,突破了傳統高密度傳感的硬件限制。該系統在健康監測、康復工程、人機交互與運動分析等領域具有廣泛的應用前景。未來可通過擴展訓練數據覆蓋范圍、融合慣性傳感器等多模態信息,進一步提升系統的魯棒性與泛化能力,推動低功耗、高智能的可穿戴感知系統發展。
原文鏈接
https://www.nature.com/articles/s44460-025-00002-2
關于鮑哲南 鮑哲南,斯坦福大學終身教授,中國科學院外籍院士,美國國家科學院院士,美國國家工程院院士,美國藝術與科學院院士,美國國家發明家學院院士。
南京大學1987級本科生,1990年大學三年級時移民到美國。1995年獲芝加哥大學博士學位,同年被貝爾實驗室錄用為正式研究人員。2004年加入美國斯坦福大學。鮑哲南于2017年升任斯坦福大學化學工程學院院長,是該校歷史上第一位華人女院長。
鮑哲南院士的研究范圍包括化學、材料科學、能源、納米電子學和分子電子學等領域。她開創了多個用于有機電子材料的設計理念,使得柔性電子電路和柔性顯示成為現實。已發表700多篇論文,被引超過19.7萬次,谷歌學術H指數為233,擁有超100項美國授權專利。
-
可穿戴設備
+關注
關注
55文章
3885瀏覽量
170083 -
可穿戴傳感器
+關注
關注
2文章
103瀏覽量
13144
發布評論請先 登錄
小身材大作為:NRF52810-QFAA 在可穿戴與傳感器的應用
美國加州理工學院:可穿戴柔性傳感器最新突破!
10 INCH-D-PRIME-MV Amphenol All Sensors 板機接口壓力傳感器 AXCXL 10 DN P
中科院長春應化所張強團隊:面向持續無創健康監測的可穿戴汗液電化學生物傳感器
Nordic發布超低電壓藍牙 SoC nRF54LV10A,醫療可穿戴設備福音
索尼基于時識科技Speck2f芯片打造可穿戴眼動追蹤系統
Nature傳感器新子刊第一篇論文出爐,中國青年學者聯手撰寫
北京航空航天大學:基于二維材料的可穿戴生物設備—從柔性傳感器到智能集成系統
可穿戴系列之全息無感化健康管理傳感器
奧迪威“AI+傳感器”方案引爆2025 Sensors Converge展會現場
賦能智慧未來:奧迪威“AI+傳感器”系列產品方案亮相2025 Sensors Converge
印刷傳感器在可穿戴健康監測設備中的應用
AI 時代,如何突破可穿戴設備的能效邊界??
Nature Sensors第2篇,院士團隊突破可穿戴傳感器技術限制
評論