傳感器內（In-sensor）計算可能會成為在小型設備（例如可穿戴醫療設備和物聯網設備）中部署機器學習（machine learning）的全新方法，這些設備必須在有限的能源資源下安全運行。該領域的進展已經放緩，因為難以找到使用物理自由度操作的合適計算設備，該物理自由度可以直接耦合到執行傳感的自由度。

據麥姆斯咨詢報道，近日，加拿大舍布魯克大學（Université de Sherbrooke）和拉瓦爾大學（Université Laval）的研究人員組成的團隊在Communications Engineering期刊上發表了題為“In-sensor human gait analysis with machine learning in a wearable microfabricated accelerometer”的論文，利用儲層計算（reservoir computing）作為自然架構，對物理系統的自由度進行機器學習，以表明微機電系統（MEMS）可以通過耦合懸浮微結構的位移來實現計算和加速度傳感。這項研究提出了一個可以附著在腳上實時識別人類受試者的步態模式的可穿戴系統。研究人員將該傳感器內計算系統的計算效率和功耗與具有單獨傳感器和數字計算機的傳統系統進行了比較。在計算能力相似的情況下，高度集成的傳感器內計算設備有望獲得更好的能效，從而為機器學習在邊緣計算設備中的普遍部署提供了一條途徑。

具有傳感和可訓練計算能力的MEMS設備

研究人員使用在機械域同時執行傳感和計算的MEMS加速度計來解決人類步態分類任務（圖1a-1c）。機械儲層計算機是利用兩端固支的薄硅梁的動態非線性來實現的，這與之前描述的器件類似。當微梁由足夠大的振蕩靜電力驅動時，其振蕩振幅表現出復雜的非線性動力學（圖2a和2b），以用于儲層計算。固支梁上的驅動靜電力是通過懸掛一個基準質量塊施加的，當對器件施加加速度時，該質量塊會移動（圖1a和2d）。驅動力的振幅隨基準質量塊與微梁平衡位置之間距離的變化而變化，系統參數的選擇使微梁振蕩的振幅成為基準質量塊位置（因此也是加速度，見圖1b）的復雜非線性函數。為了增加從微梁的振幅響應中生成的信號的復雜性，研究人員采用了一種反饋技術，即使用時分復用技術創建多個不同的虛擬響應，每個響應都是加速度的不同非線性函數。虛擬響應通過傳統電子器件進行定時采樣，以在每個時間間隔生成“激活值”向量。最后，傳統微控制器會在每個時間間隔計算該向量與訓練過的權重向量之間的標量乘積，從而得出步態類型的輸出分類（圖1b）。

圖1 MEMS步態分析系統概述

圖2 MEMS步態分析系統的機械響應

人體步態的傳感器內識別

通過將一個MEMS設備安裝在左腳上，研究人員將傳感器內計算應用于檢測四種不同的步態模式（N、TO、TL、TOTL）。這些步態模式的自動識別具有臨床意義，因為它可以通過使用實時生物反饋進行步態再訓練來用于治療某些肌肉骨骼疾病，例如膝骨關節炎。雖然步態模式識別可以在配備3D運動捕捉系統或使用多個慣性測量單元（IMU）的實驗室中進行，但由于本研究的目標是開發最簡單、成本最低、最不具干擾性的可穿戴設備，因此研究人員只使用了一個MEMS加速度計，這增加了任務的難度。

在這項研究中，十名健康受試者按照指示在跑步機上行走，同時在左腳鞋上安裝MEMS步態分析系統，并交替使用四種步態模式。

分類性能是通過計算受試者工作特征曲線（ROC）的曲線下面積（AUC）的平均值來評估的，該平均值是在四個分割上計算得出的（AUC為0.5相當于隨機分類器，而AUC為1.0相當于完美分類器）。ROC曲線示例見圖1c，MEMS步態分析系統性能表征見圖3。

圖3 傳感器內步態分類的性能

可穿戴設備的傳感器內計算

為了產生相關的技術影響，傳感器內計算設備需要在執行復雜計算時具有泛化能力，即它們必須能夠抵御訓練期間未見的輸入變化以及一定程度的噪聲。這種魯棒性是神經形態計算技術（包括儲層計算）的標志。此外，這些技術通?？梢詫鞲衅飨到y中的非線性進行建模，因此即使使用非理想傳感器，它們也能表現良好。這可以用來降低許多傳感器的設計要求，從而有可能降低其制造或校準成本。

本研究的原型設備作為純傳感器的性能（圖2d）與MEMS加速度計的最先進水平相去甚遠，在400 Hz帶寬內其靈敏度介于0.05 V/g到 0.1 V/g之間，還存在一些帶內諧振和其他問題。盡管如此，微梁儲層計算機能夠學習這些性能限制，并對步態模式進行分類，其效果與基于商用加速度計數據運行的神經網絡相媲美。圖3a顯示了MEMS步態分析系統與使用商用加速度計和在微處理器上執行的軟件ESN構建的傳統系統的分類性能的比較。從中可以看出，MEMS設備和ESN都學習了受試者和速度之間的可變性，以實現相似的分類性能，并且比線性分類器表現更好。

綜上所述，這項研究描述了一種既是加速度傳感器又是神經形態計算機的設備，它通過懸浮微結構的位移在機械域執行傳感和非線性計算功能。研究表明，這種可穿戴設備成功地實現了傳感器內計算的概念，僅利用一只腳測得的加速度，就能完成識別人體步態的艱巨任務。該設備能夠成功演示的最重要特性是其計算能力（線性分類器無法解決步態分類任務）、對數據變化和非理想傳感器行為的魯棒性、小尺寸和低功耗。這些特性是將傳感和神經形態計算功能集成到單個設備中的天然優勢。傳感器內計算的另一個好處是，傳感器數據永遠不會離開設備，也不會實際轉換到電子或數字域，從而提供了高級別的隱私保護，這對于醫療設備尤為重要。

這些對醫療設備非常重要的優勢對于物聯網應用中的邊緣計算設備來說也是非常理想的。在這些應用中，傳感器內計算可以進一步大幅減少邊緣傳感器傳輸的數據量，從信號的Nyquist頻率下的全（壓縮）帶寬降低到信號中相關特征的識別速率。除了能緩解物聯網應用中典型的數據擁塞問題外，還能大大延長邊緣傳感器的電池壽命，從而促進其在現場的大規模部署?？傊ㄟ^在機械域直接執行傳感和神經形態計算功能，本研究所提出的單個MEMS步態分析設備能夠解決復雜的現實世界任務，這可被視為在新興的可穿戴醫療設備和物聯網應用中廣泛部署傳感器和機器學習能力的一個重要里程碑。

論文鏈接：
https://doi.org/10.1038/s44172-024-00193-5

審核編輯：劉清