在很多科幻電影中經(jīng)常會(huì)出現(xiàn)以下炫酷的場(chǎng)景：無需鍵盤也能打字，無需控制器也可以玩電子游戲，無需方向盤也能駕駛汽車。

由加州大學(xué)伯克利分校（University of California at Berkeley）、蘇黎世IBM研究院（IBM Research Zurich）、博洛尼亞大學(xué)（University of Bologna）等多家研究機(jī)構(gòu)的的工程師們聯(lián)合開發(fā)出了一種新型可穿戴設(shè)備或許可以實(shí)現(xiàn)這些場(chǎng)景。該項(xiàng)研究以《A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition》為題，在線發(fā)表在 《Nature Electronics》上。

研究人員設(shè)計(jì)并開發(fā)的這種新型可穿戴設(shè)備通過將可穿戴生物傳感器與人工智能相結(jié)合，利用該設(shè)備可以獲取佩戴者前臂的電信號(hào)，根據(jù)電信號(hào)模式，識(shí)別出他計(jì)劃做出的手勢(shì)。研究人員表示，該設(shè)備有望用于控制假肢，并且可與各種類型的電子設(shè)備進(jìn)行交互。

對(duì)于該項(xiàng)技術(shù)，加州大學(xué)伯克利分校博士 Ali Moin 表示：“假肢是該項(xiàng)技術(shù)的重要應(yīng)用之一，它同時(shí)也提供了一種非常直觀的、可與計(jì)算機(jī)交互的方式。改善人機(jī)交互的方式有很多種，比如利用攝像頭和計(jì)算機(jī)視覺技術(shù)，而讀取手勢(shì)是一個(gè)很好的解決方案，同時(shí)，該種方式還可以保護(hù)個(gè)人隱私。”

引入機(jī)器學(xué)習(xí)模型進(jìn)行本地信號(hào)處理的系統(tǒng)具有許多優(yōu)勢(shì)，但同樣面臨著多種問題，在低功耗嵌入式處理器中，所使用的機(jī)器學(xué)模型通常需要事先進(jìn)行離線訓(xùn)練，如果訓(xùn)練達(dá)不到預(yù)期效果，模型的分類精度就會(huì)降低，導(dǎo)致性能欠佳或用戶體驗(yàn)不佳等問題。

為了解決當(dāng)前可穿戴生物傳感設(shè)備面臨的技術(shù)壁壘，Moin 等人通過檢測(cè)人體皮膚表面肌電圖（surface electromyography，sEMG），研發(fā)了可穿戴的高密度 sEMG 生物傳感系統(tǒng)。該可穿戴系統(tǒng)總重量為 26g，佩戴十分方便；系統(tǒng)所使用的電池為 3.7V、240mAh 的鋰離子電池，連續(xù)手勢(shì)識(shí)別續(xù)航時(shí)間長(zhǎng)達(dá) 6 小時(shí)。

sEMG 可穿戴生物傳感系統(tǒng)。a. 位于前臂上的設(shè)備；b. 絲網(wǎng)印刷過程的圖解；c. 定制設(shè)計(jì)的 16*4 電極陣列；d. 小型八層 PCB 電路板；e. 構(gòu)成可穿戴系統(tǒng)的主要組件的框架圖。

為了創(chuàng)建手勢(shì)識(shí)別系統(tǒng)，研究人員設(shè)計(jì)了一個(gè)靈活的臂帶。該臂帶可以讀取佩戴者前臂上 64 個(gè)不同點(diǎn)的電信號(hào)，并將電信號(hào)輸入到一個(gè)使用 AI 算法編程的電子芯片中。與其他人工智能算法一樣，該算法首先要“學(xué)習(xí)”手臂上檢測(cè)到的電信號(hào)，并與特定的手勢(shì)相關(guān)聯(lián)。要實(shí)現(xiàn)這一點(diǎn)，每個(gè)用戶都必須戴上臂帶，同時(shí)逐一做出手勢(shì)。

（學(xué)術(shù)頭條制作，素材來自 YouTube）

研究人員表示，該生物傳感系統(tǒng)穿戴體驗(yàn)還可以，并且可以提供快速的初始訓(xùn)練，自適應(yīng)性較強(qiáng)，這一特點(diǎn)對(duì)于可穿戴的人機(jī)界面應(yīng)用至關(guān)重要。然而，目前該系統(tǒng)所檢測(cè)的生理信號(hào)并不穩(wěn)定。

研究人員在該設(shè)備中使用超維計(jì)算（HDC）來實(shí)現(xiàn)傳感器中的自適應(yīng)學(xué)習(xí)，通過本地?cái)?shù)據(jù)實(shí)時(shí)訓(xùn)練、推理和模型更新，來適應(yīng)不斷變化的情境，對(duì)手勢(shì)分類進(jìn)行實(shí)時(shí)推斷的實(shí)時(shí)推斷。例如，如果設(shè)備佩戴者的手臂上有汗水或手臂舉過頭頂，與特定手勢(shì)相關(guān)的電信號(hào)會(huì)發(fā)生變化，HD 算法可以將這些新信息納入其模型。

Moin表示：“在手勢(shì)識(shí)別中，sEMG 信號(hào)會(huì)隨著時(shí)間的推移而改變，這可能會(huì)影響模型的性能，我們能夠通過更新設(shè)備上的模型來大大提高分類精度。”

研究中使用的手勢(shì)類別和 sEMG 記錄特征

上圖中，圖a為單自由度手勢(shì)子集包括單個(gè)手指的彎曲（flex.）和伸展（ext.）以及“休息”手勢(shì)。多自由度手勢(shì)子集包括涉及多個(gè)手指的等距手勢(shì)。圖b展示的是中指屈伸過程中所有64個(gè)通道的原始波形記錄。根據(jù)對(duì)參與者的指示，每個(gè)11秒鐘的手勢(shì)試驗(yàn)均分為1.5 s休息，2 s過渡到手勢(shì)，4 s保持期，2 s過渡到休息和1.5 s休息。波形的顏色表示sEMG的局部幅度。圖e是在所有單自由度手勢(shì)的執(zhí)行過程中，三種比較系統(tǒng)在所有通道的總信噪比分布。陰影區(qū)域是信噪比值的概率密度直方圖。直線是符合分布的高斯核。向下的三角形代表中值。

編碼的時(shí)空超向量（spatiotemporal hypervectors）既可以用作創(chuàng)建或更新模型的訓(xùn)練示例，也可以用作使用訓(xùn)練后的模型進(jìn)行推理的查詢。研究人員將這些原型超向量存儲(chǔ)在關(guān)聯(lián)存儲(chǔ)器（AM）中，這是一次完全前饋操作，只需傳遞一次訓(xùn)練數(shù)據(jù)即可（下圖a）。 這與其他受神經(jīng)啟發(fā)的方法形成對(duì)比，在其他方法中，訓(xùn)練通常采用復(fù)雜的迭代框架，并且比分類對(duì)計(jì)算的要求更高。

用于訓(xùn)練、訪問和上下文更新的AM操作

研究人員比較了該項(xiàng)技術(shù)在基準(zhǔn)環(huán)境中實(shí)時(shí)進(jìn)行傳感器內(nèi)分類性能。如下圖所示。

在基準(zhǔn)環(huán)境中實(shí)時(shí)進(jìn)行傳感器內(nèi)分類性能

上圖a展示了在基線上下文測(cè)試的4 s保持期內(nèi)，用于實(shí)時(shí)實(shí)驗(yàn)的分類混淆矩陣。白色文本值是正確預(yù)測(cè)的百分比，紅色文本值是錯(cuò)誤預(yù)測(cè)的百分比。灰度彩色背景代表預(yù)測(cè)類別的比例。圖b為四種手勢(shì)試驗(yàn)的實(shí)時(shí)預(yù)測(cè)輸出示例。對(duì)于每個(gè)手勢(shì)測(cè)試，最上方的圖表顯示所有通道在50毫秒段內(nèi)計(jì)算出的特征。底部圖顯示了相對(duì)于試用時(shí)間的20 Hz分類結(jié)果。紫色豎線表示在第一個(gè)過渡時(shí)期中離線計(jì)算的手勢(shì)開始，在第二個(gè)過渡時(shí)期中表示手勢(shì)偏移。預(yù)測(cè)的垂直位置表示手勢(shì)類別，并且基于相對(duì)于脫機(jī)估計(jì)的地面真相標(biāo)簽的準(zhǔn)確性，對(duì)預(yù)測(cè)進(jìn)行顏色編碼。

圖c展示了在所有基線上下文測(cè)試中，手勢(shì)開始對(duì)齊（左）和偏移對(duì)齊（右）的預(yù)測(cè)統(tǒng)計(jì)數(shù)據(jù)。前13行中的每一行均顯示給定手勢(shì)的平均20 Hz分類結(jié)果，其中深色塊表示較高的比例。綠色方框表示正確的預(yù)測(cè)；紅色塊表示錯(cuò)誤的預(yù)測(cè)。底部圖顯示了相對(duì)于開始時(shí)間和偏移時(shí)間，正確（綠色）和錯(cuò)誤（紅色）分類隨時(shí)間的百分比。

傳感器內(nèi)訓(xùn)練，更新和分類結(jié)果

上圖為傳感器內(nèi)訓(xùn)練，更新和分類結(jié)果。每個(gè)實(shí)驗(yàn)有兩名參與者進(jìn)行三次。條形表示所有六個(gè)試驗(yàn)的平均準(zhǔn)確度，每個(gè)試驗(yàn)的數(shù)據(jù)點(diǎn)重疊。a.用新的手勢(shì)更新HD分類模型的能力。最初的模型只在單自由度手勢(shì)上進(jìn)行訓(xùn)練和測(cè)試（黃條）。模型隨后更新為多自由度手勢(shì)，以覆蓋所有21個(gè)手勢(shì)（綠色條）。還顯示了僅通過多自由度手勢(shì)進(jìn)行訓(xùn)練和測(cè)試的單獨(dú)模型的結(jié)果（藍(lán)色條）。b，使用單自由度手勢(shì)更新HD分類模型的能力。對(duì)于三種不同的上下文變化（手臂位置、新磨損和長(zhǎng)時(shí)間磨損），在初始上下文（步驟1）上訓(xùn)練初始模型，并在初始上下文（步驟2）和新上下文（步驟3）上測(cè)試（實(shí)心條）。然后，模型在新的環(huán)境（第4步）中使用每個(gè)手勢(shì)的單一試驗(yàn)來更新（第5步和第6步），并在兩種環(huán)境（條紋條）中再次測(cè)試（第5步和第6步）。更新的模型只在新的磨損階段和長(zhǎng)時(shí)間磨損實(shí)驗(yàn)的新上下文中測(cè)試，因?yàn)榕f的上下文不再可用。

通過模型訓(xùn)練，該系統(tǒng)成功識(shí)別了 21 個(gè)單獨(dú)的手勢(shì)，包括豎起大拇指、握拳、平手、舉起單個(gè)手指和數(shù)數(shù)字。

該設(shè)備的另一個(gè)優(yōu)點(diǎn)是，所有的數(shù)據(jù)運(yùn)算都在設(shè)備中集成的芯片上進(jìn)行，無需將個(gè)人數(shù)據(jù)傳送到附近的電腦或設(shè)備上，這不僅加快了計(jì)算速度，還確保了個(gè)人生物數(shù)據(jù)的私密性。

論文通訊作者之一、加州大學(xué)伯克利分校Jan Rabaey教授 表示：“當(dāng)亞馬遜或蘋果公司創(chuàng)建他們的算法時(shí)，他們會(huì)在云端運(yùn)行一堆軟件來創(chuàng)建模型，然后將模型下載到設(shè)備上。但是，在設(shè)備的使用過程中，往往會(huì)被所輸入的特定模型所困。而我們?cè)O(shè)計(jì)的算法在設(shè)備就能完成學(xué)習(xí)的過程，而且它的速度極快，你只需要執(zhí)行一次，它就會(huì)開始做這項(xiàng)工作。你做的次數(shù)越多，設(shè)備的性能就會(huì)變得越好。”
責(zé)任編輯人：CC