這是一款便攜式獨立神經假肢系統，戴上之后，原本截掉手臂、失去手指的患者，可以像正常人一樣玩電子游戲。

這不是簡單的機械手，而是深度學習和機械臂硬件的結合。近年來，深度學習在分析、解釋和解碼生物醫學數據方面的應用正在穩步發展。在迅速發展的腦機接口和神經假體領域，基于深度學習的神經解碼器已成為創造下一代靈巧、易操作的神經假體的最被看好的方法。

簡單來說，神經解碼器就是一種能夠識別大腦神經活動的人造裝置。對于因神經系統受損而無法正常控制肢體的人來說，它可以解碼大腦活動，傳遞大腦向肢體發出的控制指令，從而實現對配套神經假肢的操控。

相比普通假肢，神經假肢可以由 “意念” 控制，也就是直接接受大腦發出的指令，顯然更加靈活且符合人類的直覺。

隨著人工智能和深度學習技術的發展，科學家開始嘗試將其應用在各個領域，假肢控制也不例外，以主流 CNN 和 RNN 等神經網絡為基礎的算法都能用來驅動神經解碼器。

不過，高性能深度學習模型對硬件的運算能力提出了很高的要求，而且通常依賴 GPU 以支撐其大規模的并行運算。這不僅對縮小硬件尺寸和降低功耗提出了挑戰，更是限制了假肢及其神經解碼系統的便攜性和易用性，使其難以應用在臨床上。

為了解決這一問題，美國明尼蘇達大學楊知教授的研究團隊開發出本次便攜式獨立神經假肢系統，主要部件包括基于深度學習的神經解碼器，英偉達 Jetson 邊緣計算套件，Neuronix 神經接口微芯片，連接神經纖維的束內微電極陣列，定制的 PCB 電路板和 i-Limb 機械手。

多年成果融為一體

除了英偉達 Jetson 套件，電極陣列和機械手部分組件，剩下的成果或是最新努力，或是研究團隊成員此前完成的成果，一步步積累和融合成了今天的樣子。研究成果以預印本的形式發表于 Arxiv 上。

Scorpius 系統由 Neuronix 神經芯片，電極連接器，穩壓器和 Microsemi 的現場可編程門陣列（FPGA）等組件構成。每套系統包含八個記錄信道，并且配有頻率整形放大器和高精度模數轉換器，可以捕捉極其微弱的神經信號并排除干擾信號。如果需要更多的通道數量，還可以部署多個設備。

最終，組合而成的機械手可以套在殘臂上，參與測試的殘障人士成功實現了用意念控制機械手指，做出握拳、拿捏、指向、搖滾等手勢，系統也可以準確識別其控制的是哪根手指。

此外，給正常人的小臂植入電極后，機械手也可以捕捉神經控制信號，實現隔空遙控。

“據我們所知，這是最先進的、通過將基于深度學習的神經解碼器和便攜式計算平臺結合，從而實現神經假肢。” 研究人員在論文中表示。

為了實現對機械手的操控，研究人員必須先捕獲并解碼大腦傳遞出的神經信號。

楊知告訴 DeepTech，將深度學習和硬件結合，并將其應用于疾病治療，是本次成果的亮點。其主要涉及的技術是神經解碼，這在古代叫做 “讀心術”，即搞清楚一個人的內心想法。人類的思考和行動是基于大量的神經活動。這些活動會在體內留下痕跡，比如產生微弱的電信號。這時就可用到深度學習的優勢，其優點在于可根據大量的電信號，來產生類似黑盒子的計算模型，從而映射出信號和結果之間的關系。

硬件方面，他們使用了一套名為 Scorpius（天蝎座）的神經接口系統，是論文作者 Anh Tuan Nguyen 和 Jian Xu 等人在 2020 年發表的研究成果。

該系統隨后會將捕捉到的原始神經數據實時傳輸給 Jetson Nano 套件。

Jetson 平臺是英偉達專為邊緣計算開發的 AI 平臺，其中的 Nano 系列套件自帶 Tegra X1 片上系統（SoC），配有 ARM A57 四核 CPU 和 128 核英偉達 Maxwell GPU。

經過研究人員的定制，該套件可以運行經過訓練的深度學習模型，負責將神經信號實時翻譯成對應的大腦指令，例如要控制哪根手指，做出什么樣的動作。它能在 10W 和 5W 功率模式下分別運行 2 小時和 4 小時。

機械手本身使用了 ?ssur 公司的 i-Limb 產品，不過原裝驅動被研究人員替換成了自己開發的手部控制單元，可以直接接收深度學習模型發出的指令并操控手指內的電機。

在數據處理方面，研究人員用 Python 實現了三個線程，分別用于數據獲取、數據預處理和電機解碼。

數據獲取線程負責從兩個或更多的 Scorpius 設備上獲取數，并且將它們與對應的信道對齊。對齊后的神經數據會被輸入預處理線程，經過過濾和降采樣后，再提取其中包含的特征。

研究人員一共定義了 14 種特征函數，提取出的特征數據會被放入 LIFO（后進先出）序列中，所有數據都會被實時傳輸到電機解碼線程中。處理不了或來不及處理的神經數據會被直接丟棄，以確保解碼線程能夠始終接收到最新的數據。

在電機解碼的過程中，會基于最新的特征數據進行深度學習推理，使用的深度學習模型是 RNN 架構，每個模型包含 160 萬個參數。

該設備最多支持同時部署五個模型，每個負責一根或更多根手指動作的解碼。在實驗中，所有模型都有一樣的架構，但使用了不同的數據集進行訓練，實現了對特定手指及其動作的優化。

最終的解碼結果會輸出到手部控制器上，驅動手指上的電機執行相應的指令。

手勢識別準確率超 95%

在實際測試中，研究團隊分別對殘障人士和正常人進行了測試。楊知告訴 DeepTech，本次論文中展示的受試者，在 14 年前的一次事故中，失去了左手大拇指以外的四個手指，接下來的 8 年中他忍受著長期的神經痛，夜里經常會被痛醒，直到把整個左小臂截肢，疼痛才得到緩解。3 年前，他加入本次研究小組的測試項目，楊知評價他 “又無私又勇敢”。

植入設備后，他可以自由控制義肢，包括其各個手指，同時可對義肢產生感知，就好像變成了身體的一部分。。

這位受試者告訴楊知：“這個技術如果變成產品，就會有很多栩栩如生的功能，能讓他做各種不同的日常工作，就好像使用自己另一只完好的手一樣。”

結果現實，在只使用一個模型的情況下，10W 功率配置的機械手延遲不到 50ms，隨著模型部署數量提升，延遲最多增加到 120ms 左右 —— 這個程度的延遲是可以感受到的，但對手指的可控程度和靈活性不會有太大影響。

如果降低到 5W 功率，其最大延遲會增加約一倍至 220ms 左右，考慮到設備的尺寸、功耗和成本，這個響應速度也是可以接受的。

在識別準確率方面，深度學習模型的準確率可以穩定在 95%-99% 之間，其中識別健全人五指活動的準確率均超過 97%，而識別殘障人士五指活動的準確率也超過 95%，表現亮眼。

“我們發現殘障人士的食指識別準確率偏低，這是由較低的神經信號噪聲比導致的，” 研究人員表示，“在實際操作中，我們可以引入更多的訓練或者訓練一個模型專門控制食指。”

為了測試機械手在日常生活中的表現，研究團隊讓一名殘障人士在多個場景下操作該設備。結果顯示它的表現并未受到 Wi-Fi、手機和電子設備的干擾，可以持續穩定的工作。

“我覺得如果這個設備經過更好地調試，以一個消費級產品問世時，它將會具備更多的功能，能（讓我）在未經思考的情況下完成許多日常操作，” 測試者表示，“當我想夠到和拿起東西的時候，我也不需要刻意地去操作它，就像我的真手一樣。我相信它能實現這一點。”

當然，目前的模型還存在一些不足，在判斷一些手勢時容易混淆，比如握拳 VS 豎起大拇指。

未來，研究團隊計劃進一步優化軟件和完善硬件，包括優化神經網絡模型，采用真正的多線程來避開 Python 的全局解釋器鎖，強化 Jetson 的深度學習推理能力，采用在線電機解碼優化等等，從而在便攜的基礎上實現更低延遲、更高精度的實時控制。

未來投入應用后，病人使用就像配眼鏡一樣，驗光之后配置度數合適的鏡片和鏡架。同樣，給病人配置合適的機械臂和神經解碼器，也是一樣的思路。

目前，團隊已成立公司對該設備進行成果轉化，首先將用于治療殘疾人的疼痛。楊知表示，該神經解碼技術已幫助參與實驗的受試者們，減輕或治愈他（她）們的疼痛。

用患者的話說，”有了這個系統，我們可以看到我的痛苦是可以量化的，并且可以做些什么……這是對生活的巨大改善……它幾乎無可估量地改善了我的生活質量，達1000％。” 楊知還表示神經解碼技術還可以用于治療更多的疾病。一旦通過美國FDA和中國相關審批，該技術將產生一個新的醫療器械市場，涵蓋很多現在不能被藥物和手術治愈的疾病。

原文標題：可“意念”控制的神經假肢誕生！手勢識別準確率超 95%，可讓患者像正常人一樣打游戲 | 專訪

文章出處：【微信公眾號：DeepTech深科技】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq