新加坡南洋理工大學（NTU新加坡）的科學家開發了一種人工智能（AI）系統，該系統通過將類似皮膚的電子設備與計算機視覺結合起來來識別手勢。

在過去的十年中，人工智能系統對人的手勢的識別已成為一項有價值的發展，并且已被高精度的外科手術機器人，健康監測設備和游戲系統采用。

通過整合可穿戴式傳感器的輸入，改進了最初僅用于視覺的AI手勢識別系統，這種方法稱為“數據融合”。可穿戴式傳感器可重建皮膚的感知能力，其中之一被稱為“體感”。

但是，手勢識別精度仍然受到可穿戴式傳感器提供的數據質量低的困擾，這通常是由于它們的體積大，與用戶的接觸不良以及視覺上受阻的物體和光線不足的影響。視覺和感官數據的集成帶來了進一步的挑戰，因為它們代表了不匹配的數據集，必須分別處理然后在最后合并，這效率低下，導致響應時間變慢。

為了應對這些挑戰，NTU團隊創建了一個“生物啟發”的數據融合系統，該系統使用由單壁碳納米管制成的類似于皮膚的可拉伸應變傳感器，以及一種類似于皮膚的感知和視覺處理方式的AI方法。大腦。

NTU科學家通過在一個系統中結合三種神經網絡方法來開發他們的生物啟發式AI系統：他們使用了“卷積神經網絡”，這是一種用于早期視覺處理的機器學習方法，是一種多層神經網絡，用于早期的體感信息處理，和“稀疏神經網絡”將視覺和體感信息融合在一起。

結果是該系統可以比現有方法更準確，更有效地識別人的手勢。

該研究的主要作者，南大材料科學與工程學院的陳曉東教授說：“我們的數據融合架構具有其自身獨特的生物啟發特征，其中包括類似于人體感覺-視覺融合層次的人工系統。大腦。我們相信這些功能使我們的架構對于現有方法而言是獨一無二的。”

“與剛性穿戴式傳感器相比，剛性穿戴式傳感器與用戶之間無法形成足夠緊密的接觸以準確收集數據，我們的創新技術使用可拉伸的應變傳感器，可舒適地貼附??在人體皮膚上。這可實現高質量的信號采集，這對于高強度采集至關重要精確識別任務”，同時也是南大柔性設備創新中心（iFLEX）主任的陳教授說。

由NTU新加坡和悉尼科技大學（UTS）的科學家組成的團隊于6月在科學期刊《自然電子》上發表了他們的發現。

為了從手勢捕獲可靠的感官數據，研究團隊制造了一種透明的，可拉伸的應變傳感器，該傳感器附著在皮膚上，但在相機圖像中看不到。

作為概念證明，該團隊使用通過手勢控制的機器人測試了他們的生物啟發式AI系統，并引導其通過了迷宮。

結果表明，與基于視覺的識別系統產生的六個識別錯誤相比，由生物啟發的AI系統提供動力的手勢識別能夠以零錯誤引導機器人穿越迷宮。

當新的AI系統在惡劣條件下（包括噪音和不利的照明條件）進行測試時，也保持了較高的準確性。人工智能系統在黑暗中有效工作，識別準確率高達96.7%。

該研究的第一作者，新加坡南大材料科學與工程學院的王明博士說：“我們的體系結構的高精度背后的秘密在于，視覺和體感信息可以相互作用并相互補充。因此，該系統可以合理地收集具有較少冗余數據和較少感知模糊性的連貫信息，從而提高準確性。”

德國馬克斯·普朗克膠體與界面研究所所長Markus Antonietti教授發表了獨立的見解，他說：“本文的發現使我們向更智能，更受機器支持的世界邁出了一步。就像智能手機的發明一樣這場革命給社會帶來了革命，這項工作使我們寄希望于我們有一天能夠通過手勢以極大的可靠性和精確性來物理控制我們周圍的整個世界。”

“在市場上，支持這種未來的技術只是無窮無盡的應用。例如，從對智能工作場所的遠程機器人控制到老年人的外骨骼。”

NTU研究團隊正在尋求基于開發的AI系統構建VR和AR系統，用于需要高精度識別和控制的領域，例如娛樂技術和家庭康復。