新加坡國立大學的研究人員最近展示了使用神經形態傳感器融合來幫助機器人抓取和識別物體的優勢。

這只是他們一直在從事的許多有趣項目之一，包括開發用于傳輸觸覺數據的新協議、構建神經形態觸覺指尖以及開發新的視覺觸覺數據集以開發更好的學習系統。

由于該技術使用地址事件和尖峰神經網絡，因此它非常節能：使用英特爾 Loihi 神經形態芯片之一的功率比 GPU 高 50 倍。然而，這項工作特別優雅的地方在于，它為神經形態技術指明了道路，作為一種有效集成并從中提取意義的手段，用于功率受限系統中的復雜任務的許多不同傳感器。

他們使用的新型觸覺傳感器NeuTouch由 39 個taxel（觸覺像素）陣列組成，并且使用基于石墨烯的壓阻層來轉換運動；你可以把它想象成機器人指尖的前面。它覆蓋著一種名為 Ecoflex 的人造皮膚，有助于放大刺激，并由 3D 打印的“骨頭”支撐。然后可以將指尖添加到夾具中。

但這些傳感器的新穎之處在于它們傳達信息的方式。這不是連續完成的，每個傳感器在給定的時間步長中順序報告其狀態，因為這太慢了。傳感器陣列也不是網狀布置的，因為——盡管對許多電子系統來說很好——但對于他們試圖創造的健壯的機器人皮膚來說風險太大了；如果皮膚受損，它可能會占用太多傳感器。

相反，Benjamin Tee 和他的同事開發了異步編碼電子皮膚，或 ACES。

這使用單個導體從（可能）數萬個受體攜帶信號。該技術與地址事件表示 (AER) 有一些相似之處，因為傳感器確實使用事件。本質上，如果傳感器上的壓力變化超過某個閾值，則每個傳感器都會發出正或負尖峰信號。與 AER 一樣，這些峰值僅根據現實世界中發生的情況異步發送；沒有時鐘來調節它們。但是，它不是點對點路由，而是多對一網絡。每個傳感器的“尖峰”實際上是唯一的代碼（一系列尖峰），因為尖峰既是異步的又是相對備用的，它們可以沿著單根導線傳播，然后再去相關成單獨的尖峰序列。

五味雜陳

在他們去年發表的實驗中，該小組能夠將來自觸覺陣列內的壓力和溫度傳感器的數據結合起來，但從那時起，他們就能夠展示出更復雜的傳感器融合。具體來說，Harold Soh 的小組將 NeuTouch 指尖與基于 Prophesee 事件的視覺傳感器結合起來，并使用生成的數據（單獨和一起）來訓練近似反向傳播的基于尖峰的網絡 [2]。

圖 1. 配備 Prophesee 攝像頭和 NeuTouch 增強型夾持器的機器人準備拿起下方的豆漿盒。額外的攝像機跟蹤實驗，但它們的數據不用于分類任務。（來源：新加坡國立大學）

在經過訓練可以拾取裝有不同數量液體的各種容器（例如罐頭、瓶子和圖 1 中所示的豆漿）后，機器人不僅能夠確定它所舉的東西，而且能夠確定（在 30 克以內）有多少它稱重。

您可以在下面看到該作品的精彩視頻（并且非常安全！）。

視覺傳感器數據能夠比研究人員預期的更成功地自行對物體進行分類：由于容器的透明度和它們的變形方式，物體的重量是可見的。盡管如此，觸覺數據確實提高了準確性。

然而，也許更重要的是，兩個傳感器的組合在進行所謂的滑動測試時為機器人提供了真正的優勢。在這里，機器人被制造的壓力不足以安全地承受物體的重量，因此它有下降的趨勢。在這里，觸覺和視覺數據的使用似乎確實有助于快速識別滑倒（見圖 2）。

圖 2. 滑倒任務中組合視覺/觸覺數據的加權尖峰計數（物體掉落是因為沒有用足夠的力握住它）提高了機器人在早期階段（大約 0.03 秒）發生滑倒的確定性）。這可能會提高機器應對任何后果的機會。（來源：新加坡國立大學）

這部分歸功于他們在模型中使用的稱為加權尖峰計數的數量，以鼓勵早期分類。從功能上講，這可以提高機器的反應時間，使其有更好的機會將物體掉落的可能性和后果降至最低。

該小組已將他們的數據集提供給可能想要改進所用學習模型的其他研究人員。

電源優勢

對于這些實驗，訓練是使用傳統技術完成的，但網絡隨后在英特爾 Loihi 芯片上運行。公布的結果顯示能效提高了 50 倍，但已經有所改進。

根據新加坡國立大學的 Harold Soh 的說法，自從論文發表以來，“……我們一直在微調我們的神經模型和分析。與 GPU 相比，我們最新的滑動檢測模型在神經形態硬件上運行時使用的功率降低了 1900 倍，同時保持推理速度和準確性。我們現在的重點是將這種低級性能轉化為更高級別任務的更好機器人行為，例如對象拾取和放置和人機切換。更廣泛地說，我們相信事件驅動的多感官智能是邁向值得信賴的機器人的重要一步，我們覺得使用它很舒服?！?/p>

參考

[1] WW 李等人。, “用于可擴展電子皮膚的受神經啟發的人工周圍神經系統”，Sci。機器人。, 卷。4，沒有。2019 年 3 月 32 日，doi：10.1126/scirobotics.aax2198。

[2] F. Gu、W. Sng、T. Taunyazov 和 H. Soh，“TactileSGNet：用于基于事件的觸覺對象識別的尖峰圖神經網絡”，2020 年，[在線]。可用：http://arxiv.org/abs/2008.08046。

審核編輯 黃昊宇