使用創(chuàng)新手套的物體操縱從而獲得詳細(xì)壓力圖的大型數(shù)據(jù)庫。這些數(shù)據(jù)可能會導(dǎo)致機(jī)器人感應(yīng)的進(jìn)步以及我們對觸摸在操縱中的作用的理解。

人類感知能力的研究和復(fù)制，例如視覺，聽覺和觸覺（基于觸摸）的感知，取決于合適數(shù)據(jù)的可用性。通常，數(shù)據(jù)集越大越豐富，模型越能模仿這些功能。人工視覺和語音系統(tǒng)的進(jìn)步依賴于強(qiáng)大的模型，稱為深度學(xué)習(xí)模型，并且由無處不在的數(shù)字圖像和語音音頻數(shù)據(jù)庫推動。相比之下，觸覺傳感器的發(fā)展（將物理接觸刺激轉(zhuǎn)換為可測量信號的設(shè)備）的進(jìn)展受到限制，這主要是因為難以將電子設(shè)備集成到柔性材料中。在Nature的一篇論文中，Sundaram 等報告了他們使用低成本觸覺手套來解決這個問題。

作者的手套由一個手形傳感套管組成，該傳感套管連接在針織手套的手掌側(cè)（圖1）。套筒包含力敏膜，在該膜上縫制64個導(dǎo)電線網(wǎng)絡(luò)：沿手套的一個方向32個，沿垂直方向32個。這些螺紋重疊的548個點(diǎn)中的每一個是壓力傳感器，因為當(dāng)按壓這些點(diǎn)時，交錯膜的電阻減小。手套的輸出可以作為32×32灰度像素陣列處理，其中每個像素的顏色表示從低（黑色）到高（白色）的施加壓力。這些壓力圖以每秒約七幀的速度記錄。

圖片來源：Subramanian Sundaram

圖1 |一種低成本的人造手套。Sundaram 等人描述了一種手套，其由附接到針織手套（黃色）的手形感測套筒（黑色）組成。套筒包含力敏膜，在該膜上縫制導(dǎo)電線（銀）網(wǎng)絡(luò)。這些螺紋重疊的點(diǎn)形成壓力傳感器。作者表明，在對象操作期間由這些傳感器收集的壓力圖使機(jī)器學(xué)習(xí)模型能夠?qū)W習(xí)識別單個對象，估算對象的權(quán)重并區(qū)分不同的手部姿勢。

在Sundaram及其同事的研究中，手套被用來記錄幾個壓力圖的視頻，這些視頻是在3-5個單獨(dú)操作26個日常物品的過程中進(jìn)行的。這個程序產(chǎn)生了一個詳細(xì)的壓力圖數(shù)據(jù)庫，據(jù)我所知，這是最大的數(shù)據(jù)集之一。作者發(fā)現(xiàn)，盡管制造成本僅為10美元左右，但手套具有柔韌性，堅固性和對小壓力變化的敏感性。

為了證明手套捕獲手與每個物體的不同相互作用，Sundaram 等人。使用記錄的數(shù)據(jù)進(jìn)行自動對象識別。他們展示了最初設(shè)計用于大規(guī)模圖像分類的最先進(jìn)的深度學(xué)習(xí)模型如何從聚集的壓力圖中學(xué)習(xí)，以便在盲目操作期間重新識別26個物體。大量的地圖及其空間分辨率對于成功識別物體至關(guān)重要。

接下來，作者使用手套拾取物體，并表明類似的深度學(xué)習(xí)模型可以估計未知物體的重量。在不同的手部姿勢下也佩戴手套，并且傳感器讀取的信號足夠詳細(xì)以區(qū)分每個姿勢。最后，Sundaram及其同事通過觀察信號相關(guān)性分析了在物體抓取過程中不同手套區(qū)域之間的協(xié)作。

除了提供人類掌握的充分研究原理的實驗證據(jù)之外，這種數(shù)據(jù)驅(qū)動的探索可以提高我們對物體操縱過程中觸摸功能的理解。深度學(xué)習(xí)模型極大地提高了我們對視覺對象識別的神經(jīng)機(jī)制的認(rèn)識。在這方面，類似的方法可以應(yīng)用于解釋大腦中的觸覺信息處理。

Sundaram及其同事在物體操縱過程中同時產(chǎn)生壓力圖和相應(yīng)的手部照片，產(chǎn)生大量同步的視覺和觸覺信息。多種形式的感官知覺的數(shù)據(jù)集是不常見的，并且代表了多感覺整合系統(tǒng)發(fā)展的基本步驟，以及對大腦如何形成對環(huán)境的連貫感知的理解。

這種柔性傳感裝置可具有各種應(yīng)用。例如，在醫(yī)療診斷，個人健康護(hù)理和運(yùn)動中。但它也可能影響主動（外部動力）假肢和機(jī)器人手的發(fā)展。觸覺反饋在控制手部運(yùn)動至關(guān)重要的作用和施加的力，使得缺乏這些信息使得它具有挑戰(zhàn)性的人類和機(jī)器人實現(xiàn)穩(wěn)定的抓取。此外，觸覺直接實現(xiàn)了針對物體識別和定位的觸覺探索。眾所周知，提供具有觸覺反饋的主動假體可以有助于減輕幻肢痛（從肢體缺失的感覺），增加對假體的主人翁感并減少控制裝置所涉及的認(rèn)知壓力，實現(xiàn)更自然的行動。

觸覺傳感器可以被并入包圍假肢的手套，或直接固定到機(jī)械部件。在這方面，Sundaram及其同事的設(shè)備技術(shù)可以適應(yīng)各種形狀，以便整合到機(jī)器人或假肢中。目前，主要限制是手套所需的密集傳感器覆蓋的缺點(diǎn)。一個缺點(diǎn)是廣泛的布線，盡管作者使用行和列的設(shè)計來保持這種布線合理的約束。另一方面是記錄壓力圖的速率，根據(jù)應(yīng)用可能需要更高（例如，如果觸覺反饋用于控制機(jī)器人手）。盡管如此，我認(rèn)為目前形式的手套或其改進(jìn)版本為機(jī)器人應(yīng)用提供了令人興奮的前景。

一種新興的機(jī)器學(xué)習(xí)模型已經(jīng)被證明在模仿人類學(xué)習(xí)從經(jīng)驗中執(zhí)行行動的能力方面是有效的，這一過程稱為強(qiáng)化學(xué)習(xí)。在過去的幾年里，研究人員在物體操縱過程中使用了特殊的手套來記錄手部姿勢數(shù)據(jù)，并將這些記錄的經(jīng)驗輸入到一個模型中，該模型從這些數(shù)據(jù)中學(xué)習(xí)以產(chǎn)生成功的操作。這種將人類經(jīng)驗轉(zhuǎn)化為機(jī)器人的方法可以從使用Sundaram及其同事的數(shù)據(jù)采集手套中受益。

最后，目前的研究為幾種計算機(jī)視覺模型重新用于觸覺信號處理鋪平了道路，允許應(yīng)用數(shù)十年的計算機(jī)視覺研究。這種方法提供了許多好處，例如消除了涉及模型選擇的各種問題，這些問題在早期階段減緩了深度學(xué)習(xí)的進(jìn)展。因此，Sundaram及其同事的手套可以導(dǎo)致觸覺傳感的快速發(fā)展。我相信手套的低成本將有助于復(fù)制和共享用于制造設(shè)備和數(shù)據(jù)采集設(shè)置的方法。這將促進(jìn)在觸覺傳感研究中使用大型和標(biāo)準(zhǔn)數(shù)據(jù)集，而這目前是計算機(jī)視覺的主要限制因素。