隨著機(jī)器人技術(shù)從“預(yù)設(shè)程序執(zhí)行”向“具身智能交互”發(fā)展，機(jī)器人與環(huán)境的物理交互能力成為制約其自主性與適應(yīng)性的關(guān)鍵瓶頸。觸覺(jué)感知作為機(jī)器人理解物體屬性、實(shí)現(xiàn)精細(xì)操作、保障人機(jī)安全的核心傳感方式，其重要性日益凸顯。然而，當(dāng)前機(jī)器人的觸覺(jué)系統(tǒng)在感知維度、分辨率和信號(hào)理解能力上仍遠(yuǎn)遜于人類(lèi)，難以支撐復(fù)雜、動(dòng)態(tài)的真實(shí)場(chǎng)景任務(wù)。 近日，清華大學(xué)深圳國(guó)際研究生院丁文伯團(tuán)隊(duì)聯(lián)合多所研究機(jī)構(gòu)，從鴿子卓越的多光譜視覺(jué)與非成像感知機(jī)制中汲取靈感，提出一種仿生多模態(tài)觸覺(jué)傳感器（SuperTac），將多光譜成像、摩擦電傳感與慣性測(cè)量融為一體，并通過(guò)構(gòu)建觸覺(jué)語(yǔ)言模型（DOVE）實(shí)現(xiàn)觸覺(jué)信號(hào)的理解與推理，旨在推動(dòng)機(jī)器人觸覺(jué)感知向“人類(lèi)水平”邁進(jìn)，為智能制造、醫(yī)療輔助與服務(wù)機(jī)器人等領(lǐng)域提供新一代觸覺(jué)解決方案。相關(guān)成果發(fā)表在Nature Sensors第一期上，也是國(guó)內(nèi)機(jī)構(gòu)首次以第一單位發(fā)表在該期刊上的文章。

圖1Nature Sensors封面圖，SuperTac在封面上展示（右下角）

01

研究背景

在觸覺(jué)傳感技術(shù)領(lǐng)域，現(xiàn)有主流方案主要包括電子皮膚與視觸覺(jué)傳感器兩類(lèi)，但均存在顯著不足：

電子皮膚傳感器雖能通過(guò)多功能材料實(shí)現(xiàn)多模態(tài)感知，但提升空間分辨率需依賴(lài)密集電極陣列，易導(dǎo)致信號(hào)串?dāng)_、系統(tǒng)復(fù)雜、穩(wěn)定性下降，難以兼顧高分辨率與多模態(tài)融合;

視觸覺(jué)傳感器通過(guò)光學(xué)成像實(shí)現(xiàn)亞毫米級(jí)分辨率，易于與計(jì)算機(jī)視覺(jué)模型結(jié)合，但其感知譜段通常局限于可見(jiàn)光，缺乏對(duì)溫度、材質(zhì)、接近感等非成像模態(tài)的融合能力，限制了其在多物理場(chǎng)環(huán)境中的全面感知;

當(dāng)前觸覺(jué)系統(tǒng)普遍面臨觸覺(jué)信號(hào)解讀能力薄弱的問(wèn)題，缺乏能夠融合多模態(tài)觸覺(jué)信息并進(jìn)行語(yǔ)義推理的智能模型，導(dǎo)致機(jī)器人“有感無(wú)知”，難以實(shí)現(xiàn)類(lèi)人的觸覺(jué)認(rèn)知與交互決策。

02

研究貢獻(xiàn)

本研究構(gòu)建的多模態(tài)觸覺(jué)傳感系統(tǒng)包含三大核心組件：仿生多模態(tài)觸覺(jué)傳感器（SuperTac）、數(shù)據(jù)處理與特征提取模塊、以及觸覺(jué)語(yǔ)言模型理解推理層（DOVE）。系統(tǒng)架構(gòu)采用分層設(shè)計(jì)，實(shí)現(xiàn)了從物理信號(hào)采集到語(yǔ)義理解的全流程閉環(huán)處理。系統(tǒng)的具體工作流程如下：

物理信號(hào)感知層：SuperTac通過(guò)多層感知皮膚同步采集多光譜視覺(jué)、摩擦電和慣性測(cè)量信號(hào)；

數(shù)據(jù)融合處理層：基于深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)原始信號(hào)進(jìn)行特征提取和模態(tài)融合；

語(yǔ)義理解推理層：DOVE模型將多模態(tài)特征映射到語(yǔ)義空間，實(shí)現(xiàn)觸覺(jué)信息的自然語(yǔ)言描述與推理；

應(yīng)用交互層：集成至機(jī)器人系統(tǒng)，支持抓取、識(shí)別、人機(jī)交互等實(shí)際任務(wù)這一架構(gòu)的核心創(chuàng)新在于實(shí)現(xiàn)了物理傳感-特征提取-語(yǔ)義理解的端到端一體化設(shè)計(jì)，將傳統(tǒng)分離的傳感與解讀過(guò)程有機(jī)融合，為機(jī)器人提供了類(lèi)人的觸覺(jué)感知與認(rèn)知能力。

03

生物靈感來(lái)源

受到鴿子卓越視覺(jué)系統(tǒng)的啟發(fā)，本工作的設(shè)計(jì)借鑒了其視網(wǎng)膜中多類(lèi)型視錐細(xì)胞的分工機(jī)制，特別是紫外敏感細(xì)胞，以拓展傳感器的光譜感知范圍。同時(shí)，模擬了鴿子視網(wǎng)膜中用于磁場(chǎng)感知的特殊分子機(jī)制，將非成像感知能力遷移至觸覺(jué)傳感領(lǐng)域，從而突破傳統(tǒng)視覺(jué)傳感的局限。

效仿生物神經(jīng)系統(tǒng)對(duì)多感官信息并行處理與協(xié)同融合的原理，構(gòu)建了多模態(tài)傳感物理系統(tǒng)：通過(guò)紫外波段實(shí)現(xiàn)標(biāo)記點(diǎn)追蹤與滑動(dòng)識(shí)別；可見(jiàn)光波段用于顏色與環(huán)境視覺(jué)感知；近紅外波段專(zhuān)攻紋理與接觸力分布檢測(cè)；中紅外波段負(fù)責(zé)溫度場(chǎng)測(cè)量。

結(jié)合基于PEDOT:PSS透明導(dǎo)電層設(shè)計(jì)的摩擦電傳感模塊，通過(guò)接觸靜電荷差異識(shí)別材質(zhì)并實(shí)現(xiàn)接近感知；集成MPU6050慣性測(cè)量單元實(shí)時(shí)采集三維姿態(tài)與加速度數(shù)據(jù)，支持碰撞檢測(cè)與振動(dòng)分析；最終通過(guò)氣壓可調(diào)的硅膠充氣支撐結(jié)構(gòu)構(gòu)成自適應(yīng)感知皮膚，動(dòng)態(tài)調(diào)節(jié)0-7N力感知范圍，實(shí)現(xiàn)對(duì)復(fù)雜曲面的高保真輪廓重建。

圖2 生物啟發(fā)原理及其應(yīng)用場(chǎng)景

04

設(shè)計(jì)與測(cè)試

·感知皮膚設(shè)計(jì)

感知皮膚采用總厚度僅1mm的四層薄膜堆疊結(jié)構(gòu)：導(dǎo)電層由PEDOT:PSS/TPU復(fù)合薄膜構(gòu)成，通過(guò)渦旋線(xiàn)電極設(shè)計(jì)實(shí)現(xiàn)均勻信號(hào)分布，兼具高透明度與良好導(dǎo)電性；熒光層采用紫外熒光油墨，可在紫外光下顯影、近紅外下透明，實(shí)現(xiàn)工作模式切換與標(biāo)記追蹤；反射層為銀粉/硅膠復(fù)合材料，具備單向鏡效應(yīng)，能通過(guò)光強(qiáng)控制實(shí)現(xiàn)不同波段的透明/不透明切換；支撐層采用氣壓可調(diào)的硅膠充氣薄膜，不僅提供機(jī)械支撐，更具備優(yōu)于傳統(tǒng)亞克力的中紅外透過(guò)性。

基于反射層的光控透明特性，系統(tǒng)實(shí)現(xiàn)智能工作模式切換：觸覺(jué)模式下內(nèi)部光源開(kāi)啟，薄膜呈不透明狀態(tài)，實(shí)現(xiàn)表面紋理和力的精確檢測(cè)；視覺(jué)模式下內(nèi)部光源關(guān)閉，薄膜轉(zhuǎn)為透明狀態(tài)，允許外部環(huán)境光的直接觀測(cè)，形成獨(dú)特的光場(chǎng)調(diào)制機(jī)制。

圖3 內(nèi)部結(jié)構(gòu)及功能表征

·數(shù)據(jù)處理與特征提取算法

在數(shù)據(jù)處理與特征提取算法中，力與位置感知采用基于U-Net的編碼器-解碼器架構(gòu)，以ResNet-48作為編碼器，輸入128×128 RGB變形圖像并輸出三維力分布圖與位置坐標(biāo)；經(jīng)過(guò)86,440組涵蓋48種探針形態(tài)的接觸數(shù)據(jù)訓(xùn)練，系統(tǒng)達(dá)到位置檢測(cè)均方誤差0.056mm、力檢測(cè)均方誤差0.0004N的精度。針對(duì)多模態(tài)分類(lèi)任務(wù)，算法采用專(zhuān)門(mén)化網(wǎng)絡(luò)設(shè)計(jì)：紋理識(shí)別（ResNet-18 + MLP，NIR圖像，98%準(zhǔn)確率）、材質(zhì)分類(lèi)（信號(hào)處理+MLP，摩擦電信號(hào)，95%準(zhǔn)確率）、顏色識(shí)別（ResNet-18 + MLP，RGB圖像，100%準(zhǔn)確率）、滑動(dòng)檢測(cè)（LSTM網(wǎng)絡(luò)，紫外標(biāo)記序列，97%準(zhǔn)確率）及碰撞檢測(cè)（LSTM網(wǎng)絡(luò)，IMU時(shí)序信號(hào)，94%準(zhǔn)確率）。在三維重建與輪廓感知方面，基于紫外熒光標(biāo)記的位移分析算法實(shí)現(xiàn)變形重建，平均均方根誤差0.0892、平均絕對(duì)誤差0.0375，輪廓保真度可識(shí)別0.07mm細(xì)發(fā)并實(shí)現(xiàn)100%盲文字符識(shí)別準(zhǔn)確率。

·觸覺(jué)語(yǔ)言模型設(shè)計(jì)與實(shí)現(xiàn)

DOVE觸覺(jué)語(yǔ)言模型采用基于預(yù)訓(xùn)練視覺(jué)-語(yǔ)言模型的架構(gòu)，總參數(shù)量達(dá)8.6B。模型通過(guò)投影層實(shí)現(xiàn)觸覺(jué)特征到語(yǔ)義空間的嵌入對(duì)齊，能夠融合觸覺(jué)、溫度、顏色和材質(zhì)等多模態(tài)信息進(jìn)行聯(lián)合推理。

訓(xùn)練過(guò)程采用三階段策略：第一階段使用CLIP模型提取圖像特征并附加MLP分類(lèi)器進(jìn)行編碼器預(yù)訓(xùn)練；第二階段移除分類(lèi)器并添加投影層，實(shí)現(xiàn)多模態(tài)特征表示的嵌入對(duì)齊；第三階段采用LoRA方法對(duì)投影層和語(yǔ)言網(wǎng)絡(luò)（Vicuna）進(jìn)行高效微調(diào)。數(shù)據(jù)集構(gòu)建方面，系統(tǒng)采集了6種顏色、3種溫度、10種材質(zhì)和6種紋理的完整組合物理數(shù)據(jù)，同時(shí)基于GPT-4和規(guī)則腳本生成了30,000組觸覺(jué)語(yǔ)言問(wèn)答對(duì)，并構(gòu)建了包含1,000個(gè)新樣本的獨(dú)立評(píng)估集用于模型性能驗(yàn)證。

圖4觸覺(jué)感知模型及應(yīng)用實(shí)驗(yàn)

·性能評(píng)估及實(shí)驗(yàn)

系統(tǒng)性能通過(guò)多層次實(shí)驗(yàn)體系進(jìn)行全面驗(yàn)證：在基礎(chǔ)傳感性能測(cè)試中，對(duì)力、位置、溫度、振動(dòng)等物理量進(jìn)行精度標(biāo)定；通過(guò)分類(lèi)任務(wù)評(píng)估驗(yàn)證紋理、材質(zhì)、顏色等屬性的識(shí)別準(zhǔn)確率；開(kāi)展80,000次接觸循環(huán)的耐久性測(cè)試，分析長(zhǎng)期使用下的信號(hào)穩(wěn)定性；在實(shí)際應(yīng)用驗(yàn)證階段，于機(jī)器人抓取、物體識(shí)別、人機(jī)交互等真實(shí)場(chǎng)景中測(cè)試系統(tǒng)可靠性；同時(shí)進(jìn)行對(duì)比實(shí)驗(yàn)，與傳統(tǒng)GelSight等傳感器在輪廓感知、紋理識(shí)別等關(guān)鍵性能指標(biāo)上進(jìn)行系統(tǒng)化比較。

來(lái)源：生物傳感器