現代農業機器人系統在果實采摘過程中常受限于傳感和操作能力，特別是果實顏色、大小和硬度的多樣性帶來了巨大挑戰。現有的剛性抓手和單模態傳感方案極易導致果實損傷，造成嚴重的后期損失。

2026年3月23日，康奈爾大學Robert F. Shepherd等人開發了一款集成了視覺、觸覺和曲率傳感的多功能五指軟體抓手。該系統通過13 個嵌入式傳感器、車載電子設備和局部計算單元，實現了自適應和無損采摘。其核心技術在于每根手指中嵌入的定制可拉伸光纖，通過光信號損失來監測觸覺和彎曲狀態，而掌心則集成了微型攝像頭和距離傳感器。實驗證明，該抓手能在兩秒內完成動作，舉起超過自身重量 16 倍的物體，并能精準分類果實形狀和評估成熟度，為精準農業和通用機器人操作提供了高度集成的軟體傳感解決方案。

正文內容

圖1 | 具備識別物體形狀、大小和硬度的多功能抓手概覽。a. 集成曲率傳感器（紅箭頭）、觸覺傳感器（藍箭頭）、攝像頭、飛行時間（ToF）傳感器和旋轉模塊（黑箭頭）的軟體機器人抓手 CAD 模型 。b. 抓手在不同抓取狀態下的照片。c-d. 抓手抓取草莓和綠色大型果實的演示 。e-h. 視覺分析過程。i. 觸覺測量的光強損失曲線。
圖1指出，雖然視覺檢測速度快但易受光照影響，而觸覺檢測雖能測量機械特性但速度較慢且易導致擠壓損傷。因此，將低成本攝像頭視覺與光纖觸覺傳感融合到五指徑向對稱抓手中。視覺系統利用 HSV 色空間中的色調（Hue）通道實現穩健的顏色識別。這種多模態方法利用不同傳感器的優勢互補，使其能適應復雜的戶外環境和果實變異。

圖2 | 抓手運動學測量與制造概覽。a. 使用 Carbon M1 打印機制造的手指主體照片 。b. 軟質和硬質材料的典型應力-應變曲線。c. 手指彎曲角度隨內部壓力增加的變化曲線 。d. 真實手指彎曲狀態與有限元模擬（FEA）的疊加對比。e. 抓手工作空間隨壓力增加的變化分析。f. 不同充氣水平下的抓手原型與 FEA 預測的對比。

圖2表明，抓手采用多材料 3D 打印技術制造，手指使用軟質彈性體（SIL 30），而底座使用硬質材料（RPU 70） 。實驗顯示，每根手指在 70 kPa 壓力下可彎曲達 240°，這與有限元預測高度一致 。此外，抓手的工作空間可從 200 mm2 擴展至 14,000 mm2，極大增強了其抓取不同尺寸果實的靈活性。

圖3 | 抓手靜態力測量概覽。a. 軟體手指的阻塞力隨壓力增加的變化及模擬驗證 。b. 單根手指在不同阻塞狀態下的照片及對應的 FEA 預測 。c. 水平拉力測量過程 。d. 使用不同直徑（2 cm 至 5 cm）的半球體測試拉力與物體尺寸的關系 。e. 展示抓手提起 100 g 到 1,000 g 載荷的能力。

圖3表明，手指的阻塞力在 100 kPa 下可達 1.26 N。通過水平拉力測試發現，物體尺寸越大、輸入壓力越高，抓手能產生的拉力也越大，最高可達 8.10 N。在垂直負載測試中，該抓手成功舉起了 1 kg 的重物，相當于其自身重量的 16 倍，證明了其優異的載荷比。

圖4 | 視覺傳感器分析。 a. 顏色、尺寸和形狀感知的實驗裝置，包括高度可調平臺 。b. 顏色檢測算法輸出示例。c. 形狀和尺寸分類結果。d. 對不同物體的參數分析 。e. 平均絕對百分比誤差（MAPE）圖表。

圖4發現，HSV 空間中的色調通道對成熟度變化最為敏感，且對不同光照條件具有穩健性。在形狀分類中，系統實現了約 100% 的準確率。對于尺寸測量，隨著物體變大，測量誤差逐漸減小，對于立方體物體的周長測量誤差甚至降至 1.8% 以下。

圖5 | 曲率傳感器設計與表征。a. 手指內穿過的光纖及激光二極管、光敏三極管底座 。b. 光強損失隨壓力增加的變化曲線 。c. 手指在不同彎曲狀態下的照明展示（0°、94°、225°） 。d. 光波導輸出與彎曲角度的相關性曲線 。e. 集成曲率傳感器的抓手檢測物體滑移演示。

圖5表明，曲率傳感器（本體感覺傳感器）的主要功能是監測手指的彎曲狀態，確保穩定接觸而不損傷果實 。光纖在彎曲超過臨界角（約 75-80°）后，光強會發生劇烈下降 。此外，該傳感器還能用于載荷估算，實驗顯示持有 600 g 物體時的光強損失比 200 g 時高出 50%，并能有效檢測到重量滑移事件。

圖6 | 觸覺傳感器設計與表征。a. U 形可穿戴觸覺傳感器設計 。b. 集成在手指末端的觸覺傳感器示意圖 。c. 使用力學測試機（Cell Scale）進行表征的實驗裝置，測試了不同硬度的材料 。d. 不同硬度材料（特軟、軟、硬）的力-位移曲線 。e. 對應于材料硬度的傳感器響應信號 。f. 五個不同傳感器的光信號損失與力之間的相關性 。g. 基于材料硬度重復性的定量分析。

圖6表明，觸覺傳感器被設計成模塊化的 U 形結構，通過魔術貼附著在指尖 。該傳感器能清晰區分硬質物體（1.7 GPa）和特軟物體（55 kPa）及真實草莓 。在 0.7 mm 的恒定位移下，擠壓硬質物體產生的最大光損失可達 -9 dB。

圖7 | 利用觸覺和視覺引導的軟體抓手進行實時采摘和操作。a. 安裝在 6 自由度機械臂上的抓手 。b. 全集成軟體抓手細節 。c. 實時操作合成軟硬物體并測量其參數 。d. 抓取真實水果并實時測量形狀和顏色 。e-f. 對成熟和未成熟果實的實時視覺感測 。g. 各種物體（合成物體、牛油果、草莓）的實時觸覺測量匯總。

圖7的最終演示中，該系統被安裝在 MyCobot 320 機械臂上 。它不僅能成功抓取并搬運超市購買的牛油果和草莓，還能在溫室中直接采摘活植株上的草莓 。抓手通過旋轉模塊模擬“扭轉”而非“剪切”的方式分離果實，有效避免了對莖干的損傷。

總結與展望

本研究成功研發了一款集成多模態傳感的緊湊型軟體機器人抓手，能夠通過融合五種曲率傳感、五種觸覺傳感、一種壓力傳感和一種同位視覺傳感的數據，精準識別物體的視覺和觸覺特性 。該抓手設計展現了多項優勢，包括兩秒內的敏捷響應、1,600% 的載荷比以及極大的工作空間擴展性，這使其在軟體機器人、精準農業及未來農場領域具有極高價值 。系統集成的 13 個傳感器提供了包括顏色、大小、形狀、距離、觸碰、曲率、內部壓力及載荷在內的八種傳感模態，實現了可靠的實時測量。

文章信息：Mishra, A.K., Ramaswami, A., Shree, V. et al. Sensor fusion of touch & vision in soft manipulators for fruit picking. Nat Commun (2026). 文章鏈接：https://doi.org/10.1038/s41467-026-70588-9