最近的人工智能研究指出了觸覺和視覺之間的協同效應。其中一個可以測量三維表面和慣性特性，而另一個則提供了物體投影外觀的整體視圖。

在這項工作的基礎上，三星、麥吉爾大學和約克大學的研究人員調查了人工智能系統是否可以通過對物體初始狀態的視覺和觸覺測量來預測物體的運動。

研究人員在一篇論文中描述表示：“之前的研究已經表明，預測運動中的物體的軌跡是具有挑戰性的，因為在相互作用的表面上存在未知的摩擦和幾何特性，以及不確定的壓力分布。”“為了減輕這些困難，我們專注于學習一種經過訓練的預測工具，它可以捕捉運動軌跡中信息最豐富、最穩定的元素。”

具體來說，研究人員開發了一種可以穿透皮膚的傳感器，他們聲稱這種傳感器可以在捕捉圖像的同時提供詳細的觸覺測量。

除此之外，他們還創建了一個名為“生成式多模態感知（Generative Multimodal Perception）”的框架，該框架利用視覺和觸覺數據來學習對物體姿態、形狀和力的信息，從而進行編碼，并對物體運動做出預測。

為了預測物體在物理交互過程中的靜止狀態，他們使用了所謂的靜止狀態預測，以及動態場景中的視覺觸覺運動數據集，包括物體在平面上自由落體，沿斜面上滑下，以及從他們的靜止狀態收到干擾。

在實驗中，研究人員說，他們的方法能夠預測物體靜止狀態下的原始視覺和觸覺測量值，而且準確度很高，預測結果與事實非常吻合。

此外，研究人員聲稱框架學習了視覺、觸覺和3D姿勢模式之間的映射，以便它可以處理缺失的模式，例如當觸覺信息在輸入中不可用時，以及預測對象脫離傳感器表面的情況時，導致空的輸出圖像。

研究稱，在物理場景中預測對象運動受益于利用兩種形式：視覺信息捕獲對象屬性，如3D形狀和位置，而觸覺信息提供了相互作用力和由此產生的對象運動和接觸的關鍵線索。新的AI框架則，可根據圖像和觸覺數據預測物體運動，這將可以更好幫助人類做出預測。
責編AJX