我們知道，人工智能的目標(biāo)之一就是讓計算機模擬人類的視覺、聽覺、觸覺等感知能力，嘗試去看、聽、讀，理解圖像、文字、語音等，在此基礎(chǔ)上，再讓人工智能具有思維能力、行動能力，最終成為跟人類一樣的存在。

現(xiàn)在，人工智能機器人的感知能力已經(jīng)實現(xiàn)了明顯的進展。圍繞機器視覺，機器人可以實現(xiàn)一系列像圖像識別、目標(biāo)檢測和文字識別等功能得到廣泛應(yīng)用；圍繞自然語言處理，機器人可以進行基本的語音理解、機器翻譯、語音對話等；圍繞機器觸覺，機器人可以實現(xiàn)靈活的物體感知、抓握推舉等各種動作。

單一感知或者說感知能力無法互通，成為當(dāng)前人工智能機器人無法實現(xiàn)類人化突破的一大原因。也就是說，在單一感知能力和單一工作上，機器人的準(zhǔn)確度、穩(wěn)定性和持久性上面，可能遠超人類，但一旦在完成多道工序的復(fù)雜任務(wù)上面，機器人就遠遜于人類的表現(xiàn)。

人工智能機器人想要實現(xiàn)質(zhì)的發(fā)展，就必須在感官能力上面實現(xiàn)多模態(tài)的感知融合。現(xiàn)在除了在我們熟知的機器視覺方面，人工智能機器人正在機器觸覺和聽覺方面實現(xiàn)突破，并且通過視覺、觸覺和聽覺的感知融合，來大幅提升機器人的感知能力。

對于人工智能機器人，普通人要么抱有很高的不切實際的幻想，擔(dān)心機器人革命會很快到來，要么對機器人的通用能力保持懷疑，覺得機器人只能在少數(shù)場景替代人類。

只有深入到人工智能機器人的“案發(fā)現(xiàn)場”，不吹不黑地看下機器人感知能力的發(fā)展?fàn)顩r，才能知道當(dāng)前機器人的感知補全計劃的真正進展。

機器視覺和機器觸覺

作為地球上最有智慧的生物的人類，感官獲取信息的 83%來自視覺，11%來自聽覺、3.5%來自嗅覺，而 1.5%來自觸覺，1%來自味覺。

在這五種感官中，如果你不幸地只能保留一種，可能大部分都會保留視覺。要知道我們大腦的近 1000 億個神經(jīng)元，大多數(shù)都在處理視覺信息。而在所有的感知信息中，也只有動態(tài)的視覺信息是最為復(fù)雜的，以至于人類得靠著閉上眼睛主動隔離才能叫“休息”。

正因為視覺信息的重要和復(fù)雜，我們在人工智能技術(shù)的發(fā)展上，除了自然語言處理，那就主要在發(fā)展機器視覺了。

這一次人工智能的浪潮也是因為在圖像識別上的突破進展才重新興起。如今，機器視覺已經(jīng)在工業(yè)、安防、日常消費電子、交通等各個領(lǐng)域全面開花，越來越多的攝像頭背后都具有了 AI 的圖像識別能力。

對于大多數(shù)人工智能機器人而言，除了有視覺能力，還有就是移動行走和抓取能力，這就需要用到觸覺的幫助。對于往往只有單一功能的自動化機器人，通常只需設(shè)定好固定的參數(shù)、移動軌跡和抓取力度，即可不休不眠地完成工作任務(wù)。但對于人工智能機器人而言，則要靈活適應(yīng)各種不同材質(zhì)、不同形狀和軟硬度的物體，這個時候就既需要機器視覺的識別能力，也需要對于物體的觸覺判斷。

之前，大部分機器人的抓握解決方案都是單靠機器人的視覺感知。主要的解決辦法就是通過數(shù)據(jù)庫進行圖像匹配，將目標(biāo)物體的狀態(tài)和自身動作進行實時監(jiān)測，最終調(diào)整合適的抓取算法，來完成物體的抓取，但是有關(guān)抓握的接觸力度，則是機器視覺無法代替的，這樣機器還需要觸覺上的感知數(shù)據(jù)。

就如同人類一樣，我們在嘗試抓取物體時，會組合運用各種感知能力，最基礎(chǔ)的就是視覺和觸覺。由于視覺會因為光線、陰影、視線遮擋等因素，造成誤判，我們通常會更有效地利用皮膚的觸覺，來獲得對于物體完整的感知。

人體的觸覺感知也是一個非常復(fù)雜的生物電信號反應(yīng)的過程，那么要賦予機器以觸覺能力也需要經(jīng)過非常復(fù)雜的處理。模擬人體的觸覺反應(yīng)，機器人的觸覺傳感器也必須能夠?qū)⑽矬w的質(zhì)地、光滑程度以及物體形態(tài)進行數(shù)字模擬處理，將壓力和振動信號變成可以計算機處理的數(shù)據(jù)信號，從而進行觸覺算法的訓(xùn)練。

機器觸覺的難點在于對于觸覺傳感器獲得的抓握等微小振動的識別，要能夠識別抓握物體發(fā)生的滑動振動和物體與其他物體摩擦發(fā)生的振動，還要能夠區(qū)分不同物體的振動，這些是研究者們重點攻克的難點。

實現(xiàn)突破的方法就是，我們需要更好的觸覺感應(yīng)器，必須做到比現(xiàn)有的壓力傳感器更好的觸覺傳感器，能夠嵌入到柔性材料當(dāng)中，實現(xiàn)像人類皮膚一樣的人造皮膚。

最近新加坡國立大學(xué)的兩名研究人員就開發(fā)出一種人造皮膚，搭載在一個能夠模擬生物神經(jīng)網(wǎng)絡(luò)人造大腦，通過英特爾 Loihi 的神經(jīng)擬態(tài)處理器上運行。在這一技術(shù)基礎(chǔ)上，研究團隊通過了機械手臂讀取盲文的測試，同時借助視覺傳感器和這一人造皮膚，機械手臂的抓取能力也得到明顯提高。未來基于這種觸覺能力的機器人，可以在物品分揀過程中做到更加靈活、細致和安全，在護理行業(yè)上，可以對人類進行更好的看護和幫助，在外科手術(shù)機器人上，更好的完成手術(shù)的自動化。

視覺和觸覺的結(jié)合，已經(jīng)可以為機器人感知提升提供了可能，那么聽覺能力的融合，會帶來哪些效果呢？

機器聽覺的補全

這里的機器聽覺，不是特指對于人類語音的識別。這類語音識別已經(jīng)在各類消費級的智能音箱等領(lǐng)域得到廣泛應(yīng)用。這里的機器聽覺是指通過聲音傳感器對于一切物體發(fā)出聲音的判斷。

（重卡變速箱聽力診斷）

相比較機器視覺對于物體的判斷的簡單直接，機器聽覺確實是人們一直忽略的領(lǐng)域。在我們的日常生活場景中，我們其實除了用視覺來判斷物體的遠近、顏色和大小之外，我們通常也會用到聽覺來識別物體的距離遠近、質(zhì)地，推測事件的發(fā)生。這一點對于有視力障礙的人來說尤為重要。

最近，卡內(nèi)基·梅隆大學(xué)（CMU）的研究人員發(fā)現(xiàn)，通過增加聽覺感知，人工智能機器人的感知能力可以得到顯著的提高。

這一次 CMU 機器人研究所首次對聲音和機器人動作之間的相互作用進行大規(guī)模研究。研究人員發(fā)現(xiàn)，不同物體發(fā)出的聲音可以幫助機器人區(qū)分物體，比如金屬螺絲刀和金屬扳手。機器聽覺還可以幫助機器人確定哪種類型的動作會產(chǎn)生聲音，并幫助它們利用聲音來預(yù)測新物體的物理屬性。經(jīng)過測試，機器人通過聽覺在對物體進行分類的準(zhǔn)確率能達到 76%。

為了實現(xiàn)這一測試，研究者通過 60 個常見物體在一個機器人的托盤上進行滑動、滾動和撞擊，記錄下 15000 個交互的視頻和音頻，形成了一個大數(shù)據(jù)集。

此外，研究者還可以通過搖晃容器或者攪拌物質(zhì)的聲音來預(yù)估顆粒狀物質(zhì)的數(shù)量和流量，比如對大米和意大利面進行評估。顯然，通過聲音的對比，可以預(yù)測很多通過視覺無法預(yù)測的物理屬性。

機器聽覺無法區(qū)分一個紅色方塊和一個綠色方塊，但他可以在看不見的情況下的撞擊聲，來區(qū)分出兩個不同物體。而這正是機器聽覺的有用性所在。最終對于聲音識別物體的效果，就連研究者也都非常驚訝。

在機器聽覺的應(yīng)用方面，研究者首先想到的是在未來機器人的裝備儀器上加一個手杖，通過手杖敲擊物體來識別物體，這倒是一個有趣的畫面。但可以想見，在未來智能安防、管道線路檢測以及身體檢測等方面，機器聽覺可以發(fā)揮更大的作用。另外，對于識別最有意義的人類聲音，比如音樂、情感等聲音內(nèi)容上面，這些應(yīng)用就更加廣泛。

機器人多模態(tài)感知融合的應(yīng)用前景

正如感覺器官對于人類的重要性而言，感知系統(tǒng)對于機器人的重要性同樣至關(guān)重要。

要知道，我們?nèi)祟惼鋵嵤呛苌僦挥靡粋€感官去獲取信息，也很少只用一個感官去指導(dǎo)行動。就好像在一場“攀爬 - 賽跑 - 游泳”的三合一比賽中，我們在單一項目中可能無法戰(zhàn)勝猴子、豹子和海豚，但是在整場比賽中，人類就可以同時完成這三個項目。我們?nèi)祟愒诟兄挛锏臅r候通常也是多感官同時發(fā)揮作用，相互協(xié)調(diào)和多次驗證來加深對于外界物體的感知認識。更為復(fù)雜的事，我們甚至還要借助記憶、推理等理性認知能力來對感知事物進行加工，從而得到更為復(fù)雜的認知。

相比較于人類的多感官應(yīng)用，機器人的單一感知或者簡單組合的感知能力，又因為目前機器人的感知識別模式仍然是基于算法模型對于感知數(shù)據(jù)的分析和數(shù)據(jù)對比，因此難以產(chǎn)生更為復(fù)雜的推理知識，因此是機器人在認知的復(fù)雜度上稍遜于人類，但在識別物體的準(zhǔn)確度和規(guī)模上就會遠超人類。

現(xiàn)在，多模態(tài)感知融合的推進，將使得機器人在認知復(fù)雜度上面逐漸接近人類的能力。未來的機器人面對照明和遮擋、噪聲和混響、運動和相似等復(fù)雜交互場景，將會變得更加游刃有余，從而產(chǎn)生各種收益明顯的現(xiàn)實應(yīng)用。

多模態(tài)感知融合可能應(yīng)用到的領(lǐng)域，包括：

· 特殊化的精密操作領(lǐng)域。比如高難度外科手術(shù)領(lǐng)域，外科手術(shù)機器人可以通過對目標(biāo)的精確觀察和相關(guān)組織的分離、固定，進行比外科醫(yī)生更精準(zhǔn)的手術(shù)操作。

· 高危或者高難度的機器人作業(yè)。比如危險物品的搬運、拆除，比如普通人無法進入的管線等高難度區(qū)域檢測檢修，地下墓穴或海底的物品的搬運、打撈，通過機器聽覺對密封空間的聲音探測等。

像在安防、災(zāi)害救援、應(yīng)急處理等需要靈活處理的場景，都可以逐漸交由多感知系統(tǒng)的機器人處理，或者人機協(xié)同遠程處理。

此外，由于機器人感知融合能力的提高，機器人對于綜合感知數(shù)據(jù)的訓(xùn)練，可以更好地理解人類本身的復(fù)雜性，尤其是可以建立更為復(fù)雜的情感計算模型，能夠更好地理解人類在表情、聲音、皮膚溫度、肢體動作等方面?zhèn)鬟f出的情感信號，為更高級的人機互動提供新的可能。

目前來看，人工智能機器人仍然是一個復(fù)雜的系統(tǒng)工程，想要實現(xiàn)機器人的多模態(tài)感知融合，還需要對傳感器性能、算法協(xié)同、多模態(tài)任務(wù)、環(huán)境測試等多方面進行綜合研究。

這個過程必定是非常艱難的，但取得成果之后的前途必定是一片光明的。在我們期待人類與機器人和諧生活的未來，我們自然更期待這些機器人不再是一臺冷冰冰的機器。

編輯：hfy