在完全黑暗的環境中，依靠視覺進行導航是沒有用的，相反，觸覺會更有效。由于神經系統的反應較大，用力觸摸可以揭示有關物體或障礙物的更多信息，而輕輕觸摸則可能不足以喚起神經反饋。然而，硬觸也可能導致不良后果，如損壞物體，例如在黑暗的房間內移動時損壞貴重的藝術品，或因危險實體的存在而傷害身體。在這種情況下，即使是短暫的閃光也能大大提高成功移動的幾率。這是因為視覺記憶可以影響和幫助觸覺反應，從而實現導航。如果我們的視覺和觸覺皮層只對各自的單模態線索做出反應，就不可能做到這一點。因此整合跨模態線索是大腦功能的基本特征之一。

? 在大腦中，每種感覺在不同的情況下都能發揮最佳功能，但它們共同作用，可以提高探測和識別物體和事件的可能性。一般認為，大腦中有專門的區域，如視覺、聽覺、軀體感覺、味覺和嗅覺皮層，處理來自一種模式的感覺輸入，而跨模式整合則發生在更高的皮層區域。然而，最近的研究結果表明，多感覺整合可以通過接收來自兩種或兩種以上感覺模式匯聚輸入的特化神經元在初級感覺區域進行。例如，在訓練有素的猴子的初級軀體感覺皮層中發現的S1神經元除了對軀體感覺輸入做出反應外，還對視覺和聽覺刺激做出反應。同樣聽覺皮層中的A1神經元對聽覺和軀體感覺線索都有反應。多感覺整合的優勢在于多感覺反應具有超加性，即不僅超過單感覺反應，還超過它們的算術總和。

? ? 多感覺整合的另一個主要特點是，多感覺增強通常與被整合的單個線索的強度成反比。這被稱為反效果效應，具有直觀意義，因為高度突出的單模態刺激會在相應的單感覺神經元中喚起強烈的反應，這種反應很容易被檢測到。在這種情況下，多感覺整合可以大大增強神經活動，并通過提高檢測和定位事件的速度和可能性對動物行為產生積極影響。換句話說當單個刺激引起的反應最弱時，多感覺放大作用最大。最后，多感覺整合具有時間一致性即統合反應的大小對每種感覺輸入所引發的反應之間的時間相關性非常敏感。換句話說，當活動的高峰期重合時，反應達到最大值。多感覺信息處理的例子在自然界比比皆是。例如，海豚將從回聲中獲得的聽覺線索與視覺系統相結合，使它們能夠全面了解周圍環境中的物體、距離和形狀。蜜蜂通過被稱為“搖擺舞”的復雜舞蹈向它們的蜂巢伙伴傳達食物來源的位置。這些舞蹈結合了視覺線索，如搖擺的角度和持續時間，以及從花蜜中獲得的氣味線索，有效地傳遞了食物來源的距離和方向等信息。雖然神經科學領域，尤其是認知和行為領域，已經對多感覺整合進行了廣泛研究，但機器人、人工智能和神經形態計算領域尚未充分發揮多感覺整合的優勢。

? ? 近期，賓夕法尼亞大學Saptarshi Das教授等人介紹了一種基于光敏單層MoS?憶阻晶體管和摩擦靜電觸覺傳感器集成的人工視覺觸覺神經元，它能準確捕捉多感覺整合的三個基本特征，即超魯加響應、反向效力效應和時間一致性。該研究還實現了一種可將視覺觸覺信息編碼為數字尖峰事件的電路，尖峰事件的概率由視覺和觸覺線索的強度決定。相關研究以“A bio-inspired visuotactile neuron for multisensory integration”為題發表在Nature Communications期刊上。

多感覺整合

多感覺神經元視覺積分的逆效應和超加性響應觀察

單感覺與多感覺整合的比較及時間一致性的論證

總體而言，對生物啟發的多感覺視覺觸覺神經元和尖峰編碼電路的全面展示將推動神經形態計算領域的發展，該領域迄今為止主要側重于單感覺智能和信息處理。此外，它還可以應用于國防、太空探索以及許多機器人和人工智能系統。最后，多感覺融合的原理可以從視覺信息處理擴展到其它感覺刺激，包括音頻、嗅覺、熱和味覺刺激。 ?

編輯：黃飛

?