視覺信息在物聯網的海量數據中占有很大比例。無處不在的分布式圖像傳感器需要在電力受限的情況下識別靜態圖像和動態運動，并以智能方式獲取理解，在自動駕駛汽車和監控系統等一系列應用中發揮著至關重要的作用。最先進的機器視覺系統通常由物理上分離的圖像傳感器和處理單元組成。大多數圖像傳感器只能輸出空間幀，而不能融合時間信息。要實現準確的動作識別，就必須將“空間”和“時間”流信息傳輸到處理單元并加以融合。因此，用于動作識別的機器視覺系統通常涉及復雜的人工神經網絡，例如，具有~ 2 x 8層和~ 10?個網絡參數的“空間”和“時間”流計算架構。

生物視覺系統能在復雜的環境中有效地感知運動而且能效很高。飛行昆蟲（如果蠅）的視覺系統很小（約~ 8 x 102個膜片和10?個神元，卻能比人類更快地敏捷識別運動物體。昆蟲視覺系統由非尖峰分級神經元（視網膜-視束）組成，其信息傳輸率（R）遠高于人類視覺系統中的尖峰神經元。更重要的是，分級神經元能在感覺終端對時間信息進行有效編碼，從而減少了在計算單元中融合時空信息所需的大量視覺數據的傳輸。這種微小而敏銳的昆蟲視覺系統能以有限的計算資源有效感知運動。

昆蟲視覺系統的敏捷運動感知

受昆蟲視覺系統啟發，近期，延世大學Jong-Hyun Ahn教授&香港理工大學柴楊教授等人開發了用于傳感器內運動感知的光電分級神經元。MoS?光晶體管淺捕獲中心的電荷動態模擬了分級神經元的特性，信息傳輸速率達到1200 bit/s，并能有效地編碼時間光信息。使用20 x 20光傳感器陣列檢測視野中的軌跡，從而有效感知移動物體的方向和視覺顯著性，并通過四層神經網絡達到99.2%的識別準確率。通過調節MoS?淺捕獲中心的電荷動態，傳感器陣列能以10 ~ 10?毫秒的時間分辨率識別運動。相關研究以“Optoelectronic graded neurons for bioinspired in-sensor motion perception”為題發表在Nature Nanotechnology期刊上。

編碼時間視覺的人工分級神經元

光電分級神經元陣列的傳感器內運動感知

基于仿生視覺傳感器和傳統圖像傳感器的動作識別

綜上所述，在這項工作中，研究人員通過實驗研究了用于傳感器內敏捷運動感知的光電分級神經元。通過模擬昆蟲視覺系統的分級神經元，單個仿生視覺傳感器可以在時域中有效地響應和編碼光刺激。該研究使用二維（2D）原子薄半導體來模擬光電分級神經元陣列，該陣列可在感覺終端編碼時空運動信息。傳感器內融合的時空運動信息被輸入到一個微型四層感知器中，該感知器對移動球軌跡的識別準確率高達99.2%，而傳統的圖像傳感器很難通過如此微型的網絡實現這一目標。此外，通過調節人工分級神經元的電荷捕獲動態，20 x 20傳感器陣列可有效感知不同速度的運動。因此，該仿生視覺傳感器能在有限的計算資源下提供傳感器內運動感知，從而實現敏銳的動作識別。





審核編輯：劉清