（文章來源：智東西）

據外媒報道，維也納大學的研究人員研發了一種兼顧神經網絡功能的圖像傳感器，該傳感器可以使圖像分析速度相較傳統方式提升近2萬倍。研究人員用每個像素代表一個神經元，用每個子像素代表一個突觸，從而構成神經網絡。目前這項技術主要應用于特定的科學應用程序中，對于像自動駕駛中的機器視覺這樣的更復雜的任務，還需要做進一步研究。

機器視覺技術通常使用人工神經網絡來分析圖像。在人工神經網絡中，被稱為“神經元”的組件會接收數據并進行協作，以解決諸如識別圖像之類的問題。神經網絡會反復調整其神經元之間的連接點或突觸的強度，并查看所得的行為模式是否能更好地解決問題。經過一段時間調整，神經網絡會找到最適合的模式和解決方案。然后，它會將找到的最佳方案設置為默認值，從而模仿人腦學習的過程。

機器視覺技術經常會遇到延遲問題，因為相機必須逐行掃描像素，然后將視頻幀轉換為數字信號，并將其傳輸到計算機中進行分析。當下隨著成像速率和像素數量的增長，帶寬限制使得傳感器難以將所有信息快速傳輸到計算機中，這對于無人駕駛、機器人或工業制造等延遲敏感型應用影響十分明顯。

維也納大學的電氣工程師Lukas Mennel和他的同事們試圖通過減少中間步驟來加快機器視覺，他們創建了一個圖像傳感器，該圖像傳感器本身就構成了可以同時獲取和分析圖像的人工神經網絡。該傳感器由一個像素陣列組成，每個像素代表一個神經元。每個像素又由多個子像素組成，每個子像素代表一個突觸。每個光電二極管都建立在二硒化鎢層上，二硒化鎢是一種對光具有可調節響應能力的二維半導體。

這種可調節的光響應能力讓每個光電二極管以可編程的方式對光進行記憶和響應，從而可以分別調整每個二極管的靈敏度，改變光電二極管的光響應性會改變網絡中的連接強度（突觸重量）。然后，科學家們基于這些光電二極管之間的鏈接創建了一個神經網絡，通過對該網絡進行訓練，使其能夠執行簡單的計算任務。

研究人員將光電二極管排列成九個像素的正方形陣列，每個像素三個二極管。當圖像投影到芯片上時，芯片會生成、讀取各種二極管產生的電流。每個光電二極管都會產生與入射光強度成比例的輸出電流，并且可以根據電流的基本規則進行計算。

使用神經網絡的不同算法，該團隊演示了兩種神經形態功能。第一種是分類：它們的3×3像素陣列可以將圖像分類為與三個簡化字母相對應的三個類別之一，從而以納秒為單位識別該字母。如果按比例增加陣列的大小，該神經網絡還可以識別更復雜的圖像。

Mennel說：“我們的圖像傳感器在工作時不會消耗任何電能，被檢測的光子本身就可以作為電流供能。”他著重提到，“傳統的機器視覺技術通常能夠每秒處理100幀圖像，而一些更快的系統則可以每秒處理1000幀圖像，但我們的系統每秒可以處理2000萬幀圖像。”Mennel指出，系統運行的速度僅受電路中電子移動速度的限制。從原則上講，這種策略的工作速度可以達到皮秒級，即數萬億分之一秒，或者比目前演示的速度快三到四個數量級。

此外，科學家們指出，原則上他們可以使用計算機模擬來訓練神經網絡，并借此將該神經網絡傳輸到計算機設備上。這樣的傳感器可以用來做什么？Mennel說：“目前，這項技術主要應用于特定的科學應用程序中。對于像自動駕駛中的機器視覺這樣的更復雜的任務，還需要做進一步研究。”

用于自動駕駛車輛和機器人技術的神經網絡需要能夠捕獲具有廣闊視野的三維動態圖像和視頻。當前使用的圖像捕獲技術通常將3D現實世界轉換為2D信息，從而丟失運動信息和深度。Mennel團隊的研究結果不僅可以用于視覺系統，它還可以擴展到聽覺、觸覺、熱感或嗅覺等其他物理輸入系統。此類智能系統的開發以及5G高速無線網絡的到來，會讓實時（低延遲）邊緣計算成為可能。
（責任編輯：fqj）