為了監(jiān)控環(huán)境并在現(xiàn)實世界中導(dǎo)航，機器人應(yīng)該能夠在不同的背景光照條件下采集圖像和環(huán)境測量值。近年來，世界各地的科研人員及工程師們都在努力開發(fā)越來越先進的傳感器，以將其集成于機器人、監(jiān)控系統(tǒng)或其他可以感知周圍環(huán)境的設(shè)備。

據(jù)麥姆斯咨詢報道，香港理工大學(xué)、北京大學(xué)、延世大學(xué)和復(fù)旦大學(xué)的研究人員最近研發(fā)了一款新型的仿生視覺傳感器，其采用了一種人工模擬視網(wǎng)膜功能的機制，并且可在各種光照條件下采集數(shù)據(jù)。這款仿生視覺傳感器基于由二硫化鉬制成的光電晶體管，相關(guān)研究成果以“Bioinspired in-sensor visual adaptation for accurate perception”為題發(fā)表在Nature Electronics期刊上。

仿生視覺傳感器陣列照片（左）；視覺傳感器單元的示意圖結(jié)構(gòu)和光學(xué)顯微鏡圖像（右）

“我們研究團隊五年前就開始了光電存儲器的研究工作。”開發(fā)該視覺傳感器的研究人員之一Yang Chai介紹說，“這種新興器件可以輸出光相關(guān)和歷史相關(guān)的信號，能夠?qū)崿F(xiàn)圖像集成、微弱信號累積、光譜分析等復(fù)雜的圖像處理功能，將傳感、數(shù)據(jù)存儲和數(shù)據(jù)處理的多功能集成于一顆器件。”

2018年，Yang Chai和他的同事發(fā)表了第一篇關(guān)于光電存儲器的論文，他們在其中介紹了一種電阻開關(guān)存儲器件，該器件可以執(zhí)行光傳感和邏輯操作。一年后，該團隊推出了一種具有三種不同功能的新型光電電阻隨機存取存儲器。具體來說，這種新器件可以感知環(huán)境，將信息存儲在內(nèi)存中，并執(zhí)行神經(jīng)形態(tài)的視覺預(yù)處理操作。

“我們在2020年研究了近傳感器（near-sensor）和傳感器內(nèi)計算范式的概念，并發(fā)表了我們在該領(lǐng)域的觀點。”Yang Chai繼續(xù)說道，“仿生視覺傳感器的這項新研究建立在我們之前的所有努力之上。”

環(huán)境自然光的強度變化很大，總范圍為280 dB。人類視網(wǎng)膜在感知外界光信號時，會根據(jù)信號的強度調(diào)整其感光器（即視桿細(xì)胞和視錐細(xì)胞）的光敏性。這最終使人眼能夠逐漸適應(yīng)不同程度的照明水平，在黑暗和明亮的環(huán)境中都能看清楚，這種能力被稱為“視覺適應(yīng)”。

“例如，當(dāng)你從一個明亮的大廳進入一個黑暗的電影院時，最初你幾乎看不到任何東西，但在電影院里呆了一會兒，就變得更容易看到東西了。”Yang Chai解釋說，“這種現(xiàn)象被稱為暗適應(yīng)（scotopic adaptation）。相反，如果你從黑暗的電影院走到陽光明媚的戶外，一開始你會覺得非常眼花繚亂，需要適應(yīng)一段時間才能看到周圍的景色。這個過程與暗適應(yīng)相反，被稱為光適應(yīng)（photopic adaptation）。”

Yang Chai和他的同事最近研究工作的主要目標(biāo)是構(gòu)建一種受人類視網(wǎng)膜結(jié)構(gòu)和功能啟發(fā)的視覺傳感器。為此，他們首先開始研究人類視網(wǎng)膜，然后嘗試設(shè)計感知策略，從而能夠人工模擬視覺適應(yīng)能力。

基于CMOS技術(shù)的最先進圖像傳感器通常具有70 dB的有限動態(tài)范圍。但是，這個動態(tài)范圍比自然場景的光照范圍（280 dB）要窄得多。

“為了在較大的光照強度范圍內(nèi)實現(xiàn)視覺感知，研究人員已經(jīng)探索了在后處理中使用受控光學(xué)孔徑、液體透鏡、可調(diào)節(jié)曝光時間和去噪算法。”Yang Chai說道，“然而，這些方法通常需要復(fù)雜的硬件和軟件資源。”

仿生視覺傳感器陣列的暗適應(yīng)和光適應(yīng)。（a）暗適應(yīng)測試示意圖：暗環(huán)境下使用8 x 8像素陣列識別低照度圖像。（b）光適應(yīng)測試示意圖：亮環(huán)境下使用8 x 8像素陣列識別高照度圖像。（c）識別“8”圖案的暗適應(yīng)過程。（d）識別“8”圖案的光適應(yīng)過程。

具有光照適應(yīng)性的視覺并在感覺終端具有寬廣感知范圍的光電器件可能具有非常有價值的應(yīng)用。例如，它們可以幫助提高計算機視覺工具的性能，降低構(gòu)建機器人或其他傳感系統(tǒng)所需的硬件復(fù)雜性，并提高圖像識別系統(tǒng)的準(zhǔn)確性。

雖然，其他研究團隊在過去一段時間已經(jīng)研發(fā)了可以適應(yīng)不同光照條件的光電器件。但是，大多數(shù)先前展示的器件只能模擬視網(wǎng)膜的光適應(yīng)機制。暗適應(yīng)過程迄今被證明更難模擬。

“要完全復(fù)制視網(wǎng)膜的視覺適應(yīng)功能，還有很長的路要走。”Yang Chai解釋說，“為了實現(xiàn)這一目標(biāo)，我們設(shè)計了一種使用超薄半導(dǎo)體的光電晶體管型視覺傳感器，它可以通過施加不同的柵極電壓來控制同一器件中的暗適應(yīng)和光適應(yīng)程度。通過這種方式，我們模擬了視網(wǎng)膜中的光感受器和水平細(xì)胞（horizontal cell），并成功實現(xiàn)了具有199 dB感知范圍的仿生傳感器內(nèi)視覺自適應(yīng)器件。”

人工模擬視網(wǎng)膜中的光感受器和水平細(xì)胞，實現(xiàn)視覺自適應(yīng)（暗適應(yīng)和光適應(yīng)）

Yang Chai及其同事開發(fā)的仿生視覺傳感器基于由超薄半導(dǎo)體材料（即二硫化鉬）制成的光電晶體管。他們使用的光電晶體管具有多種電荷陷阱狀態(tài)，這些狀態(tài)可以在不同的柵極電壓下捕獲或釋放溝道內(nèi)的電子。

最終，這些狀態(tài)允許研究人員動態(tài)調(diào)節(jié)其器件的電導(dǎo)。這反過來又使他們能夠人工模擬人類視網(wǎng)膜的暗適應(yīng)和光適應(yīng)機制，從而擴大其傳感器對不同光照條件的感知范圍。

“我們的仿生視覺傳感器有幾個優(yōu)點和特點。”Yang Chai表示，“首先，視覺適應(yīng)功能在單顆器件中實現(xiàn)，大大減少了占位面積。其次，可以在單顆器件上實現(xiàn)多種功能，包括光傳感、記憶和處理。最后，可以通過控制其柵極電壓來實現(xiàn)在不同的光照強度下進行暗適應(yīng)和光適應(yīng)。”

Yang Chai和他的同事在一系列測試中評估了這款仿生視覺傳感器，發(fā)現(xiàn)它可以有效地模擬人類視網(wǎng)膜的功能，在暗適應(yīng)和光適應(yīng)方面都取得了顯著的成果。此外，與之前提出的解決方案相比，它具有明顯更高的感知范圍（199 dB）。

“我們的視覺傳感器可以豐富機器視覺功能，降低硬件復(fù)雜度，實現(xiàn)高圖像識別效率。”Yang Chai說道，“所有這些優(yōu)點在復(fù)雜照明環(huán)境下的自動駕駛、人臉識別和工業(yè)制造等領(lǐng)域都有很大的應(yīng)用前景。”

在接下來的研究中，研究人員計劃進一步提高視覺傳感器的性能，同時還使用其來制造由傳感器陣列組成的大規(guī)模系統(tǒng)。理想情況下，他們希望在柔性或半球形襯底上構(gòu)建此傳感器陣列，以實現(xiàn)更寬的視野。

“需要改進的一個方面是我們視覺傳感器的適應(yīng)時間，因為它仍然不足以支持機器視覺應(yīng)用。”Yang Chai補充道，“我們的目標(biāo)是將適應(yīng)時間降低到微秒級。此外，視覺傳感器陣列規(guī)模也需要進一步提升。我們近期的陣列規(guī)模目標(biāo)是大于100 x 100像素。最后，視覺傳感器和后處理單元（包括基于硅的控制電路）的異構(gòu)集成是邁向?qū)嶋H應(yīng)用的非常重要的一步。”

論文信息：
https://www.nature.com/articles/s41928-022-00713-1

審核編輯 ：李倩