電子發燒友網報道(文/李彎彎)事件相機最早誕生于1990年,那時候,許多研究人員探討動物感知環境的方式,發現對變化更為敏感,所以設計出了實驗室用的事件相機。2008年,誕生了第一款商用的事件相機。如今國內外都有企業和機構進行事件相機的研究。
事件相機的工作原理和優勢
傳統相機,無論是CMOS傳感器,還是CCD傳感器,亦或是RGBD相機,都有一個參數:幀率。它們是以恒定的頻率拍攝獲取圖像。這樣,即使幀率能夠達到1KHz,那也具有1ms的延時。所以傳統相機存在一定的延遲問題。
此外,傳統相機需要通過一定時間的曝光,使感光器件積累一定的光子,那么在曝光時間之內如果物體在高速運動,則會產生模糊,這也是傳統相機的一個問題。
另外,傳統相機的攻臺范圍較低,具體表現為在光線極差或者亮度極高時,相機獲取的信息有限。這些問題極大的限制了傳統相機在一些應用場景中的應用。
而事件相機則可以很好的解決這些問題。事件相機,也稱神經形態像機,或動態視覺傳感器(DVS,Dynamic Vision Sensor),是一種能夠響應局部亮度變化的成像傳感器。
事件相機不像常規相機那樣使用快門捕獲圖像。相反,事件相機中的每個像素都獨立且異步地運行,并在發生亮度變化時輸出這些變化,否則保持沉默。
下圖可以非常形象的展示出事件相機和傳統相機在工作原理上的不同。左側:假設拍攝的是一個圓盤轉動(圓盤此時逆時針轉動一段時間然后停止)。右側:上面是傳統相機,圓盤停止時,標準相機輸出不間斷,然而這些信息其實不是我們關注信息。下面是事件相機,其輸出信息為亮度動態變化的位置,并且當圖片無變化時即為no events,無輸出。
此前有業內人士對電子發燒友表示,基于這樣的工作原理,事件相機有幾個典型的特點:一是它的動態范圍非常高,可以達到140dB;二是因為它只輸出有效信息,不輸出無效信息,它的數據量非常小;三是它的速度非常快,可以達到1/10000s,甚至更高。
因為這些特點,事件相機可適用于傳統相機難以解決的一些場景中。比如城區場景中的鬼探頭,傳統相機在面對橫向的鬼探頭場景時,無法快速做出反應,而事件相機可以更快感知到危險信號;再比如高速場景下的避障,車輛在高速上快速行駛時,遇到前方路面有一個輪胎,傳統相機不能及時做出反應,事件相機可以依靠低時延優勢,快速識別并做出避障的動作。
事件相機的研究企業和應用
目前,不少公司都在致力于事件相機的發展,包括iniVation、prophesee(普諾飛思)、索尼(收購Insightness)、芯侖光電(韋爾股份子公司)、銳思智芯(Alpsentek)等。
iniVation起源于瑞士,由基于事件視覺的發明者創立。該公司已經推出多款產品,熱門型號包括:DAVIS346 Color/Mono、DVXplorer、DVXplorer Lite/Mini、Stereo Kit等。
iniVation的動態視覺平臺可為諸多應用和行業提供支持和解決方案,包括物聯網(超低功耗監控和智慧城市)、自動駕駛(車輛測距、SLAM和乘員監控)、機器人技術(場景理解與定位)、工業視覺(過程監控和基礎設施檢測)等。
Prophesee于2014年成立于法國巴黎,專注于神經擬態視覺傳感技術,目前基于事件的視覺技術推出多款傳感器。其研發的普諾飛思原視覺(Metavision)傳感器可應用于手機、自動駕駛、工業自動化、物聯網、AR/VR、醫療設備等領域。
比如在智能駕駛領域,Xperi旗下子公司DTS基于普諾飛思原視覺(Metavision)傳感技術提供的事件數據,開發了基于神經擬態視覺系統的駕駛員監控解決方案(DMS),提供了更優的微光性能,以及新的檢測功能,如眼跳或微表情檢測等。再比如,高級駕駛輔助軟件開發商Terranet AB與梅賽德斯-奔馳共同開發的VoxelFlow傳感器,采用了普諾飛思原視覺(Metavision)傳感器,可掃描車輛周圍半徑為40米的區域,反應時間為3毫秒。
銳思智芯成立于2019年,擁有一支兼備芯片、算法、軟件和硬件研發經驗與能力的團隊,核心專家來自全球頂尖機構。在高端視覺傳感器領域擁有超過16年的技術積累,在事件相機領域擁有超過8年的研究經驗。
2021年10月,銳思智芯(Alpsentek)發布了首款融合仿生事件視覺傳感器芯片——ALPIX-Pilatus(簡稱 ALPIX-P)。專為機器感知設計的傳感器,可廣泛應用于機器人、智能手機、無人駕駛、無人機、安防等場景。
ALPIX-P 采用銳思智芯自主研發的 Hybrid Vision融合式仿生事件視覺傳感技術,即將仿生事件視覺技術與傳統圖像傳感技術在像素級別進行融合。芯片可以在傳統圖像傳感器模式和仿生事件相機模式之間快速切換,實現事件相機與 CIS 相機功能 “二合一”。
在圖像模式下,ALPIX-P 是一款最高幀率為 120 幀的全局曝光傳感器,其圖像質量與現有的商化的 CIS 輸出的圖像質量一致,兼容現有成熟的視覺系統。在仿生事件相機模式下,ALPIX-P 具有超高幀率,高有效信息占比,大動態范圍的特點。
小結
事件相機的核心是神經擬態,神經擬態技術最早源于瑞士蘇黎世聯邦理工學院(ETH Zurich)。目前研究的企業主要有兩個方向,一是傳感器,即事件相機,就是文章提到的幾家公司;另一個是神經擬態計算,主要是SoC芯片,如九天睿芯、時識科技。目前從兩個方向來看,神經擬態在產品和應用上都有不錯的進展。
事件相機的工作原理和優勢
傳統相機,無論是CMOS傳感器,還是CCD傳感器,亦或是RGBD相機,都有一個參數:幀率。它們是以恒定的頻率拍攝獲取圖像。這樣,即使幀率能夠達到1KHz,那也具有1ms的延時。所以傳統相機存在一定的延遲問題。
此外,傳統相機需要通過一定時間的曝光,使感光器件積累一定的光子,那么在曝光時間之內如果物體在高速運動,則會產生模糊,這也是傳統相機的一個問題。
另外,傳統相機的攻臺范圍較低,具體表現為在光線極差或者亮度極高時,相機獲取的信息有限。這些問題極大的限制了傳統相機在一些應用場景中的應用。
而事件相機則可以很好的解決這些問題。事件相機,也稱神經形態像機,或動態視覺傳感器(DVS,Dynamic Vision Sensor),是一種能夠響應局部亮度變化的成像傳感器。
事件相機不像常規相機那樣使用快門捕獲圖像。相反,事件相機中的每個像素都獨立且異步地運行,并在發生亮度變化時輸出這些變化,否則保持沉默。
下圖可以非常形象的展示出事件相機和傳統相機在工作原理上的不同。左側:假設拍攝的是一個圓盤轉動(圓盤此時逆時針轉動一段時間然后停止)。右側:上面是傳統相機,圓盤停止時,標準相機輸出不間斷,然而這些信息其實不是我們關注信息。下面是事件相機,其輸出信息為亮度動態變化的位置,并且當圖片無變化時即為no events,無輸出。
此前有業內人士對電子發燒友表示,基于這樣的工作原理,事件相機有幾個典型的特點:一是它的動態范圍非常高,可以達到140dB;二是因為它只輸出有效信息,不輸出無效信息,它的數據量非常小;三是它的速度非常快,可以達到1/10000s,甚至更高。
因為這些特點,事件相機可適用于傳統相機難以解決的一些場景中。比如城區場景中的鬼探頭,傳統相機在面對橫向的鬼探頭場景時,無法快速做出反應,而事件相機可以更快感知到危險信號;再比如高速場景下的避障,車輛在高速上快速行駛時,遇到前方路面有一個輪胎,傳統相機不能及時做出反應,事件相機可以依靠低時延優勢,快速識別并做出避障的動作。
事件相機的研究企業和應用
目前,不少公司都在致力于事件相機的發展,包括iniVation、prophesee(普諾飛思)、索尼(收購Insightness)、芯侖光電(韋爾股份子公司)、銳思智芯(Alpsentek)等。
iniVation起源于瑞士,由基于事件視覺的發明者創立。該公司已經推出多款產品,熱門型號包括:DAVIS346 Color/Mono、DVXplorer、DVXplorer Lite/Mini、Stereo Kit等。
iniVation的動態視覺平臺可為諸多應用和行業提供支持和解決方案,包括物聯網(超低功耗監控和智慧城市)、自動駕駛(車輛測距、SLAM和乘員監控)、機器人技術(場景理解與定位)、工業視覺(過程監控和基礎設施檢測)等。
Prophesee于2014年成立于法國巴黎,專注于神經擬態視覺傳感技術,目前基于事件的視覺技術推出多款傳感器。其研發的普諾飛思原視覺(Metavision)傳感器可應用于手機、自動駕駛、工業自動化、物聯網、AR/VR、醫療設備等領域。
比如在智能駕駛領域,Xperi旗下子公司DTS基于普諾飛思原視覺(Metavision)傳感技術提供的事件數據,開發了基于神經擬態視覺系統的駕駛員監控解決方案(DMS),提供了更優的微光性能,以及新的檢測功能,如眼跳或微表情檢測等。再比如,高級駕駛輔助軟件開發商Terranet AB與梅賽德斯-奔馳共同開發的VoxelFlow傳感器,采用了普諾飛思原視覺(Metavision)傳感器,可掃描車輛周圍半徑為40米的區域,反應時間為3毫秒。
銳思智芯成立于2019年,擁有一支兼備芯片、算法、軟件和硬件研發經驗與能力的團隊,核心專家來自全球頂尖機構。在高端視覺傳感器領域擁有超過16年的技術積累,在事件相機領域擁有超過8年的研究經驗。
2021年10月,銳思智芯(Alpsentek)發布了首款融合仿生事件視覺傳感器芯片——ALPIX-Pilatus(簡稱 ALPIX-P)。專為機器感知設計的傳感器,可廣泛應用于機器人、智能手機、無人駕駛、無人機、安防等場景。
ALPIX-P 采用銳思智芯自主研發的 Hybrid Vision融合式仿生事件視覺傳感技術,即將仿生事件視覺技術與傳統圖像傳感技術在像素級別進行融合。芯片可以在傳統圖像傳感器模式和仿生事件相機模式之間快速切換,實現事件相機與 CIS 相機功能 “二合一”。
在圖像模式下,ALPIX-P 是一款最高幀率為 120 幀的全局曝光傳感器,其圖像質量與現有的商化的 CIS 輸出的圖像質量一致,兼容現有成熟的視覺系統。在仿生事件相機模式下,ALPIX-P 具有超高幀率,高有效信息占比,大動態范圍的特點。
小結
事件相機的核心是神經擬態,神經擬態技術最早源于瑞士蘇黎世聯邦理工學院(ETH Zurich)。目前研究的企業主要有兩個方向,一是傳感器,即事件相機,就是文章提到的幾家公司;另一個是神經擬態計算,主要是SoC芯片,如九天睿芯、時識科技。目前從兩個方向來看,神經擬態在產品和應用上都有不錯的進展。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
相機
+關注
關注
5文章
1578瀏覽量
55794
發布評論請先 登錄
相關推薦
熱點推薦
Neway電機方案在電機控制的應用場景
Neway電機方案在電機控制的應用場景Neway電機方案在電機控制領域的應用場景廣泛且效果顯著,其核心優勢在步進電機、伺服電機控制及CNC機床主軸驅動等場景中得到了充分驗證。一、步進電機與伺服電機
發表于 01-04 10:10
Switch的應用場景
Switch的應用場景如下:
調用一到多個函數
設置變量值或者返回一個值
執行一到多個代碼片段
如果case標簽很多,在switch的前兩個使用場景中,使用查找表可以更高效的完成。例如下面的兩種
發表于 12-12 07:28
藍牙網關是什么?都有哪些功能?應用場景有哪些?
點,更構建起“設備互聯-數據流轉-智能管控”的完整鏈路,成為物聯網生態中不可或缺的核心組件。本文將系統解析藍牙網關的核心價值、技術架構、應用場景、現存挑戰及未來趨勢,為讀者呈現這一關鍵技術的全貌
發表于 12-11 15:21
廣州唯創電子錄音語音芯片IC:工作原理與應用場景全解析
錄放音芯片解決方案,廣泛應用于智能家居、醫療設備、工業控制等領域。本文將深入解析其工作原理和典型應用場景。01錄音芯片的核心作用與技術價值錄音芯片是一種可實現重復
光耦的工作原理、應用場景、分類
一、工作原理 光耦是一種采用光學原理進行信號傳輸和轉換的電子元件,其工作原理基于光電效應。光耦主要由發光器件(如發光二極管LED)和受光器件(如光敏晶體管、光敏電阻等)兩部分組成,兩部分通過
三相穩壓器的工作原理、工作流程及應用場景
三相穩壓器作為一種穩定電壓的關鍵設備,在工業、商業以及家庭場景中都有著極為廣泛的應用。它能夠精準調節電網電壓的波動,讓設備始終在穩定的電壓環境中運行,有效避免因電壓起伏而對設備造成損害。接下來,本文將深入剖析三相穩壓器的工作原理,并著重探討其在現實應用中的重要意義。
LDO的工作原理、特性、應用場景詳解
在現代電子設備的復雜電路系統中,穩定、高效的電源供應至關重要。LDO,即低壓差線性穩壓器(Low Dropout Regulator),作為電源管理領域的關鍵元件,發揮著不可或缺的作用。本文將深入探討 LDO 的工作原理、特性、應用場景。
取樣示波器的技術原理和應用場景
取樣示波器,也稱為采樣示波器,是一種重要的電子測量儀器,其技術原理和應用場景可以歸納如下:技術原理取樣示波器的根本原理是利用等效取樣技術,將周期性高頻(或高速)信號變換為與原來信號波形相似的低頻(或
發表于 03-12 14:34
光頻譜分析儀的技術原理和應用場景
光頻譜分析儀是一種專為光信號的頻譜分析而設計的精密儀器,其技術原理和應用場景如下:技術原理光頻譜分析儀的工作原理主要基于物質與光之間的相互作用,特別是光通過物質時產生的吸收、發射或散射現象。這些現象
發表于 03-07 15:01
事件相機的工作原理和應用場景
評論