電子發燒友網報道（文/黃晶晶）日前，世界領先的神經擬態視覺解決方案企業普諾飛思（Prophesee）宣布C輪融資，由創新工場領投、小米及上海韋豪創芯跟投，數家老股東加碼。在最近的一次媒體交流會上，普諾飛思聯合創始人兼CEO 盧卡·維雷（Luca Verre）、普諾飛思大中華區商務發展主管Johney Lu、普諾飛思高級現場應用工程師Cyrus Lo、創新工場合伙人方益民以及創新工場投資總監王震翔與包括電子發燒友網在內的媒體進行了充分交流。

硅基視網膜，或稱基于事件的視覺傳感器

Luca解析，這個產品的原本模型來自于模擬人的眼睛，眼睛事先預處理信息，只留下對大腦決策有用的信息，通過視神經傳導到大腦。

傳統的圖像傳感器以一幀一幀的圖像，只對場景中的變化產生反應，這些場景中的變化一般和場景中的物體運動有關。

普諾飛思設計的硅基視網膜或稱基于事件的視覺傳感器，類似于人眼視沒錢系統的運作原理，它是持續的以事件為基礎，具有異步特性，在生態視覺系統當中，始終沒有一個固定的類似于傳統圖像傳感器的取樣頻率。



這種新的視覺系統能帶來三個比較大的好處：

1、減少冗余數據，就是需要處理的數據量會變少。
2、能夠加速識別檢測的速度。
3、能夠增加動態范圍，能夠適應極端的光照條件。

具體來說，基于事件的視覺傳感器不像傳統的圖像傳感器那樣，生成一張一張的圖像，而只會對場景中物體的運動變化產生反應，即背景沒有任何變化，傳感器不會對靜態的背景信息反復地取樣。

因此在處理時間和速度上，基于事件的視覺傳感器的處理流程更高效，系統處理速度更快。

目前，普諾飛思從第一代的QVGA到HD高清視覺傳感器形成了一系列的產品，最近與合作伙伴索尼共同開發出了一款市面上尺寸最小的視覺傳感器。小尺寸傳感器成本更低，更易于集成，例如應用于智能手機、筆記本電腦、機器人等消費類電子產品。

軟件工具與基于事件的視覺傳感器相配合

普諾飛思設計基于事件的視覺傳感器的同時也推出了相關的軟件產品與服務。Luca表示，因為我們的視覺傳感器為客戶帶來了新的前所未有的數據類型，因此我們需要為客戶提供分析工具和軟件，來使用這些全新的數據，幫助他們建立全面的應用。

普諾飛思推出了獨有的MetaVision智能套件，它是一個非常全面、綜合性很高的軟件開發工具。可提供95種計算機視覺或者AI的算法、67種代碼示例、11個即用型應用程序，這些都在SDK當中供客戶使用。MetaVision智能套件包括六個主要的模塊，即機器學習、3D計算機視覺，還有分析等等不同的模塊。

普諾飛思現在還提供完整的機器學習工具包，內含最大的高清公共數據集、模擬工具、以及可監測對象活動的不同模型。此外，還包括機器學習的相關內容，此外MetaVision還為業界提供基于事件的開源工具，開發者可以通過普諾飛思的技術探索發現全新的可能性，并實現進一步的發明創造。

典型應用場景

基于神經擬態視覺系統的座艙監控技術

普諾飛思與Xperi合作推出的全球首個基于神經擬態視覺系統的座艙監控技術，Xperi是一家美國企業，致力于研究包括駕駛監控在內的多種前沿技術。


普諾飛思推出的駕駛監控技術可通過對駕駛員眼睛、表情的監測，以及計數駕駛員的眨眼頻率，從而對他目光注視的情況進行監測。普諾飛思的獨特技術能夠為駕駛監控提供高速的視覺處理功能，此外，還能夠應對非常嚴苛的光線的環境。

它的特點是速度快，可以高速追蹤眼球以及目光，追蹤眨眼的行為，因為當人在疲勞的時候，眨眼頻率和速度都會大大提高。傳統視覺只能推測到眨眼的動作，但不能測算眨眼的速度。此外，它具有極高的動態范圍，在面對陽光時，如果拉下遮光板，這個區域會比周邊暗，傳統視覺傳感器的處理要么看不到眼睛，要么在臉部其他部位過曝，而普諾飛思的傳感器可以同時檢測亮處與暗處的信息。還有，能夠透過太陽眼鏡看眼睛，太陽眼鏡的反光不會對檢測造成影響。

基于事件的高級駕駛輔助系統

在這個系統當中，車上安裝了三個基于事件的傳感器，以及一個激光柱，激光柱進行掃描，Prophesee的傳感器會追蹤激光柱的燈光，然后對掃描的內容進行3D建模，從而分析前端路況。



在激光掃描的時候會經常碰一個問題，即點不夠多，且循環比較慢。普諾飛思補足了激光的這個短板。利用激光的精確度優勢以及傳感器的速度，可以直接造出一個非常精準高速的3D Point Cloud，令自動駕駛平臺效果大幅提升，實現更安全的駕駛。

醫療案例

普諾飛思和Cambridge Consultants共同開發了通過細胞實時無菌檢測方式實現的下一代細胞療法。

可以在利用細胞作為介質生產的產品中尋找細菌和雜質，比如做胰島素。用傳統的方法需要幾天的時間才能夠完成這樣的生物學檢測，但是用基于Prophesee的傳感器技術的設備，可以在幾微秒時間內完成檢測。


另一個醫療應用案例是Prophesee和GenSight共同開發的，讓失明患者借助光遺傳療法恢復了部分視力。“硅視網膜（silicon retinas）”，能夠將信號發送給大腦進行處理，該技術可專門針對于一些晚期的視網膜色素變性的病例。GenSight所生產的護目鏡當中運用了普諾飛思的技術，可以通過失明人士視網膜中所植入的投光器對視覺系統進行光刺激，進而讓其恢復一部分的視覺功能。


用于智能手機，改善拍照質量

傳統上基于幀的技術，拍照的時候會產生運動模糊的現象。例如在拍攝寵物奔跑照片時，如果燈光條件不是特別好，曝光時間一般會比較長，拍攝結果就會較為模糊。



原因是傳統RGB以圖像為基礎的技術主要是為了捕捉靜態的圖像而設計的，而普諾飛思的基于事件的技術，就是為了捕捉動態信息而設計的。

如果將這兩個技術，靜態的以幀為基礎的技術和以事件為基礎的技術相結合，左邊是單純的基于幀的技術所拍攝出來的畫面，右邊是結合了基于事件的技術的結果。將基于幀和基于事件的技術相結合，能夠產生更好的照片效果。

有些視頻有很多非常模糊的場景，因為光線不是非常好，加上畫面當中的人也是在移動的，所以人像是模糊的，畫面中樓房側面的樣子也是模糊的。而通過基于事件的技術可以修正運動產生的模糊。視頻中的人像非常地清晰，建筑物也能夠看清非常多的細節。

此外對于機器防抖，一般會借助于IMU，或者物理光學防抖。但這種解決方案主要用于自身防抖。但當被拍物體由于移動速度過而快造成的模糊時，就需要依靠以事件為基礎的技術來解決。

軟硬件方案筑行業壁壘，獲得融資后Prophesee重點擴大中國市場規模

即便任何一家手機廠商或者自動駕駛公司拿到了這顆芯片，但處理數據流也是難題，因為一些廠商的算法工程師通常處理基于幀的數據，換句話說，Prophesee的技術解決方案涵蓋底層、算法、應用軟件，建立了深厚的行業壁壘。創新工場表示，這也是他們看好Prophesee并投資的重要原因。此次創新工場、小米、豪威等機構的投資，正是為了加速普諾飛思技術的迭代，針對廣大的中國下游客戶市場，讓這項黑科技快速大規模商業化落地。

為了加快普諾飛思在中國市場的落地，公司已經把中國總部設在上海，Luca表示，目前我們的重點是對中國市場進行大規模的投入，在中國擴充我們的團隊，推廣我們的技術和應用。我們最終的目標是將普諾飛思打造成一個全球性的公司。那就要在全球最大的市場取得成功，也就是在中國取得成功。

四年來，Prophesee與索尼進行了合作，普諾飛思主要在IP方面發揮自身的優勢——基于事件的視覺技術；索尼主要發揮它在先進制造工藝方面的優勢。Prophesee的視覺傳感器被稱為下一代的CIS，韋豪創芯正是看中這一前景也對Prophesee進行了投資。

本文由電子發燒友原創，作者黃晶晶，微信號kittyhjj，轉載請注明以上來源。如需入群交流，請添加微信elecfans999，投稿發郵件到huangjingjing@elecfans.com。