背景與問題

在暴雪等惡劣天氣條件下，自動駕駛系統的視覺感知能力顯著下降。雪花的快速移動和密集遮擋會在攝像頭圖像中形成高亮點、拖影或隨機噪聲，使道路、車輛及行人信息受損。

傳統單幀圖像去雪方法僅依賴空間特征，容易產生偽影；而基于視頻的去雪方法雖然利用時間信息，但對高幀率和幀間對齊要求極高，在車輛自運動及雪花隨機運動的實際駕駛場景中容易出現對齊錯誤，同時對相機參數及場景泛化能力敏感。

因此，雪天視覺退化問題不僅受算法能力限制，更受傳感器信息本身局限的影響。

一、事件相機方法概述

為緩解雪天視覺退化問題，蘇黎世大學 Robotics and Perception Group 提出利用事件相機的方法。事件相機不按固定幀率采集圖像，而是在像素亮度發生變化時生成事件，時間分辨率可達亞毫秒級。

雪花在事件流中形成連續的時空條紋，而背景結構變化相對緩慢，為區分雪花與場景提供了新的信息線索。

研究團隊設計了結合注意力機制的網絡模塊，從事件數據中識別雪花遮擋區域，并在這些區域降低對原始圖像的信任度，通過時空上下文恢復被遮擋背景，實現高質量圖像重建。

二、數據集與實驗

為了驗證方法有效性，團隊構建了 DSEC-Snow 數據集。該數據集通過綠幕技術將真實雪景疊加至原 DSEC 自動駕駛數據中，同時生成同步的圖像、事件流和精確真值。

實驗結果顯示，該方法在圖像重建 PSNR 上較現有最優方法提升約 3 dB，在深度估計和光流等下游任務中性能提升約 20%。此外，該方法在高密度雪花遮擋場景中表現出更穩定的性能和細節保留能力，相較傳統圖像或視頻去雪方法具有明顯優勢。

三、方法局限與討論

盡管事件相機在雪天視覺感知中展現潛在改善效果，但其作用為輔助性質，并非根本性解決方案。事件相機無法替代激光雷達或毫米波雷達在極端天氣下的可靠感知能力，其性能依賴于多傳感器融合體系。

在實際自動駕駛系統中，事件相機提供的高時間分辨率信息可增強系統在雪密、遮擋嚴重條件下的視覺穩健性，但仍需結合其他傳感器實現全天候可靠感知。

總結

綜上所述，該研究表明，事件相機為雪天視覺感知提供了新的信息維度。通過深度融合事件與圖像數據，該方法在去雪質量、細節保留及場景魯棒性方面表現優異，為自動駕駛系統在惡劣天氣下維持視覺感知提供可行輔助策略，同時為多模態感知和全天候可靠性研究提供重要參考。

因此，ShiMetaPi 基于銳思智芯技術打造的事件相機產品——靈光1號及其他EVS系列產品，有望推動該技術在自動駕駛系統中的落地應用，為暴雪及復雜天氣條件下的視覺感知提供高性能硬件支撐。