本文介紹ICRA 2022中關于事件相機的幾篇工作，由于是關鍵字查找，可能有遺漏，且能力有限文章難免出現疏漏，請讀者批判性閱讀并指出問題。

[1]Asynchronous Optimisation forEvent-based Visual Odometry

本文面向純事件(不需要frame)和無地圖(map-free)，提出了在SE(3)上的單目視覺里程計VO，核心思想是采用增量式最大后驗(MAP)優化。

?

上圖清晰指出了本文的主要貢獻，在SLAM框架中，針對后端的優化，采用增量式SfM和高斯過程(GP)迭代，計算出地圖和軌跡。本人認為，這個圖做的非常好，值得學習借鑒，非常直觀的告訴了讀者本文的主要工作。

圍繞后端的優化問題，文章在相關工作部分總結了優化時不同的batching策略，分成了frame-based(固定時間/數量)、event-driven(逐事件)和event-drivenand tracking(事件驅動和跟蹤的)，見下圖。

?

核心的算法涉及了較多數學知識，感興趣請查閱原文。但文章指出方法的缺陷是計算量較大(由于涉及了迭代等操作)，在1min左右的數據上計算時間約10min。

[2] Learning Local Event-basedDescriptor for Patch-based Stereo Matching

本文的主要工作是提出了兩種在雙目配準中event的編碼和配準方法。分別是“高效表示和網絡(Efficiency representation/Net)”以及“精準表示與網絡(Accuracyrepresentation/Net)”。

在表示上，高效表示采用了voxel-grid的方式進行切片，精準表示則將一段時間內的event生成6個channel的圖片：兩種極性的x-y,x-t,y-t圖。在配準網絡上，高效網絡采用了全2D卷積的方式提高計算速度，精確網絡則包含了Squeeze-and-Excitation層以提高特征的recalibration。

? ?

[3] Kinematic Structure Estimation ofArbitrary Articulated Rigid Objects for Event Cameras

本文解決的是rigid object的kinematic structure(KS)任務。對這個不太了解，我的理解是分析出剛體的結構并對其運動進行提取，如下圖。

?

核心算法是叫做“增量式基于事件的運動估計”，基本原理由這兩個作者在2020和21年兩篇文章中提出[A1][A2]。由于不了解，本推送不做展開介紹。

[4] Fusing Event-based and RGB camerafor Robust Object Detection in Adverse Conditions

提出了一種針對不同條件(主要是圖像質量降低)的融合frame和event的目標檢測算法。算法的核心是從RGB和event中提取特征，再經過FPN(FeaturePyramid Net)網絡進行融合，以實現不同尺度上的檢測。

?

從上圖可以看出，網絡結構很簡單，RGB圖采用了ResNet提取特征，Event通過voxel-grid的方式成圖后也提取特征，之后不同尺度的特征通過FPN進行檢測。

值得提一句的是，本文所提出的圖像質量降低是基于[A3]給出的圖像15種降質，包括噪聲、模糊、天氣和數字化四類。但作者實驗時，將DSEC數據集的圖片降質后使用，而并沒有處理event對應的數據，因此我認為存在不合理之處。但作者做了event-only實驗的對比，驗證了融合低質圖像的有效性。

另外，我最近看到了不少FPN網絡在event融合中的使用，各位可以關注下。

[5]A Linear Comb Filter for EventFlicker Removal

這篇文章很有趣，采用梳齒濾波器對事件的抖動進行去除，具體來說是消除了日光燈50hz頻閃產生的噪聲。作者是Ziwei Wang，熟悉的朋友應該知道她之前和Cedric有不少合作，基本上都是圍繞濾波的。



圖：日光燈頻閃前后的事件熱度圖(下)和重建圖(上) 文章的核心算法是“梳齒濾波器”，這種濾波器形似梳子，抑制特定頻率整數倍的信號，而對非特定頻率的信號影響不大。

作者提出了前向后向反饋的梳齒濾波器，抑制50hz的周期信號。所設計的系統框圖和伯德圖見下。

?

文章很有趣，但我也指出兩個問題供讀者思考：1. 文章看起來需要保持相機和燈管相對靜止，如果有運動怎么辦，是否可以擴展？2. 從熱度圖上可以看出仍然沒有去除全部的噪聲，原因是什么，是否是由于事件的jitter或on/off的不一致造成的，是否可以優化？

[6] DEVO: Depth-Event Camera VisualOdometry in Challenging Conditions

本文提出了一種事件相機+深度相機的VO算法，基本思想是使用RGBD提供了深度，更方便地幫助event相機建立地圖與位姿估計。

關于這篇文章，今年2月在arxiv上看到了作者上傳的預印本，并在之前的推送中做了詳細介紹，本次推送不做展開。

[7] VISTA 2.0: An Open, Data-drivenSimulator for Multimodal Sensing and Policy Learning for Autonomous Vehicles

這篇文章并不算嚴格意義上的事件相機研究，只是做了個面向policy-learning的仿真器，涉及了event的生成。推送簡單介紹：文章提出了一種基于虛擬視角的方法，對現有的實際場景數據集進行合成，合成了不同視角下的image和Lidar，并利用改進的ESIM方法生成了event數據。做無人駕駛相關的朋友如感興趣可以進一步了解。

審核編輯：劉清