作者：Alone

一、各傳感器的優劣勢

1.激光雷達：優點：一般情況下精度準確、360度的感知范圍、3維數據（相對于相機具有深度信息）缺點：成本高昂、數據量大、無序且稀疏（對于單個物體而言，其數據點更少，類似于一張具有深度信息低分辨率的廣角照片）

2.相機優點：紋理細節豐富、成本低廉缺點：易受光照影響、沒有深度信息

3.毫米波雷達：優點：在特殊場景下（雨霧天氣）相對Lidar抗干擾能力強；基于多普勒效應的探測原理能捕捉到一定運動信息；長波長（毫米波）能夠檢測到一些corner場景下的目標缺點：精度較低（以點云表達后，數據稀疏且高度信息費城不準；對相對靜止的物體檢測效果差，并非所有靜止物體

4.紅外相機：夜視場景，是優點也是局限二、解決方案沒有詳細調研過各企業最終落地的傳感器配置方案，但看過不少waymo、百度、nvidia多傳感器融合的研究，所以更多地從理論和技術角度分析一下各種解決方案。

1.激光雷達+相機

當前主流的多傳感器融合方案，采用相機和激光雷達相互的方式進行3D檢測。將圖像數據和點云統一坐標系后，結合圖像提供的豐富的物體紋理信息和點云提供的幾何結構信息有助于分類任務；點云提供的精確3維信息以及物體在物理世界自然分離的特點有助于改善圖像中目標相互重疊的情況，從而更精準地進行目標檢測。一些經典的方法比如MV3D、Frustum Pointnet以及同作者出的ImVotenet等，隨便一篇融合的論文的related work都會有較詳的綜述，在這就不多重復了。

目前對于此類融合的算法研究較多，理論研究短期內很難有較大創新，但在工程實踐中兩種傳感器相互輔助的方式可以更加多樣化，且必須在考慮算力的前提下，結合不同的場景自適應地調整對不同數據源及特征置信度可能才能真正發揮激光雷達和相機融合的作用。

2.毫米波雷達+相機

若采用點云形式表達毫米波數據，那其實和Lidar和RGB融合原理相差不大，但效果會更差。另外，毫米波雷達還有range-doppler-azimuth（就是極坐標系下距離、角度以及多普勒特征）數據形式，經過一些數據處理后其實和image張量形式相差不大，因此可以采用傳統CNN方法進行融合提取。關于毫米波雷達的多普勒特征可以算一個小的研究課題，有研究表明，多普勒效應能夠捕捉到物體內部組件的振動特征，且毫米波雷達檢測到的目標速度信息也是基于此原理。但自動駕駛對此研究并不多，工業應用就更少了。

個人認為微多普勒特征的應用雖有理論支持，但在自動駕駛復雜場景以及對安全的高要求下，其性能表現并不穩定和魯棒，因此沒有得到廣泛應用。另外，在4D radar實現技術突破能夠量產以后，這種特別的特征在自動駕駛場景也許只是錦上添花。這篇研究［1］則采用這種新的表征形式來融合radar和image的特征，結合模仿學習的理念進行radar檢測。

圖1

3.毫米波雷達+激光雷達

這篇研究［2］是2020CVPR的一篇文章，研究指出：在霧天場景下，Lidar點云會受到很大干擾，增加很多噪點；而radar的生成的點云雖然稀疏，但幾乎不受霧的干擾，因此采用此融合方式可以改善在霧天場景下的3D檢測表現。圖2為該研究主要框架。

圖2

4.RGB相機+紅外相機：主要用于夜視場景的檢測由于應用場景有限，目前更多的是用于學術界的理論研究。但如果真的要實現全天候的自動駕駛，可能終究跨不過類似夜視的長尾場景，只是目前還沒發展到那個階段而已。

總結來看針對工業界目前近幾年L3+的目標，除特斯拉能依靠大規模真實駕駛數據來實現純視覺的自動駕駛方案以外，其他造車新勢力無不加持了激光雷達，同時結合多攝像頭實現感知功能。radar和超聲傳感器等基本已是現代汽車的標配，只是如何使用的問題。單說傳感器的配置方案，可能激光雷達+相機將會是主流（除特斯拉）。但更加具體和成熟的解決方案必須結合自動駕駛的基礎系統來實現，并基于一定的機制來自適應調整從而靈活應用各傳感器的數據特征，明確：一般場景采用什么方式節省算力？不同場景更加信任哪種數據？特殊場景如何安全兜底？等問題的處理機制，在大多數場景下能夠表現穩定，才能真正勝出！

編輯：黃飛