目前，汽車已經成為人們日常出行使用最多的交通工具。為了保證司乘人員和行人的安全，輔助駕駛和自動駕駛越來越成為汽車的標準配置。從L1級別的ADAS應用FCW(前向碰撞預警)、LDW(車道偏離預警)、L2級別的 AEB(自動緊急制動)、LKA(車道保持輔助)、到更高級別的ACC(自適應巡航)、AVP(代客泊車系統)等等， 輔助駕駛/自動駕駛在汽車電子系統中有著越來越大比例的應用。為了實現性能更強、穩定性更高和準確性更高的輔助駕駛、自動駕駛，汽車需要獲知本身的位置信息和周邊的環境信息，不同種類的傳感器，如視覺傳感器、激光傳感器(LiDAR)、毫米波傳感器(RADAR)等，在不同的工作環境下各有優缺點，而融合來自多個傳感器數據的過程?？梢蕴峁└叩目煽啃浴⑷哂嘈砸约白罱K的安全性。賽靈思作為可編程器件的領導品牌，在汽車電子系統，尤其在傳感器融合方面提供了全面的方案。且待本文向您徐徐道來。

1. 融合! 融合起來!

隨著輔助駕駛/自動駕駛的等級逐步提高，對傳感器種類和數量的要求會逐步增加。L1級別需求(如FCW(前向碰撞預警)、LDW(車道偏離預警)) 主要由單個傳感器，如單個視覺攝像頭、單個毫米波或攝像頭加毫米波的組合來實現相關預警功能:

L2級別需求(AEB(自動緊急制動)、LKA(車道保持輔助)) ，因為需要對車身部分(如底盤的剎車控制系統) 進行直接控制，需要兩個或以上不同的傳感器來互相校驗，確保在各種環境下不錯過必須處理的信息，并加強冗余度，一般會有多個視覺攝像頭(比如由4個攝像頭組成360環視系統，加上一個單獨用于前向預警的攝像頭，共計5個攝像頭的系統)、一個或若干毫米波及其他傳感器完成輔助駕駛功能：

對于L3來講，由于高級別半自動駕駛(如代客泊車AVP)需要對地圖進行構建，并進行基于地圖的路徑規劃，通常需要引入激光雷達(為解決盲區，還需要布置高低位置的多個激光雷達)，視覺、毫米波和激光雷達的數量總數基本會超過10個:

隨著高級輔助駕駛需要更多傳感器種類與數量，如何將這些信號歸一化為主控SoC需要的數據，也就是傳感器數據歸一化(normalization)的需求如何實現呢?這就是我們提及的傳感器融合的需求了：

那么傳感器數據數據歸一化，具體來說要如何進行呢?我們由下圖來解釋一下：

將多個傳感器數據的負載(Payload)， 統一打包為包含報文種類、時間戳(Time Stamp)、其他包頭信息和負載的數據包，傳送至主控芯片，就是傳感器融合的信息了。

我們來總結一下傳感器融合的作用：

A 獲取車輛環境信息;

B 獲得更精確的結果;

--均衡不同傳感器的權重

--針對傳感器失效的魯棒性

--各傳感器取長補短

C 主要任務

--定位

--地圖繪制

--路徑規劃

2. 當融合時且融合

當我們意識到傳感器融合的優勢時，就會發現FPGA在傳感器融合上的優勢：

--FPGA的IO Pin可以靈活配置，適合不同的傳感器接口

--FPGA的邏輯可以靈活設計，針對不同型號的傳感器做出針對性的設計。

而傳感器融合的基石，就是如何進行數據同步!

如果不進行同步的話，假設有一個目標高速經過車輛前部，如果各傳感器不同步，不同的傳感器會給出不同的目標方位和相對距離信息，會令處理系統很難做出正確響應：

但如果進行了同步，所有觀感器信息反饋的信息都是基于同一時間點，針對同一個目標反饋的目標速度、相對距離、角度等信息也不會產生混淆：

針對上述的同步，具體方式如下:

1. 硬件同步 / Hardware synchronization

--使用同步觸發(trigger acquisition， FPGA的強項之一哦!)

--所有傳感器使用同一個硬件給出的時鐘源(FPGA的IO資源非常適合做配置!).

2. 軟件同步 / Software synchronization

--使用時間戳(timestamp ) 同步

--每個傳感器自行加入校正后的時間戳

3. 空間同步 / Spatial synchronization

將各傳感器坐標系統歸一化為統一系統(對坐標系轉換的硬件加速也是FPGA的強項!)

4. 時空同步 / Spatiotemporal synchronization

--以上所有同步的綜合

下面也給出一些使用FPGA進行同步的技術技巧：

1. 統一的的坐標系與時鐘;

2. 使用GPS提供時間戳的時鐘同步與校準;

3. 一般使用激光雷達提供Trigger , 作為數據對齊基礎;

--這是自動駕駛技術的歷史傳承，基于ROS / ROS2 的 Autoware， Baidu的Apollo及其他開源版本都是如此。

4. 傳感器相互之間進行校正 ( Sensorcalibration );

同步后數據，如何通過網絡在車內網絡傳輸，也是傳感器融合的重要功能，而TSN (時鐘同步網絡) 更是會助力融合更好地進行!

基于802.1 AS的TSN我們在之前的文章中已經有介紹，如有您有在賽靈思器件上實現TSN的需求，也請聯系科通，我們為您提供咨詢和支持。

3. 如何十分安全地融合?

既然傳感器融合主要用于汽車應用，功能安全就變得非常重要!針對功能安全的需求，作為可編程器件領先品牌，賽靈思針對各行業的安全需求，提供了由原廠或第三方提供的服務:

其中和汽車相關的 IEC-61508和 ISO-26262認證，賽靈思都提供原廠直接支持的文檔、工具和服務。

當然還有經過車規驗證的各型號SOC/FPGA、IP、工具鏈和參考設計開發板，如果您有需求，都歡迎聯系科通哦!

4. 有科通，融合更方便

針對車規需求，我們集成科通代理的相關產線，為您提供整體方案。下圖也只是其中一部分哦!

原文標題：基于賽靈思的傳感器融合方案

文章出處：【微信公眾號：Comtech科通】歡迎添加關注!文章轉載請注明出處。

審核編輯：湯梓紅