簡介

在自動駕駛感知系統中，相機傳感器的應用十分廣泛，無論是前視，側視，環視甚至車內，相機傳感器都發揮著至關重要的作用，目前帶有ADAS和自動駕駛功能的汽車，大多配備七八個甚至十幾個相機傳感器。

相機作為車載核心傳感器，優點十分明顯。首先，相機傳感器技術成熟，價格便宜，尤其是相較于市面上動輒上萬的激光傳感器，以相機傳感器作為主感知的方案更利于自動駕駛汽車的量產。其次，相機采集的圖像包含物體色彩，輪廓等信息，這些是激光傳感器，毫米波傳感器無法輸出的，在識別交通標識，紅綠燈，車道線等方面具有獨一無二的優勢。

在Sim Pro自動駕駛仿真軟件中，結合基于物理的渲染方法，可以在配置相機各種參數的前提下進行相機傳感器輸出圖像的仿真。其中的一大難題是相機的鏡頭種類繁多，比如廣角相機，魚眼相機等，它們的鏡頭被設計成可以折射入射光，以得到比針孔相機更廣的視野，這會讓最終的成像產生畸變效果。本文主要介紹Sim Pro里相機傳感器物理建模中的畸變設計。

相機傳感器模型

相機傳感器模型主要設計為兩個部分，其一是每個像素的RGB顏色處理模塊，考慮到相機成像原理中的光電轉換過程，可以利用輸入參數中的曝光時間，鏡頭透過率等參數控制所有像素上的信息。為了體現部分相機可能出現的噪點效果，還可以設置暗電流噪聲，為了體現過曝和避免色彩丟失，采用了HDR高動態范圍的渲染數據輸入。

除了對像素顏色信息的處理以外，另一部分為畸變效果仿真模塊，需要設計所有像素對應的光線射入向量，由于不同鏡頭的折射效果，導致傳到每個像素的光線并不是沿像素直接射出的（如圖1），將相機傳感器近似為空間中的一個點，此時每個像素上光線射入的方向可以用一個三維向量來表示，從而構成畸變表。

圖1：左為針孔相機的光線射入方向簡化圖，右為廣角相機的光線射入方向簡化圖

目前有很多畸變建模使用的是畸變參數k1，k2表示的畸變公式：

其中(x,y)表示畸變后輸出圖像坐標，(x ?,y ?)表示無畸變原始圖像坐標，o表示畸變中心，公式表示距離畸變中心越遠，產生的畸變越大，普通的枕形，筒形畸變都可以通過該函數產生。但是，這個參數需要配合成像大小才可以正確生效，例如相同的圖像，由于像素大小的變化導致與畸變中心之間的距離變化，用相同參數會導致畸變效果不同，因此標定這個參數還需要確定像素大小等信息，使用起來比較繁瑣。

此外，使用k1，k2參數的前提是必須先獲取沒有畸變的原圖像，并且必須比輸出圖像擁有更大的視場角，但是考慮到魚眼相機的觀測角度可能接近甚至超過180度，此時成像需要的無畸變圖像不能顯示在一張平面圖上導致無法使用畸變公式去生成畸變。

Sim Pro采用天空盒的原圖輸入格式，360度無死角儲存環境信息，針對畸變表或者畸變參數的輸入都可以做到完美的畸變效果。

畸變模型

像素向量建模：使用畸變參數的建模前提是獲取到無畸變的平面圖片數據，這對于一般廣角相機來說是可以實現的，但是對于魚眼相機，如果要獲取到無畸變的平面圖像，該平面大小會趨近于無窮大，此時不能再通過一張無畸變的圖像去產生畸變。此時通常使用像素向量的數據，即事先通過測量標定等方法，確認圖像上每個像素點的信息是從哪個方向射入的，獲取該數據后，只需要去像素點對應向量上去采集數據即可。對于畸變明顯，視場角非常大的魚眼相機，通常使用以傳感器為中心的天空盒的數據來構造畸變，構造出每個像素點向量到天空盒位置的映射關系，從而達到在天空盒上獲取數據的目的，由于天空盒包含了傳感器可觀察范圍的全信息，因此這種方法可以適用于任何超大視場角的廣角相機，魚眼相機建模。

首先，在仿真場景中獲取所有方向的天空盒數據，這個數據可以通過設置水平，垂直視場角為90度的6個方向獲取的圖片數據拼接而來（如圖2），其中以傳感器朝向作為正前方，對于這一步獲取的圖片，盡量獲取更高的分辨率的圖片，對于視場角不超過270度的魚眼相機，也可以只采用前上下左右5個面的數據以節約渲染成本。

對于畸變表中每個像素對應的向量，通過簡單的三角形原理，可以知道從包圍盒正方體的中心出發，該向量所對應的天空盒上的像素位置，將該像素點的顏色信息傳入輸出圖像對應像素上（如圖3）。

畸變參數的統一處理

由于使用畸變表的方法也可以應用于普通的廣角相機，針對k1，k2畸變參數輸入的情況，Sim Pro將畸變參數轉化為畸變表之后，再進行上一章節中介紹的畸變運算，使得仿真中的畸變效果同時適用于畸變表與畸變參數兩種不同的輸入。

在確定像素大小以及畸變中心o（通常是圖像幾何中心）后，推算每個像素點坐標(x,y)所對應的無畸變原始圖像中的像素點坐標(x ?,y ?),

考慮到相機焦距f,構成一個三維向量 (f,x ?,y ?),歸一化后作（x,y）為的向量信息存儲為畸變表。

總結

魚眼相機，廣角相機在自動駕駛汽車的感知系統中扮演著重要的角色，尤其是魚眼相機的超大探測范圍，廣泛應用于汽車環視感知系統中。魚眼相機輸出的帶有畸變的環視圖，通過各款相機對應的去畸變算法，可以形成近距離的俯視圖，應用于自動泊車，交通堵塞輔助等領域，Sim Pro相機傳感器能夠生成帶有準確畸變的圖像，有助于在仿真端驗證不同種類相機的去畸變算法與感知效果。