應(yīng)用于自動(dòng)駕駛系統(tǒng)的雙目視覺(jué)解決方案

單目視覺(jué)是Mobileye（ME）的看家法寶，其實(shí)當(dāng)年它也考慮過(guò)雙目，最終選擇放棄。

單目的測(cè)距和3-D估計(jì)靠什么？是檢測(cè)目標(biāo)的Bounding Box（BB），如果無(wú)法檢測(cè)的障礙物，該系統(tǒng)就無(wú)法估計(jì)其距離和3-D姿態(tài)/朝向。沒(méi)有深度學(xué)習(xí)的時(shí)候，ME主要是基于BB，攝像頭標(biāo)定得到的姿態(tài)和高度以及路面平直的假設(shè)估算距離。

有了深度學(xué)習(xí)，可以根據(jù)3-D的ground truth來(lái)訓(xùn)練NN模型，得到3D大小和姿態(tài)估計(jì)，距離是基于平行線(xiàn)原理（single view metrology）得到的。不久前百度Apollo公布的單目L3解決方案講的比較清楚了，參考論文是“3D Bounding Box Estimation by Deep Learning and Geometry".

雙目當(dāng)然可以算視差和深度了，即使沒(méi)有檢測(cè)出障礙物（因?yàn)橛懈郊拥纳疃刃畔ⅲ瑱z測(cè)器會(huì)比單目好），也會(huì)報(bào)警。問(wèn)題是，雙目視覺(jué)系統(tǒng)估計(jì)視差沒(méi)那么容易，立體匹配是計(jì)算機(jī)視覺(jué)典型的難題，基線(xiàn)寬得到遠(yuǎn)目標(biāo)測(cè)距準(zhǔn)，而基線(xiàn)短得到近目標(biāo)測(cè)距結(jié)果好，這里是存在折衷的。

目前市場(chǎng)上ADAS存在的雙目視覺(jué)系統(tǒng)就是Subaru EyeSight，據(jù)說(shuō)性能還行。

百度推出的阿波龍L4擺渡車(chē)量產(chǎn)100臺(tái)，就安裝了雙目系統(tǒng)。還有歐盟自主泊車(chē)項(xiàng)目V-Charge也采用了前向雙目視覺(jué)系統(tǒng)，另外自動(dòng)駕駛研發(fā)系統(tǒng)Berta Benz也是，而且和雷達(dá)系統(tǒng)后融合，其中雙目匹配的障礙物檢測(cè)算法Stixel很出名。以前Bosch和Conti這些Tier-1公司也研制過(guò)雙目視覺(jué)解決方案，但沒(méi)有在市場(chǎng)上產(chǎn)生影響力，據(jù)說(shuō)被砍掉了。

談到雙目系統(tǒng)的難點(diǎn)，除了立體匹配，還有標(biāo)定。標(biāo)定后的系統(tǒng)會(huì)出現(xiàn)“漂移”的，所以在線(xiàn)標(biāo)定是必須具有的。單目也是一樣，因?yàn)檩喬プ冃魏蛙?chē)體顛簸都會(huì)影響攝像頭外參數(shù)變化，必須在線(xiàn)做標(biāo)定修正一些參數(shù)，比如仰角（pitch angle）和偏角（yaw angle）。

雙目在線(xiàn)標(biāo)定就更復(fù)雜些，因?yàn)殡p目匹配盡量簡(jiǎn)化成1-D搜索，所以需要通過(guò)stereo rectification將兩個(gè)鏡頭光軸方向平行并和基線(xiàn)垂直。所以針對(duì)獲得的gain相比，增加的復(fù)雜度和成本，如果不劃算商家就會(huì)放棄。

最近重提雙目視覺(jué)，是因?yàn)楣韫刃酒景舶裕ˋmbarella）在2014年收購(gòu)意大利帕爾馬大學(xué)的Vis Lab，研制了雙目的ADAS和自動(dòng)駕駛芯片，去年CES之后就開(kāi)始進(jìn)軍車(chē)企和Tier-1。而且，安霸目前正在繼續(xù)研究提升該系統(tǒng)的性能。

下圖就是它在車(chē)頂安裝6對(duì)立體視覺(jué)系統(tǒng)的示意圖，其中它們的基線(xiàn)寬度可以不一樣的，相應(yīng)地有效檢測(cè)距離也就不同。筆者曾坐過(guò)它的自動(dòng)駕駛車(chē)，遠(yuǎn)處可以看到200米，近處20-30米。它確實(shí)可以做在線(xiàn)標(biāo)定，隨時(shí)調(diào)整一些雙目視覺(jué)的參數(shù)。

1.立體匹配

先說(shuō)立體匹配，即視差/深度估計(jì)。如圖假設(shè)左右攝像頭焦距f，基線(xiàn)（兩個(gè)光心連線(xiàn)）寬B，3-D點(diǎn)X的深度z，而其視差（投影到左右圖像的2-D點(diǎn)，其坐標(biāo)差）即

可見(jiàn)視差能夠反算深度值。但是這里最難的就是左右鏡頭看到的圖像如何確定是同一個(gè)目標(biāo)，即匹配問(wèn)題。

匹配方法分兩種，全局法和局部法，雙目匹配的四個(gè)步驟：

匹配成本（matching cost）計(jì)算;

成本聚集（aggregation）;

視差（disparity）計(jì)算/優(yōu)化;

視差修正（refinement）。

最著名的局部法就是SGM（semi-global matching），很多產(chǎn)品在用的方法都是基于此的改進(jìn)，不少視覺(jué)芯片都采用這種算法。

SGM就是把一個(gè)全局優(yōu)化近似成多個(gè)局部?jī)?yōu)化的問(wèn)題組合，如下公式是2-D匹配的優(yōu)化目標(biāo)函數(shù)，SGM實(shí)現(xiàn)成為多個(gè)1-D優(yōu)化路徑之和

下圖是沿著水平方向的路徑優(yōu)化函數(shù)

Census Transform是將8/24比特的像素變成一個(gè)2進(jìn)制序列，另外一個(gè)2值特征叫LBP（local binary pattern）和它相似。立體匹配算法就是基于這個(gè)變換將匹配變成一個(gè)Hamming距離的最小化搜索。Intel的RealSense當(dāng)年就是收購(gòu)了一個(gè)成立于1994年基于該技術(shù)的雙目視覺(jué)創(chuàng)業(yè)公司，還收購(gòu)另外幾個(gè)小公司把他們合在一起做出來(lái)的。

下圖是CS變換的示意圖：

PatchMatch是一個(gè)加速圖像模版匹配的算法，被用在光流計(jì)算和視差估計(jì)上。之前微軟研究院曾經(jīng)做過(guò)一個(gè)基于單目手機(jī)相機(jī)3-D重建的項(xiàng)目，仿造以前成功的基于RGB-D算法KinectFusion，名字也類(lèi)似MonoFusion，其中深度圖估計(jì)就是采用一個(gè)修正的PatchMatch方法。

其基本思想就是對(duì)視差和平面參數(shù)隨機(jī)初始化，然后通過(guò)鄰域像素之間信息傳播更新估計(jì)。PM算法分五個(gè)步驟：

1)?空間傳播（Spatial propagation）:?每個(gè)像素檢查左邊和上邊鄰居視差和平面參數(shù)，如果匹配成本變小就取代當(dāng)前估計(jì)；

2)?視角傳播（View propagation）:?其他視角的像素做變換，檢查其對(duì)應(yīng)圖像的估計(jì)，如果變小就取代;

3)?時(shí)域傳播（Temporal propagation）:?前后幀考慮對(duì)應(yīng)像素的估計(jì)；

4)?平面細(xì)化（Plane refinement）:?隨機(jī)產(chǎn)生樣本，如果估計(jì)使匹配成本下降，更新。

5)?后處理（Post-processing）:?左右一致性和加權(quán)中值濾波器去除出格點(diǎn)（outliers）。

下圖是PM的示意圖：

2.在線(xiàn)標(biāo)定

再說(shuō)在線(xiàn)標(biāo)定。

這是一個(gè)利用路上標(biāo)志線(xiàn)（斑馬線(xiàn)）的標(biāo)定方法：已知斑馬線(xiàn)的平行線(xiàn)模式，檢測(cè)斑馬線(xiàn)并提取角點(diǎn)，計(jì)算斑馬線(xiàn)模式和路面實(shí)現(xiàn)匹配的單映性變換（Homography）參數(shù)，得到標(biāo)定參數(shù)。

另外一個(gè)方法基于VO和SLAM，比較復(fù)雜，不過(guò)可以同時(shí)做基于地圖的定位。采用SLAM做在線(xiàn)標(biāo)定，不適合高頻率操作，下圖是其算法的流程圖：1-4步, 通過(guò)立體視覺(jué)SLAM獲取全局連續(xù)地圖；第5步給出雙目相機(jī)變換初始估計(jì)，第6步把所有立體相機(jī)的地圖聚合成一個(gè)地圖；7-8步獲取多個(gè)相機(jī)之間的姿態(tài)。

和單目方法類(lèi)似，采用車(chē)道線(xiàn)平行和路平面這個(gè)假設(shè)可以快速完成在線(xiàn)標(biāo)定，即消失點(diǎn)（vanishing point）理論：假設(shè)一個(gè)平坦的道路模型，清晰的縱向車(chē)道線(xiàn)，沒(méi)有其他目標(biāo)的邊緣和它們平行；要求駕駛車(chē)輛速度慢，車(chē)道線(xiàn)連續(xù)，左右相機(jī)的雙目配置要左攝像頭相對(duì)路面的仰角/斜角（yaw/roll angles）比較小；這樣跟初始化的消失點(diǎn)（與線(xiàn)下標(biāo)定相關(guān)）比較可以算出雙目外參數(shù)的漂移量（圖5-269），其算法就是從消失點(diǎn)估計(jì)攝像頭仰角/斜角。

3.典型的雙目自動(dòng)駕駛系統(tǒng)

下面介紹幾個(gè)典型的雙目自動(dòng)駕駛系統(tǒng)。

Berta Benz采用的障礙物檢測(cè)算法Stixel基于以下假設(shè)：場(chǎng)景中的目標(biāo)描述為列，重心的原因目標(biāo)是站立在地面上，每個(gè)目標(biāo)上的上部比下部的深度大。下圖(a-d) 介紹了SGM視差結(jié)果如何生成Stixel分割結(jié)果：

下圖是Stixels 計(jì)算的示意圖：(a)基于動(dòng)態(tài)規(guī)劃的自由駕駛空間計(jì)算 (b) 高度分割中的屬性值 (c) 成本圖像 (灰度值反過(guò)來(lái)) (d) 高度分割。

這是他們加上深度學(xué)習(xí)做視差融合之后再做Stixel的框圖和新結(jié)果：

介紹一個(gè)VisLab早期雙目障礙物的算法，Generic Obstacle and Lane Detection system (GOLD)。基于IPM（Inverse Perspective Mapping），檢測(cè)車(chē)道線(xiàn)，根據(jù)左右圖像的差計(jì)算路上障礙物：

(a) Left. (b) Right (c) Remapped left. (d) Remapped right. (e) Thresholded and filtered difference between remapped views. (f) In light gray, the road area visible from both cameras.

(a) Original. (b) Remapped. (c) Filtered. (d) Enhanced. (e) Binarized.

GOLD system architecture

這是VisLab參加自動(dòng)駕駛比賽VIAC （VisLab Intercontinental Autonomous Challenge）的車(chē)輛，除了雙目攝像頭以外，車(chē)上還有激光雷達(dá)作為道路分類(lèi)的輔助。

這是其雙目障礙物檢測(cè)流程圖：視差估計(jì)利用了SGM算法和基于SAD的相關(guān)算法。

后處理中加了兩個(gè)DSI（Disparity Space Image）空間的濾波器，見(jiàn)圖5-274，一個(gè)是平滑處理，另一個(gè)是基于慣導(dǎo)（IMU）的運(yùn)動(dòng)軌跡處理。

障礙物檢測(cè)算法采用了JPL的方法，基于空間布置特性以及車(chē)輛的物理特性聚類(lèi)得到障礙物。物理特性包括最大的高度（車(chē)輛），最小高度（障礙物）和最大道路可通過(guò)范圍，這些約束定義了一個(gè)空間截?cái)噱F（truncated cone）, 如圖所示，那么在聚類(lèi)過(guò)程中凡是落在截?cái)噱F內(nèi)的點(diǎn)劃為障礙物。