文章導(dǎo)讀

本文針對(duì)自動(dòng)駕駛行業(yè)的視覺(jué)感知做簡(jiǎn)要介紹，從傳感器端的對(duì)比，到數(shù)據(jù)的采集標(biāo)注，進(jìn)而對(duì)感知算法進(jìn)行分析，給出各個(gè)模塊的難點(diǎn)和解決方案，最后介紹感知模塊的主流框架設(shè)計(jì)。

目錄

傳感器

相機(jī)標(biāo)定

數(shù)據(jù)標(biāo)注

功能劃分

模塊架構(gòu)

視覺(jué)感知系統(tǒng)主要以攝像頭作為傳感器輸入，經(jīng)過(guò)一系列的計(jì)算和處理，對(duì)自車(chē)周?chē)沫h(huán)境信息做精確感知。目的在于為融合模塊提供準(zhǔn)確豐富的信息，包括被檢測(cè)物體的類(lèi)別、距離信息、速度信息、朝向信息，同時(shí)也能夠給出抽象層面的語(yǔ)義信息。所以道路交通的感知功能主要包括以下三個(gè)方面：

道路目標(biāo)檢測(cè)（車(chē)輛、行人和非機(jī)動(dòng)車(chē)）

交通標(biāo)識(shí)檢測(cè)（交通標(biāo)志和紅綠燈）

可行駛區(qū)域（道路區(qū)域和車(chē)道線(xiàn)）

這三類(lèi)任務(wù)如果通過(guò)一個(gè)深度神經(jīng)網(wǎng)絡(luò)的前向傳播完成，不僅可以提高系統(tǒng)的檢測(cè)速度，減少計(jì)算參數(shù)，而且可以通過(guò)增加主干網(wǎng)絡(luò)的層數(shù)的方式提高檢測(cè)和分割精度。如下圖所示：可以將視覺(jué)感知任務(wù)分解成目標(biāo)檢測(cè)、圖像分割、目標(biāo)測(cè)量、圖像分類(lèi)等。

傳感器

1. 前視線(xiàn)性相機(jī)：視角較小，一般采用52°左右的相機(jī)模組安裝于車(chē)輛前擋風(fēng)玻璃中間，主要用來(lái)感知車(chē)輛前方較遠(yuǎn)的場(chǎng)景，感知距離一般為120米以?xún)?nèi)。

2. 周視廣角相機(jī)：視場(chǎng)角相對(duì)較大，一般采用6顆100°左右的相機(jī)模組安裝在車(chē)輛周?chē)蝗Γ饕脕?lái)感知360°的周身環(huán)境（安裝方案與特斯拉大同小異）。廣角相機(jī)存在一定的畸變現(xiàn)象，如下圖所示：

3. 環(huán)視魚(yú)眼相機(jī)：環(huán)視魚(yú)眼相機(jī)視角較大，可以達(dá)到180°以上，對(duì)近距離的感知較好，通常用于APA，AVP等泊車(chē)場(chǎng)景，安裝于車(chē)輛左右后視鏡下方以及前后車(chē)牌下方等4個(gè)位置做圖像的拼接、車(chē)位檢測(cè)、可視化等功能。

相機(jī)標(biāo)定

相機(jī)標(biāo)定的好壞直接影響目標(biāo)測(cè)距的精度，主要包括內(nèi)參標(biāo)定和外參標(biāo)定。

內(nèi)參標(biāo)定用于做圖像的畸變校正，外參標(biāo)定用于統(tǒng)一多個(gè)傳感器的坐標(biāo)系，將各自的坐標(biāo)原點(diǎn)移動(dòng)到車(chē)輛后軸中心處。

最耳熟能詳?shù)臉?biāo)定方法就是張正友的棋盤(pán)格方法，在實(shí)驗(yàn)室里一般會(huì)做一個(gè)棋盤(pán)格板子標(biāo)定相機(jī)，如下圖：

1. 出廠標(biāo)定

但是自動(dòng)駕駛做前裝量產(chǎn)，由于批量生產(chǎn)的緣故，無(wú)法一輛輛使用標(biāo)定板做標(biāo)定，而是構(gòu)建一個(gè)場(chǎng)地用于車(chē)輛出廠時(shí)標(biāo)定，如下圖所示：

2. 在線(xiàn)標(biāo)定

另外考慮到車(chē)輛運(yùn)行一段時(shí)間或者在顛簸的過(guò)程中攝像頭位置的偏移，感知系統(tǒng)中也有在線(xiàn)標(biāo)定的模型，常利用消失點(diǎn)或車(chē)道線(xiàn)等檢測(cè)得到的信息實(shí)時(shí)更新俯仰角的變化。

數(shù)據(jù)標(biāo)注

自然道路場(chǎng)景存在各種各樣的突發(fā)狀況，所以需要采集大量的實(shí)車(chē)數(shù)據(jù)用來(lái)訓(xùn)練。高質(zhì)量的數(shù)據(jù)標(biāo)注成了一件至關(guān)重要的工作，其中感知系統(tǒng)需要檢測(cè)的全部信息均需要進(jìn)行標(biāo)注。標(biāo)注形式包括目標(biāo)級(jí)標(biāo)注和像素級(jí)標(biāo)注：

目標(biāo)級(jí)標(biāo)注如下圖：

像素級(jí)標(biāo)注如下圖：

由于感知系統(tǒng)中的檢測(cè)和分割任務(wù)常采用深度學(xué)習(xí)的方式實(shí)現(xiàn)，而深度學(xué)習(xí)是一項(xiàng)數(shù)據(jù)驅(qū)動(dòng)的技術(shù)，所以需要大量的數(shù)據(jù)和標(biāo)注信息進(jìn)行迭代。為了提高標(biāo)注的效率，可以采用半自動(dòng)的標(biāo)注方式，通過(guò)在標(biāo)注工具中嵌入一個(gè)神經(jīng)網(wǎng)絡(luò)用于提供一份初始標(biāo)注，然后人工修正，并且在一段時(shí)間后加載新增數(shù)據(jù)和標(biāo)簽進(jìn)行迭代循環(huán)。

功能劃分

視覺(jué)感知可以分為多個(gè)功能模塊，如道路目標(biāo)檢測(cè)、目標(biāo)測(cè)量、可行駛區(qū)域、車(chē)道線(xiàn)檢測(cè)、交通標(biāo)識(shí)檢測(cè)等。

1. 道路目標(biāo)檢測(cè)

對(duì)車(chē)輛（轎車(chē)、卡車(chē)、電動(dòng)車(chē)、自行車(chē)）、行人等動(dòng)態(tài)物體的識(shí)別，輸出被檢測(cè)物的類(lèi)別和3D信息并對(duì)幀間信息做匹配，確保檢測(cè)框輸出的穩(wěn)定和預(yù)測(cè)物體的運(yùn)行軌跡。神經(jīng)網(wǎng)絡(luò)直接做3D回歸準(zhǔn)確度不高，通常會(huì)對(duì)車(chē)輛拆分成車(chē)頭，車(chē)身，車(chē)尾，輪胎多個(gè)部位的檢測(cè)拼成3D框。

目標(biāo)檢測(cè)難點(diǎn)：

小目標(biāo)檢測(cè)問(wèn)題

多目標(biāo)重疊問(wèn)題

部分被遮擋問(wèn)題

外觀相似的問(wèn)題

目標(biāo)多樣性問(wèn)題

對(duì)于視覺(jué)目標(biāo)檢測(cè)，在惡劣天氣環(huán)境下，感知性能會(huì)有一定的下降；在夜晚燈光昏暗時(shí)，容易出現(xiàn)漏檢的問(wèn)題。如果結(jié)合激光雷達(dá)的結(jié)果進(jìn)行融合，對(duì)于目標(biāo)的召回率會(huì)大幅提高。

具體解決方案：

目標(biāo)檢測(cè)任務(wù)現(xiàn)在大多采用深度學(xué)習(xí)的方法來(lái)做位置的回歸和類(lèi)別的區(qū)分。在設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的時(shí)候，可以考慮以下Tricks：

降低下采樣率并結(jié)合空洞卷積，減少小物體特征的損失；

采用FPN結(jié)構(gòu)進(jìn)行深層特征和淺層特征的融合來(lái)增強(qiáng)目標(biāo)的特征信息；

加入Mosiac，MixUp等混疊形式的數(shù)據(jù)增強(qiáng)方法，提供模型對(duì)重疊和遮擋場(chǎng)景的魯棒性；

多種算法或傳感器的聯(lián)合校驗(yàn)，降低在特定場(chǎng)景下的誤檢或漏檢率；

但是深度學(xué)習(xí)作為一種概率形式的算法，即使提取特征能力強(qiáng)大，也不能覆蓋掉所有的動(dòng)態(tài)物體特征。在工程開(kāi)發(fā)中可以依據(jù)現(xiàn)實(shí)場(chǎng)景增加一些幾何約束條件（如尺寸信息，空間位置信息，運(yùn)動(dòng)連貫性等）。

增加幾何約束的好處是提高檢測(cè)率，降低誤檢率，如轎車(chē)不可能誤檢為卡車(chē)。可以訓(xùn)練一個(gè)3D檢測(cè)模型再配合后端多目標(biāo)追蹤優(yōu)化以及基于單目視覺(jué)幾何的測(cè)距方法完成功能模塊。

2. 目標(biāo)測(cè)量

目標(biāo)測(cè)量包括測(cè)量目標(biāo)的橫縱向距離，橫縱向速度等信息。根據(jù)目標(biāo)檢測(cè)跟蹤的輸出借助地面等先驗(yàn)知識(shí)從2D的平面圖像計(jì)算車(chē)輛等動(dòng)態(tài)障礙物的距離信息、速度信息等或者通過(guò)NN網(wǎng)絡(luò)直接回歸出現(xiàn)世界坐標(biāo)系中的物體位置。如下圖所示：

單目測(cè)量難點(diǎn)：

如何從缺乏深度信息的單目系統(tǒng)中計(jì)算出前方的物體距離。那么我們需要弄清楚以下幾個(gè)問(wèn)題：

功能需求的測(cè)距范圍

場(chǎng)景提供的先驗(yàn)知識(shí)

需要做到的橫縱向精度

如果大量依賴(lài)模式識(shí)別技術(shù)來(lái)彌補(bǔ)深度的不足。那么模式識(shí)別是否足夠健壯能滿(mǎn)足串行生產(chǎn)產(chǎn)品的嚴(yán)格檢測(cè)精度要求?

單目測(cè)量方案：

其一，就是通過(guò)光學(xué)幾何模型（即小孔成像模型）建立測(cè)試對(duì)象世界坐標(biāo)與圖像像素坐標(biāo)間的幾何關(guān)系，結(jié)合攝像頭內(nèi)、外參的標(biāo)定結(jié)果，便可以得到與前方車(chē)輛或障礙物間的距離；

其二，就是在通過(guò)采集的圖像樣本，直接回歸得到圖像像素坐標(biāo)與車(chē)距間的函數(shù)關(guān)系，這種方法缺少必要的理論支撐，是純粹的數(shù)據(jù)擬合方法，因此受限于擬合參數(shù)的提取精度，魯棒性相對(duì)較差。

3.可行駛區(qū)域

對(duì)車(chē)輛行駛的可行駛區(qū)域進(jìn)行劃分主要是對(duì)車(chē)輛、路沿、無(wú)障礙物的區(qū)域進(jìn)行劃分，最后輸出自車(chē)可以通行的安全區(qū)域。

可行駛區(qū)域難點(diǎn)：

分割的區(qū)域邊緣不夠精細(xì)；

數(shù)據(jù)的類(lèi)別存在大量不平衡問(wèn)題；

如何從分割圖中獲取可行駛區(qū)域；

可行駛區(qū)域方案：

可行駛區(qū)域的檢測(cè)本質(zhì)上是一種語(yǔ)義分割的問(wèn)題，大多采用深度學(xué)習(xí)進(jìn)行實(shí)現(xiàn)。近些年分割網(wǎng)絡(luò)在空洞卷積，池化金字塔，路徑聚合，環(huán)境編碼等方法的助力下效果越來(lái)越好，但是在靜態(tài)或動(dòng)態(tài)障礙物的邊界處還是存在一些毛刺。在工程上可以配合路沿、車(chē)道線(xiàn)、目標(biāo)框的結(jié)果來(lái)修正語(yǔ)義的邊緣信息并從矢量包絡(luò)或柵格圖中定義可行駛區(qū)域；數(shù)據(jù)的不平衡問(wèn)題往往出在訓(xùn)練階段，通常可從損失函數(shù)的設(shè)計(jì)以及數(shù)據(jù)的上下采樣來(lái)緩解此類(lèi)現(xiàn)象。

4. 車(chē)道線(xiàn)檢測(cè)

車(chē)道線(xiàn)檢測(cè)包括對(duì)實(shí)線(xiàn)、虛線(xiàn)、單黃線(xiàn)、雙黃線(xiàn)檢測(cè)、匯入線(xiàn)等各種類(lèi)型的檢測(cè)。功能要求上也逐漸從像素級(jí)的分割到抽象空間的判斷，如下圖所示：

車(chē)道線(xiàn)檢測(cè)難點(diǎn)：

車(chē)道線(xiàn)的細(xì)長(zhǎng)形態(tài)結(jié)構(gòu)，需要強(qiáng)大的高低層次特征融合，來(lái)同時(shí)獲取全局的空間結(jié)構(gòu)關(guān)系，和細(xì)節(jié)處的定位精度。

車(chē)道線(xiàn)的形態(tài)有很多不確定性，比如被遮擋，磨損，以及道路變化時(shí)本身的不連續(xù)性。需要算法針對(duì)這些情況有較強(qiáng)的推測(cè)能力。

車(chē)輛的偏離或換道過(guò)程會(huì)產(chǎn)生自車(chē)所在車(chē)道的切換，車(chē)道線(xiàn)也會(huì)發(fā)生左/右線(xiàn)的切換。一些提前給車(chē)道線(xiàn)賦值固定序號(hào)的方法，在換道過(guò)程中會(huì)產(chǎn)生歧義的情況。

車(chē)道線(xiàn)檢測(cè)方案：

其一，基于傳統(tǒng)的圖像處理方法，通過(guò)邊緣檢測(cè)濾波等方式分割出車(chē)道線(xiàn)區(qū)域，然后結(jié)合霍夫變換、隨機(jī)采樣一致性等算法進(jìn)行車(chē)道線(xiàn)檢測(cè)。這類(lèi)算法需要人工手動(dòng)去調(diào)濾波算子，根據(jù)算法所針對(duì)的街道場(chǎng)景特點(diǎn)手動(dòng)調(diào)節(jié)參數(shù)。

其二，基于深度學(xué)習(xí)的方法，通過(guò)二值語(yǔ)義分割產(chǎn)生掩碼圖部分，再對(duì)掩碼圖的線(xiàn)進(jìn)行三次方程擬合。

5.交通標(biāo)識(shí)檢測(cè)

交通標(biāo)識(shí)檢測(cè)包括對(duì)交通紅綠燈、交通標(biāo)志牌等靜態(tài)目標(biāo)的檢測(cè)識(shí)別。如下圖所示：

交通標(biāo)識(shí)檢測(cè)難點(diǎn)：

小目標(biāo)問(wèn)題，往往交通標(biāo)識(shí)目標(biāo)較小；

多樣性問(wèn)題，不同地區(qū)紅綠燈形態(tài)各異；

場(chǎng)景復(fù)雜問(wèn)題，路口處的信號(hào)燈安裝位置，加上臨時(shí)信號(hào)燈，算法應(yīng)該選擇哪個(gè)作為通行標(biāo)準(zhǔn)；

交通標(biāo)識(shí)檢測(cè)方案：

雖然對(duì)于小目標(biāo)檢測(cè)、目標(biāo)多樣性問(wèn)題，也可以采用類(lèi)似道路目標(biāo)檢測(cè)中的修改神經(jīng)網(wǎng)絡(luò)，堆疊各種Tricks增強(qiáng)特征提取和泛化能力，再用大量數(shù)據(jù)迭代來(lái)覆蓋各種形狀的信號(hào)燈。但是最有效直接的手段仍然是基于V2X的普及，通過(guò)發(fā)送的車(chē)端的準(zhǔn)確信號(hào)，不僅解決了傳感器對(duì)交通標(biāo)識(shí)感知的檢測(cè)誤差問(wèn)題，同時(shí)也可以避免路口信號(hào)燈的選擇問(wèn)題。

自動(dòng)駕駛的發(fā)展，很大程度上不會(huì)是單車(chē)的智能，而是依托于智慧城市的建立，在車(chē)路協(xié)同的過(guò)程中各司其職做環(huán)境的感知。

模塊架構(gòu)

目前開(kāi)源的感知框架Apollo和Autoware，不少研究人員或者中小公司的感知系統(tǒng)開(kāi)發(fā)會(huì)借鑒其中的思想，所以在這里介紹一下Apollo感知系統(tǒng)的模塊組成。

相機(jī)輸入-->圖像的預(yù)處理-->神經(jīng)網(wǎng)絡(luò)-->多個(gè)分支（紅綠燈識(shí)別、車(chē)道線(xiàn)識(shí)別、2D物體識(shí)別轉(zhuǎn)3D）-->后處理-->輸出結(jié)果（輸出物體類(lèi)型、距離、速度代表被檢測(cè)物的朝向）

即輸入攝像頭的數(shù)據(jù)，以每幀信息為基礎(chǔ)進(jìn)行檢測(cè)、分類(lèi)、分割等計(jì)算，最后利用多幀信息進(jìn)行多目標(biāo)跟蹤，輸出相關(guān)結(jié)果。整個(gè)感知流程圖如下：

上述核心環(huán)節(jié)仍是神經(jīng)網(wǎng)絡(luò)算法，它的精度、速度、硬件資源利用率都是需要衡量考慮的指標(biāo)，哪一個(gè)環(huán)節(jié)做好都不容易，物體檢測(cè)最容易誤檢或漏檢、車(chē)道線(xiàn)檢測(cè)擬合方法較難、紅綠燈這類(lèi)小物體檢測(cè)難度大，通行空間的邊界點(diǎn)要求高。

責(zé)任編輯：lq