[首發(fā)于智駕最前沿微信公眾號(hào)]在自動(dòng)駕駛領(lǐng)域，經(jīng)常會(huì)聽(tīng)到BEV相關(guān)的技術(shù)討論。BEV是Bird’s Eye View的縮寫，中文譯為“鳥瞰視角”或“俯視圖”。簡(jiǎn)單理解它的含義，就是把攝像頭、激光雷達(dá)、毫米波雷達(dá)或地圖信息，統(tǒng)一映射到同一張以車為中心或者以世界坐標(biāo)為基準(zhǔn)的平面上，自動(dòng)駕駛系統(tǒng)會(huì)像站在空中俯瞰一樣，同時(shí)看到車周圍所有物體的位置、車道線以及靜態(tài)障礙物和動(dòng)態(tài)交通參與者的分布。BEV能把三維的感知問(wèn)題轉(zhuǎn)換成二維的空間推理問(wèn)題，方便把感知、預(yù)測(cè)、規(guī)劃等耦合在一起，從而提升自動(dòng)駕駛的安全性。

BEV作為一種中間表示（representation），其強(qiáng)調(diào)空間一致性。不管信息來(lái)自哪種傳感器、時(shí)間上如何變化，最后都可以放到同一個(gè)平面與同一坐標(biāo)系下去表示。對(duì)于自動(dòng)駕駛系統(tǒng)來(lái)說(shuō)，統(tǒng)一視角帶來(lái)的直觀好處是很明顯的，規(guī)劃器可以直接在地圖樣式的平面上找可通行區(qū)域、預(yù)測(cè)模塊可以基于統(tǒng)一坐標(biāo)去估算軌跡、感知模塊的輸出更容易被后一層模塊消費(fèi)，從而構(gòu)建起端到端更流暢的工作流。

BEV的技術(shù)架構(gòu)與實(shí)現(xiàn)要點(diǎn)

要將傳感器數(shù)據(jù)變成可用的BEV表示，需要經(jīng)過(guò)一系列的技術(shù)步驟，涉及到傳感器編碼、視角轉(zhuǎn)換與對(duì)齊、特征融合與BEV編碼、時(shí)序處理和任務(wù)頭（例如檢測(cè)、語(yǔ)義分割、軌跡預(yù)測(cè)、占據(jù)網(wǎng)格輸出等）等幾大關(guān)鍵模塊。這些步驟會(huì)因傳感器組合（純視覺(jué)、視覺(jué)+雷達(dá)、視覺(jué)+激光雷達(dá)等）不同而有所差異，但總體思路類似。

在純攝像頭的方案里，先把每個(gè)攝像頭的圖像經(jīng)過(guò)一個(gè)特征提取網(wǎng)絡(luò)（例如卷積神經(jīng)網(wǎng)絡(luò)或視覺(jué)變換器）得到高維特征圖。然后就是把這些視角特征“投影”到俯視平面上。實(shí)現(xiàn)純攝像頭的BEV最簡(jiǎn)單的投影方式是基于幾何變換，如通過(guò)相機(jī)內(nèi)外參和一個(gè)深度估計(jì)模塊，將像素點(diǎn)反投影為三維點(diǎn)，再把這些點(diǎn)按照地面坐標(biāo)投影到平面上，形成BEV的特征投影圖。還有一些技術(shù)方案會(huì)在像素到BEV的映射中引入可學(xué)習(xí)的模塊，這些模塊可以在訓(xùn)練中學(xué)習(xí)如何把不同視角、多尺度的特征以最合適的方式聚合到BEV網(wǎng)格中，從而緩解直接幾何投影帶來(lái)的空洞或誤差。

在帶有激光雷達(dá)的系統(tǒng)中，實(shí)現(xiàn)BEV的方式把LiDAR的點(diǎn)云先投影到BEV網(wǎng)格（通常稱為鳥瞰柵格），并把點(diǎn)云的強(qiáng)度、點(diǎn)數(shù)、最大/最小高度等信息編碼成每個(gè)網(wǎng)格單元的特征。激光雷達(dá)提供的深度信息本身就很準(zhǔn)確，這使得BEV表示的定位精度更高、占據(jù)估計(jì)會(huì)更可靠。

毫米波雷達(dá)會(huì)提供稀疏但有用的速度信息，它能補(bǔ)充BEV中的動(dòng)態(tài)信息。毫米波雷達(dá)的回波可以投影到BEV網(wǎng)格，用作速度場(chǎng)估計(jì)或作為輔助特征。BEV的實(shí)現(xiàn)關(guān)鍵在于坐標(biāo)變換的精度、多傳感器間的時(shí)間對(duì)齊、以及如何在BEV網(wǎng)格上高效表示語(yǔ)義和運(yùn)動(dòng)信息。

在BEV的網(wǎng)絡(luò)架構(gòu)內(nèi)部，常用組件有BEVencoder（對(duì)BEV網(wǎng)格做進(jìn)一步卷積/變換以增加感受野和語(yǔ)義聚合）、跨時(shí)間融合模塊（把多個(gè)時(shí)間步的BEV特征融合起來(lái)以獲得運(yùn)動(dòng)線索）、以及若干任務(wù)頭（用于輸出檢測(cè)框、分割掩碼、占用概率、軌跡預(yù)測(cè)等）。時(shí)序上需要考慮ego-motion（自車運(yùn)動(dòng)）的補(bǔ)償，也就是說(shuō)在融合不同時(shí)間步信息前，必須把以往幀的BEV特征逆向轉(zhuǎn)換到當(dāng)前坐標(biāo)系，避免特征因車輛運(yùn)動(dòng)而錯(cuò)位。

BEV對(duì)自動(dòng)駕駛系統(tǒng)的影響與優(yōu)勢(shì)

BEV作為一種“面向空間”的表示，可以讓規(guī)劃器在同一張圖上進(jìn)行可通行區(qū)域的搜索、障礙物避讓和軌跡生成。相比于處理多個(gè)感知框或不同相機(jī)視角的原始輸出，使用BEV后，規(guī)劃模塊面對(duì)的是一張有語(yǔ)義、有占據(jù)概率、且以精確坐標(biāo)標(biāo)注的地圖式數(shù)據(jù)，設(shè)計(jì)會(huì)變得更直觀，耦合度更低。

BEV也更利于多傳感器融合。相機(jī)擅長(zhǎng)識(shí)別語(yǔ)義（行人、車道線、交通標(biāo)志），LiDAR擅長(zhǎng)提供幾何和精確距離，毫米波雷達(dá)擅長(zhǎng)速度測(cè)量。把這些信息都投影到同一個(gè)BEV網(wǎng)格后，融合的方式就會(huì)從“跨傳感器的復(fù)雜特征對(duì)齊”變成“在統(tǒng)一空間上做通道或注意力融合”，更容易保證一致性并減少信息丟失。這樣的統(tǒng)一表示也便于把地圖（包括高精地圖或矢量地圖）與實(shí)時(shí)感知對(duì)齊，用來(lái)校正感知結(jié)果或約束規(guī)劃輸出。

BEV還有利于端到端或大模型思路的推進(jìn)。在BEV上訓(xùn)練的網(wǎng)絡(luò)可以同時(shí)輸出檢測(cè)、分割、軌跡預(yù)測(cè)等多個(gè)任務(wù)，且這些任務(wù)共享相同的空間表示，這使得多任務(wù)學(xué)習(xí)效果會(huì)更好、參數(shù)共享能更高效。對(duì)于想把決策和控制也盡量靠近感知端做聯(lián)合優(yōu)化的研究路線，BEV提供了天然的中間層接口，使得“從感知到軌跡”的聯(lián)合訓(xùn)練變得可行。

BEV更提升了對(duì)復(fù)雜交通場(chǎng)景的處理能力。復(fù)雜交叉口、多車道并線、環(huán)形交叉以及多模態(tài)行為的預(yù)測(cè)，都需要對(duì)空間關(guān)系和動(dòng)態(tài)演化做長(zhǎng)時(shí)間尺度的推理。BEV可以很方便地在空間上展示交互關(guān)系，舉個(gè)例子，即便某輛車被另一輛車遮擋，但在BEV上仍然可以通過(guò)軌跡歷史和速度場(chǎng)推斷其大致位置，從而為預(yù)測(cè)模塊提供更多上下文信息。

BEV還有利于系統(tǒng)調(diào)試與可視化。工程師在開發(fā)或回放時(shí)可以直接看到BEV圖像，判斷識(shí)別錯(cuò)誤是因?yàn)樯疃裙烙?jì)錯(cuò)誤、投影誤差還是傳感器校準(zhǔn)問(wèn)題。這種可視化的直觀性極大加速了開發(fā)和問(wèn)題定位流程。

限制、挑戰(zhàn)以及未來(lái)發(fā)展方向

BEV最大的一個(gè)挑戰(zhàn)來(lái)自于純視覺(jué)BEV的深度與尺度不確定性。單目相機(jī)本身缺乏精確深度信息，把像素特征投影到平面上需要可靠的深度估計(jì)或假設(shè)地面平面，這在有坡道、橋梁或者復(fù)雜立體交通結(jié)構(gòu)的場(chǎng)景下容易出錯(cuò)。為了解決這一問(wèn)題，會(huì)采用稠密深度估計(jì)、結(jié)構(gòu)光或引入LiDAR輔助，或者在網(wǎng)絡(luò)中加入可學(xué)習(xí)的視變換模塊以降低幾何誤差。

BEV的另一個(gè)挑戰(zhàn)是分辨率與計(jì)算資源的平衡。把周邊環(huán)境以高分辨率網(wǎng)格編碼，會(huì)增加內(nèi)存和計(jì)算壓力；但分辨率過(guò)低又會(huì)損失對(duì)小目標(biāo)（如行人、兒童騎車人）的識(shí)別能力。在設(shè)計(jì)時(shí)需要在BEV網(wǎng)格大小、特征通道數(shù)、時(shí)間步數(shù)之間做選擇，還要考慮實(shí)時(shí)性與延遲對(duì)控制安全的影響。

多傳感器的時(shí)序和空間對(duì)齊也是BEV應(yīng)用中的一大難題。攝像頭幀率、LiDAR點(diǎn)云率、雷達(dá)回波率各不相同，且每個(gè)傳感器都有自己的時(shí)延和抖動(dòng)。把它們正確地同步、補(bǔ)償并映射到同一BEV網(wǎng)格，需要準(zhǔn)確的時(shí)間戳、精確的外參和魯棒的運(yùn)動(dòng)補(bǔ)償機(jī)制。任何一個(gè)環(huán)節(jié)的微小誤差，在BEV上都可能累積成較大的位置偏移，影響下游規(guī)劃。

想訓(xùn)練一個(gè)魯棒的BEV模型，對(duì)數(shù)據(jù)標(biāo)注和訓(xùn)練樣本也提出了極高要求。不僅需要海量多傳感器數(shù)據(jù)在長(zhǎng)時(shí)間尺度上的配合，其標(biāo)簽還必須與BEV空間中的網(wǎng)格精確對(duì)齊。此類標(biāo)注的成本十分高昂，而為了確保模型的泛化能力，還需覆蓋夜間、雨雪、隧道等各類長(zhǎng)尾場(chǎng)景，這會(huì)導(dǎo)致數(shù)據(jù)分布偏差問(wèn)題尤為突出。為應(yīng)對(duì)這些挑戰(zhàn)，基于模擬器的數(shù)據(jù)生成以及弱監(jiān)督、自監(jiān)督學(xué)習(xí)已成為重要的補(bǔ)充方向。但如何將模擬環(huán)境中訓(xùn)練的成果無(wú)縫遷移到真實(shí)世界場(chǎng)景中，目前仍是亟待突破的難點(diǎn)。

最后的話

BEV是當(dāng)前自動(dòng)駕駛感知與決策鏈路中非常實(shí)用且被廣泛采納的一種空間表示。它用統(tǒng)一的平面視角把多模態(tài)、多時(shí)間的信息粘合在一起，使得很多復(fù)雜的交通場(chǎng)景推理變得更加可控和直觀。

審核編輯 黃宇