01 ? 背景

目前學(xué)術(shù)界和工業(yè)界（尤其自動(dòng)駕駛公司）均開始研究HD地圖生成，也有一些公開的學(xué)術(shù)數(shù)據(jù)集以及非常多的學(xué)術(shù)工作，此外各家自動(dòng)駕駛公司也在AIDAY上公開分享技術(shù)方案。從這些公開信息來看，也觀察到了一些行業(yè)趨勢(shì)，例如在線建圖、圖像BEV感知、點(diǎn)圖融合以及車道線矢量拓?fù)浣５取１疚膶?duì)相關(guān)的學(xué)術(shù)工作和自動(dòng)駕駛公司的技術(shù)方案進(jìn)行解讀，以及談?wù)剛€(gè)人的一些思考。 ?

? 02 ? 學(xué)術(shù)數(shù)據(jù)集

學(xué)術(shù)數(shù)據(jù)集對(duì)比 ? 目前含HD地圖的學(xué)術(shù)數(shù)據(jù)集包括：nuScenes【1】以及Argoverse2【2】。著重介紹下Argoverse2數(shù)據(jù)集，該數(shù)據(jù)集包含信息非常豐富： ?

包括車道線、道路邊界、人行橫道、停止線等靜態(tài)地圖要素，其中幾何均用3D坐標(biāo)表示，并且同時(shí)包含了實(shí)物車道線和虛擬車道線；

提供了密集的地面高度圖（30cm），通過地面高度可以僅保留地面的點(diǎn)云，便于處理地面上的地圖要素；

Argoverse2的HD地圖

03 ? 學(xué)術(shù)工作

該領(lǐng)域目前是自動(dòng)駕駛公司的關(guān)注重點(diǎn)，因此相關(guān)學(xué)術(shù)工作基本都來自高校和車企合作，目前已經(jīng)公開的論文，包括理想、地平線和毫末智行等車企。 ? 而這些學(xué)術(shù)工作的技術(shù)方案整體可以概括為兩部分：（1）BEV特征生成（2）地圖要素建模。 ? ? 04 ? BEV特征生成

在BEV空間進(jìn)行在線建圖，已經(jīng)是目前學(xué)術(shù)界和業(yè)界的統(tǒng)一認(rèn)識(shí)，其優(yōu)勢(shì)主要包括： ?

減少車輛俯仰顛簸導(dǎo)致的內(nèi)外八字抖動(dòng)，適合車道線這種同時(shí)在道路中間以及兩邊存在的物體；

遠(yuǎn)近檢測結(jié)果分布均勻，適合車道線這種細(xì)長物體；

便于多相機(jī)和時(shí)序融合，適合車道線這種可能在單幀遮擋看不見或單視角相機(jī)下拍攝不全的物體；

而在如何生成BEV特征上，不同論文的方法有些許區(qū)別。 ? HDMapNet【3】（來自清華和理想），采用了點(diǎn)圖融合方式生成BEV特征，其中點(diǎn)云分支使用PointPillar【4】+PointNet【5】方式提取特征，圖像分支則使用MLP方式實(shí)現(xiàn)PV2BEV轉(zhuǎn)換，即將PV空間到BEV空間的變換看作變換矩陣參數(shù)，并通過MLP去學(xué)習(xí)（擬合）該參數(shù)。 ? HDMapNet架構(gòu)圖 ? 其中環(huán)視圖像經(jīng)過PV2BEV轉(zhuǎn)換，實(shí)現(xiàn)了不同視角相機(jī)的圖像特征融合。 ? HDMapNet的環(huán)視相機(jī)特征融合 ? VectorMapNet【6】是HDMapNet的后續(xù)工作（來自清華和理想），同樣采用了點(diǎn)圖融合方式生成BEV特征，區(qū)別在于對(duì)圖像分支采用IPM+高度插值方式實(shí)現(xiàn)PV2BEV轉(zhuǎn)換。IPM是傳統(tǒng)的PV2BEV轉(zhuǎn)換方法，但需要滿足地面高度平坦的假設(shè)。現(xiàn)實(shí)中，該假設(shè)通常較難滿足，因此該工作假設(shè)了4個(gè)不同地面高度下（-1m,0m,1m,2m）的BEV空間，分別將圖像特征經(jīng)過IPM投影到這些BEV空間上，然后將這些特征concatenate起來得到最終的BEV特征。 ? VectorMapNet架構(gòu)圖 ? MapTR【7】（來自地平線）則是只采用了圖像分支生成BEV特征，利用他們之前提出的GKT【8】實(shí)現(xiàn)PV2BEV轉(zhuǎn)換。對(duì)于BEV Query，先通過相機(jī)內(nèi)外參確定在圖像的先驗(yàn)位置，并且提取附近的Kh×Kw核區(qū)域特征，然后和BEV Query做Cross-Attention得到BEV特征。 ? GKT架構(gòu)圖 ? SuperFusion【9】（來自毫末智行）提出了長距離的車道拓?fù)渖煞桨福⑶蚁鄳?yīng)地采用多層級(jí)的點(diǎn)云和圖像特征融合來生成BEV特征（類似CaDDN【14】將深度圖分布和圖像特征外積得到視椎體特征，再通過voxel pooling方式生成BEV特征）。其中點(diǎn)云分支提取特征方式和HDMapNet一致，而圖像分支則基于深度估計(jì)實(shí)現(xiàn)PV2BEV轉(zhuǎn)換。 ? SuperFusion架構(gòu)圖 ? 其多層級(jí)的點(diǎn)圖特征融合，包括data-level，feature-level以及bev-level： ?

Data-level特征融合：將點(diǎn)云投影到圖像平面得到sparse深度圖，然后通過深度補(bǔ)全得到dense深度圖，再將sparse深度圖和原圖concatenate，并用dense深度圖進(jìn)行監(jiān)督訓(xùn)練；

Feature-level特征融合：點(diǎn)云特征包含距離近，而圖像特征包含距離遠(yuǎn)，提出了一種圖像引導(dǎo)的點(diǎn)云BEV特征生成方式，即將FV圖像特征作為K和V，將點(diǎn)云的BEV特征作為Q去和圖像特征做cross-attention得到新的BEV特征，并經(jīng)過一系列卷積操作得到最終的點(diǎn)云BEV特征；

SuperFusion的Feature-level特征融合 ?

BEV-level特征融合：由于深度估計(jì)誤差和相機(jī)內(nèi)外參誤差，直接concatenate圖像和點(diǎn)云的BEV特征會(huì)存在特征不對(duì)齊問題。提出了一種BEV對(duì)齊方法，即將圖像和點(diǎn)云BEV特征先concat后學(xué)習(xí)flow field，然后將該flow field用于圖像BEV特征的warp（根據(jù)每個(gè)點(diǎn)的flow field進(jìn)行雙線性插值），從而生成對(duì)齊后的圖像BEV特征；

SuperFusion的BEV-level特征融合 ? ? 05 ? 地圖要素建模

關(guān)于地圖要素的建模方式，目前學(xué)術(shù)界趨勢(shì)是由像素到矢量點(diǎn)的逐漸轉(zhuǎn)變，主要考慮是有序矢量點(diǎn)集可以統(tǒng)一表達(dá)地圖要素以及拓?fù)溥B接關(guān)系。

HDMapNet采用像素方式建模車道線，引入語義分割、實(shí)例Embedding以及方向預(yù)測head分別學(xué)習(xí)車道線的語義像素位置、實(shí)例信息以及方向，并通過復(fù)雜的后處理（先采用DBSCAN對(duì)實(shí)例Embedding進(jìn)行聚類，再采用NMS去除重復(fù)實(shí)例，最后通過預(yù)測的方向迭代地連接pixel），從而實(shí)現(xiàn)最終的車道線矢量化表達(dá)。 ? HDMapNet架構(gòu)圖 ? VectorMapNet采用矢量點(diǎn)方式建模車道線，并拆解成Element檢測階段和Polyline生成階段。 ? VectorMapNet架構(gòu)圖 ? Element檢測階段的目標(biāo)是檢測并分類全部的Map Element，采用了DETR【11】這種set prediction方式，即引入可學(xué)習(xí)的Element Query學(xué)習(xí)Map Element的關(guān)鍵點(diǎn)位置和類別。作者嘗試了多種定義關(guān)鍵點(diǎn)的方式，最終Bounding Box方式最優(yōu)。 ? 關(guān)鍵點(diǎn)表示方式 ? Polyline生成階段的目標(biāo)是基于第一階段輸出的Map Element的類別和關(guān)鍵點(diǎn)，進(jìn)一步生成Map Element的完整幾何形狀。將Polyline Generator建模成條件聯(lián)合概率分布，并轉(zhuǎn)換成一系列的頂點(diǎn)坐標(biāo)的條件分布乘積，如下： ? Polyline Generator建模 ? 進(jìn)而使用自回歸網(wǎng)絡(luò)對(duì)該分布進(jìn)行建模，即在每個(gè)步驟都會(huì)預(yù)測下一個(gè)頂點(diǎn)坐標(biāo)的分布參數(shù)，并預(yù)測End of Sequence token (EOS) 來終止序列生成。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)采用普通的Transformer結(jié)構(gòu)，每根線的關(guān)鍵點(diǎn)坐標(biāo)和類標(biāo)簽被token化，并作為Transformer解碼器的query輸入，然后將一系列頂點(diǎn)token迭代地輸入到Transformer解碼器中，并和BEV特征做cross-attention，從而解碼出線的多個(gè)頂點(diǎn)。 ? MapTR同樣采用矢量點(diǎn)方式建模車道線，提出了等效排列建模方式來消除矢量點(diǎn)連接關(guān)系的歧義問題，并且相應(yīng)地設(shè)計(jì)了Instance Query和Point Query進(jìn)行分層二分圖匹配，用于靈活地編碼結(jié)構(gòu)化的地圖信息，最終實(shí)現(xiàn)端到端車道線拓?fù)渖伞?? MapTR架構(gòu)圖 ? 等效排列建模就是將地圖要素的所有可能點(diǎn)集排列方式作為一組，模型在學(xué)習(xí)過程中可以任意匹配其中一種排列真值，從而避免了固定排列的點(diǎn)集強(qiáng)加給模型監(jiān)督會(huì)導(dǎo)致和其他等效排列相矛盾，最終阻礙模型學(xué)習(xí)的問題。 ? 等效排列建模 ? 分層二分圖匹配則同樣借鑒了DETR這種set prediction方式，同時(shí)引入了Instance Query預(yù)測地圖要素實(shí)例，以及Point Query預(yù)測矢量點(diǎn)，因此匹配過程也包括了Instance-level匹配和Point-level匹配。匹配代價(jià)中，位置匹配代價(jià)是關(guān)鍵，采用了Point2Point方式，即先找到最佳的點(diǎn)到點(diǎn)匹配，并將所有點(diǎn)對(duì)的Manhattan距離相加，作為兩個(gè)點(diǎn)集的位置匹配代價(jià)，該代價(jià)同時(shí)用在Instance-level和Point-level匹配上。此外，還引入了Cosine相似度來計(jì)算Edge Direction損失，用于學(xué)習(xí)矢量點(diǎn)的連接關(guān)系。 ? Edge Direction損失 ? SuperFusion則和HDMapNet一樣，采用像素方式建模車道線，方法完全一致。

實(shí)驗(yàn)結(jié)果

06 ? 實(shí)驗(yàn)結(jié)果

目前實(shí)驗(yàn)效果最好的是MapTR方法，僅通過圖像源即可超過其他方法的點(diǎn)圖融合效果，指標(biāo)和可視化結(jié)果如下：

MapTR實(shí)驗(yàn)結(jié)果

MapTR可視化 ? 另外有趣的一個(gè)實(shí)驗(yàn)是，VectorMapNet和SuperFusion均驗(yàn)證了引入該車道線拓?fù)浜髮?duì)軌跡預(yù)測的影響，也說明了在線建圖的價(jià)值，如下： ? 軌跡預(yù)測結(jié)果 軌跡預(yù)測可視化

07 ? 業(yè)界工作

NO.1 特斯拉

特斯拉在AIDAY2022中著重介紹了車道拓?fù)渖杉夹g(shù)方案。借鑒語言模型中的Transformer decoder開發(fā)了Vector Lane模塊，通過序列的方式自回歸地輸出結(jié)果。整體思路是將車道線相關(guān)信息，包括車道線節(jié)點(diǎn)位置、車道線節(jié)點(diǎn)屬性（起點(diǎn)，中間點(diǎn)，終點(diǎn)等）、分叉點(diǎn)、匯合點(diǎn)、以及車道線樣條曲線幾何參數(shù)進(jìn)行編碼，做成類似語言模型中單詞token的編碼，然后利用時(shí)序處理辦法進(jìn)行處理，將這種表示看成“Language of Lanes”。 AIDAY2022， https://www.youtube.com/watch?v=ODSJsviD_SU&t=10531s ? Vector Lane模塊 ? 其中BEV特征（Dense World Tensor）不僅包括視覺圖像特征，還引入了低精度地圖中關(guān)于車道線幾何/拓?fù)潢P(guān)系的信息、車道線數(shù)量、寬度、以及特殊車道屬性等信息的編碼特征，這些信息提供了非常有用的先驗(yàn)信息，在生成車道線幾何拓?fù)鋾r(shí)很有幫助，尤其是生成無油漆區(qū)域的虛擬車道線。 ? 自回歸方式生成車道線幾何拓?fù)涞脑敿?xì)過程如下： ?

先選取一個(gè)生成順序（如從左到右，從上到下）對(duì)空間進(jìn)行離散化（tokenization），然后就可以用Vector Lane模塊預(yù)測一系列的離散token，即車道線節(jié)點(diǎn)。考慮到計(jì)算效率，采用了Coarse to Fine方式預(yù)測，即先預(yù)測一個(gè)節(jié)點(diǎn)的粗略位置的（index:18），然后再預(yù)測其精確位置（index:31），如下：

預(yù)測節(jié)點(diǎn) ?

接著再預(yù)測節(jié)點(diǎn)的語義信息，例如該節(jié)點(diǎn)是車道線起點(diǎn)，于是預(yù)測“Start”，因?yàn)槭恰癝tart”點(diǎn)，所以分叉/合并/曲率參數(shù)無需預(yù)測，輸出None。

預(yù)測節(jié)點(diǎn)的語義信息 ?

然后所有預(yù)測結(jié)果接MLP層輸出維度一致的Embedding，并將所有的Embedding相連得到車道線節(jié)點(diǎn)的最終特征，即輸出第一個(gè)word（綠色點(diǎn)），如下：

節(jié)點(diǎn)特征整合 ?

接著將第一個(gè)word輸入給Self Attention模塊，得到新的Query，然后和Vector Space Encoding生成的Value和Key進(jìn)行Cross Attention，預(yù)測第二個(gè)word（黃色點(diǎn)），整體過程和預(yù)測第一個(gè)word相同，只是第二個(gè)word的語義是“Continue”（代表延續(xù)點(diǎn)），分叉/合并預(yù)測結(jié)果仍為None，曲率參數(shù)則需要預(yù)測（根據(jù)不同曲線方程建模，例如三次多項(xiàng)式曲線或貝塞爾曲線等），如下：

迭代預(yù)測第二個(gè)節(jié)點(diǎn) ?

接著同樣方式預(yù)測第三個(gè)word（紫色點(diǎn)），如下：

迭代預(yù)測第三個(gè)節(jié)點(diǎn) ?

然后回到起始點(diǎn)繼續(xù)預(yù)測，得到第四個(gè)word（藍(lán)色點(diǎn)），該word和也是和第一個(gè)word相連，所以語義預(yù)測為“Fork”（合并點(diǎn)），如下：

迭代預(yù)測第四個(gè)節(jié)點(diǎn) ?

進(jìn)一步輸入前序所有word，預(yù)測第五個(gè)word，該word的語義預(yù)測為“End of sentence”（終止點(diǎn)），代表從最初的第一個(gè)word出發(fā)的所有車道線已經(jīng)預(yù)測完成。

迭代預(yù)測第五個(gè)節(jié)點(diǎn) ?

由此遍歷所有起始點(diǎn)，即可生成完整的車道線拓?fù)洌缦拢??

車道線拓?fù)? 在線建圖可視化 ? ? ? NO.2 百度

百度在ApolloDay2022上也介紹了生成在線地圖的技術(shù)方案，可以概述為以下幾點(diǎn)：

ApolloDay2022，
https://www.apollo.auto/apolloday/#video

點(diǎn)圖融合，圖像分支基于Transformer實(shí)現(xiàn)PV2BEV空間轉(zhuǎn)換；

Query-based的set-prediction，引入Instance query、Point query以及Stuff query同時(shí)學(xué)習(xí)地圖要素實(shí)例、矢量點(diǎn)以及可行駛區(qū)域分割等；

高精地圖（精度）和眾源地圖（規(guī)模和鮮度）多源融合；

在線建圖架構(gòu)圖 在線建圖架構(gòu)圖 ? ? ? NO.3 毫末智行

毫末智行是一家重感知輕地圖的公司，因此也在毫末智行AI DAY上著重介紹了在線建圖方案，可以概述為以下幾點(diǎn)：

毫末智行AI DAY，
https://mp.weixin.qq.com/s/bwdSkns_TP4xE1xg32Qb6g

點(diǎn)圖融合，圖像分支基于Transformer實(shí)現(xiàn)PV2BEV空間轉(zhuǎn)換；

實(shí)物車道線檢測+虛擬車道線拓?fù)洌瑢?shí)物車道線檢測的Head采用HDMapNet方式生成，虛擬車道線拓?fù)鋭t是以SD地圖作為引導(dǎo)信息，結(jié)合BEV特征和實(shí)物車道線結(jié)果，使用自回歸編解碼網(wǎng)絡(luò)，解碼為結(jié)構(gòu)化的拓?fù)潼c(diǎn)序列，實(shí)現(xiàn)車道拓?fù)漕A(yù)測； ?

實(shí)物車道線檢測 虛擬車道線拓?fù)渖?/p>

NO.4 地平線

地平線也在分享中也介紹了其在線建圖方案。

https://mp.weixin.qq.com/s/HrI6Nx7IefvRFULe_KUzJA

BEV感知架構(gòu) ? 通過六個(gè)圖像傳感攝像頭的輸入，得到全局BEV語義感知結(jié)果，這更多是感知看得見的內(nèi)容，如下圖所示： ? 語義感知 ? 再通過引入時(shí)序信息，將想象力引入到 BEV感知中，從而感知看不見的內(nèi)容，如下右圖所示，感知逐漸擴(kuò)展自己對(duì)于周邊車道線、道路以及連接關(guān)系的理解，這個(gè)過程一邊在做感知，一邊在做建圖，也叫做online maps。 ? 超視距感知

NO.5 小鵬

小鵬汽車目前推出了全新一代的感知架構(gòu)XNet，結(jié)合全車傳感器，對(duì)于靜態(tài)環(huán)境有了非常強(qiáng)的感知，可以實(shí)時(shí)生成“高精地圖”。核心是通過Transformer實(shí)現(xiàn)多傳感器、多相機(jī)、時(shí)序多幀的特征融合。

XNet:https://mp.weixin.qq.com/s/zOWoawMiaPPqF2SpOus5YQ ? XNet架構(gòu)圖 ? ? 08 ? 思考

拋開技術(shù)外，我還想聊聊對(duì)圖商的”離線高精地圖“和自動(dòng)駕駛公司的”在線地圖“的認(rèn)識(shí)。 ? 地圖是自動(dòng)駕駛的一個(gè)非常重要模塊，自動(dòng)駕駛不能脫離地圖，因?yàn)樽詣?dòng)駕駛是運(yùn)行在規(guī)則約束的交通系統(tǒng)下，無法擺脫這套規(guī)則的約束，而地圖恰恰是這套規(guī)則系統(tǒng)表達(dá)的很好載體，一個(gè)完整的地圖不僅包括各種地圖要素，還包括各種交通規(guī)則，例如該車道能否掉頭、該紅綠燈作用在哪個(gè)車道等。

因此，圖商憑借在SD地圖制作經(jīng)驗(yàn)（交通規(guī)則理解），均開展了”離線高精地圖“制作，包括高德地圖、百度地圖、騰訊地圖、四維圖新等。而圖商制作”離線高精地圖“的邏輯是，建立統(tǒng)一的、大而全的高精地圖標(biāo)準(zhǔn)，同時(shí)服務(wù)于市場上的多家自動(dòng)駕駛公司。但不同的自動(dòng)駕駛公司的自身自動(dòng)駕駛能力差異非常大，對(duì)高精地圖的需求也不同，這就導(dǎo)致”離線高精地圖“越來越復(fù)雜，圖商的采集和制作成本也越來越高。正因?yàn)槌杀靖撸呔貓D的覆蓋率低和鮮度差的問題也始終未被解決，這是每個(gè)圖商都需要面對(duì)的緊迫問題。盡管也有一些眾包更新的解決方案，但實(shí)際得到大規(guī)模應(yīng)用的并不多。

? 而自動(dòng)駕駛又需要高覆蓋、高鮮度的高精地圖，于是自動(dòng)駕駛公司開始研究如何“在線建圖”這個(gè)課題了。“在線建圖”的關(guān)鍵在于“圖”，在我看來，這個(gè)“圖”已經(jīng)不是“離線高精地圖”的“圖”了，因?yàn)樽詣?dòng)駕駛公司的“在線建圖”是根據(jù)自身的自動(dòng)駕駛能力調(diào)整的，在“離線高精地圖”中的冗余信息都可以舍棄，甚至是常說的精度要求（“離線高精地圖”一般要求5cm精度）。而恰恰因?yàn)閷?duì)“圖”進(jìn)行了簡化，所以自動(dòng)駕駛公司的”在線地圖“才有了可行性。通過”在線地圖“，在“離線高精地圖”覆蓋范圍內(nèi)實(shí)現(xiàn)地圖更新，在“離線高精地圖”覆蓋范圍外生成自己可用的地圖，可能會(huì)有一些自動(dòng)駕駛功能的降級(jí)，這個(gè)邊界仍在摸索中。

? 不過，測繪資質(zhì)和法規(guī)變化可能會(huì)促使一種新的圖商和自動(dòng)駕駛公司的高精地圖生產(chǎn)合作模式，即自動(dòng)駕駛公司提供智能車數(shù)據(jù) + 圖商提供高精地圖制作能力的生態(tài)閉環(huán)。2022年下半年，國家和地方密集出臺(tái)了一系列高精度地圖相關(guān)法律，例如：《關(guān)于促進(jìn)智能網(wǎng)聯(lián)汽車發(fā)展維護(hù)測繪地理信息安全的通知》、《關(guān)于做好智能網(wǎng)聯(lián)汽車高精度地圖應(yīng)用試點(diǎn)有關(guān)工作的通知》等。

這些法律文件明確界定了智能網(wǎng)聯(lián)汽車和測繪的關(guān)系，即智能網(wǎng)聯(lián)汽車在運(yùn)行過程中（包括賣出的車）對(duì)數(shù)據(jù)的操作即為測繪，并且自動(dòng)駕駛公司是測繪活動(dòng)的行為主體。從規(guī)定來看，自動(dòng)駕駛公司的“在線地圖”是明確的測繪行為，而想要合法測繪，必須擁有導(dǎo)航電子地圖制作的甲級(jí)資質(zhì)，而獲得資質(zhì)的途徑可以是直接申請(qǐng)（太難申請(qǐng)，并且不是一勞永逸，可能在復(fù)審換證環(huán)節(jié)被撤銷企業(yè)資質(zhì)）、間接收購（風(fēng)險(xiǎn)高）、以及與圖商合作。由此來看，自動(dòng)駕駛公司和圖商合作的生態(tài)閉環(huán)可能是唯一解法。那么，自動(dòng)駕駛公司的智能車數(shù)據(jù)提供給圖商進(jìn)行地圖數(shù)據(jù)生產(chǎn)是否合法呢？在《上海市智能網(wǎng)聯(lián)汽車高精度地圖管理試點(diǎn)規(guī)定》中，明確規(guī)定“鼓勵(lì)具有導(dǎo)航電子地圖制作測繪資質(zhì)的單位，在確保數(shù)據(jù)安全、處理好知識(shí)產(chǎn)權(quán)等關(guān)系的前提下，探索以眾源方式采集測繪地理信息數(shù)據(jù)，運(yùn)用實(shí)時(shí)加密傳輸及實(shí)時(shí)安全審校等技術(shù)手段，制作和更新高精度地圖。” 目前，騰訊地圖已官宣與蔚來宣布達(dá)成深度合作，打造智能駕駛地圖、車載服務(wù)平臺(tái)等，當(dāng)然這可能更多是投資關(guān)系促使。如何真正實(shí)現(xiàn)高精地圖生產(chǎn)的生態(tài)閉環(huán)，可能是圖商未來的破局關(guān)鍵。 ?

編輯：黃飛