特斯拉 NOA 導(dǎo)航輔助駕駛

大家想象中的自動駕駛，其實沒有那么多定語，應(yīng)該是從任意地點到任意地點都能自動駕駛。

但是自動駕駛技術(shù)的開發(fā)難度實在太大，各種限制因素也多，所以現(xiàn)在在乘用車自動駕駛領(lǐng)域，業(yè)界劃分出了不同的 ODD（可運行區(qū)域），包括泊車域、行車域，行車域里面又有城市域、高速域，像蔚來還要把換電場景自動駕駛這個域加進去。

一段從車輛啟動到車輛停好的旅程，被切割成了細分的很多段，業(yè)內(nèi)企業(yè)們正分段攻破。

正是因為這些域的存在，衍生出了很多的自動駕駛功能（現(xiàn)在只能稱為「輔助駕駛功能」），比如泊車域的自動泊車、遙控泊車、記憶泊車；而在行車域，又有基礎(chǔ)輔助駕駛功能（ACC、LCC、ALC），還有更高級一些的導(dǎo)航輔助駕駛，可覆蓋高速域以及城市域，再往后那就是真正的點到點自動駕駛。

不過目前由于自動駕感知技術(shù)還未達到極致成熟，從高速到城市，感知難度指數(shù)級提升，同時有其他限制因素，當下最主流的智駕功能——導(dǎo)航輔助駕駛系統(tǒng)開城的速度依然很慢。

01

導(dǎo)航輔助加速內(nèi)卷

BEV感知技術(shù)成主流

從目前業(yè)內(nèi)自動駕駛的產(chǎn)品形態(tài)看，導(dǎo)航輔助駕駛功能越來越火爆，這個由特斯拉帶火的層次稍高一些的輔助駕駛功能，正在被國內(nèi)的新老車企爭相推動上車，國內(nèi)的供應(yīng)商們也都往這個方向上卷，因為這個方向既受到法規(guī)允許，也能吸引到真實消費者使用并為其買單。

未來 1-2 年，國內(nèi)的導(dǎo)航輔助駕駛功能 NOA、NGP、NOP、NZP、ANP、NOH、NCA、NOM 等將迎來大爆發(fā)。當然，速度有快有慢，有的還在打磨高速導(dǎo)航輔助駕駛，有的已經(jīng)把車開進了城市，開啟了更難的挑戰(zhàn)。

就在本月，此前主打 Robotaxi 開發(fā)和運營的小馬智行正式宣布開辟乘用車智能駕駛業(yè)務(wù)產(chǎn)品線，并已成立獨立事業(yè)部。

從其公布的智能駕駛量產(chǎn)方案中，要打造高速和城市導(dǎo)航輔助駕駛的規(guī)劃非常明確。

小馬智行公布的量產(chǎn)自動駕駛方案

這也足夠說明導(dǎo)航輔助駕駛系統(tǒng)已經(jīng)成為車企和供應(yīng)商的兵家必爭之地。

在導(dǎo)航輔助駕駛功能火爆和上量的背后，是自動駕駛核心技術(shù)在驅(qū)動。

感知技術(shù)、決策/規(guī)劃/控制技術(shù)、高精地圖技術(shù)等等，都在深刻影響著導(dǎo)航輔助駕駛產(chǎn)品的能力和體驗。其中，感知技術(shù)以及定位技術(shù)是導(dǎo)航輔助駕駛功能實現(xiàn)的前提，沒有這二者，后面的規(guī)劃控制也就無從談起。

感知能幫助系統(tǒng)「看」到道路上的參與者和道路要素，定位能告訴系統(tǒng)「我在哪里」，所以你可以看到現(xiàn)在各家的導(dǎo)航輔助駕駛一方面要在傳感器種類和數(shù)量上卷；另一方面也很依賴于高精地圖數(shù)據(jù)。

其中的高精地圖覆蓋范圍以及新鮮度很大程度上限定了導(dǎo)航輔助駕駛的運行連續(xù)性以及可用范圍。

可以預(yù)見的是，無論是高速導(dǎo)航輔助駕駛還是城市導(dǎo)航輔助駕駛，未來很長一段時間還是得依賴高精地圖這一重要「傳感器」。因為單從體驗上來看，有高精地圖的功能和沒高精地圖的功能確實有著非常大的差距。

但是依賴高精地圖也不意味著行業(yè)放棄了對車端感知能力和技術(shù)的更高追求。其實是要尋找一種平衡：在有高精地圖的地方增強車輛智駕系統(tǒng)體驗；在沒有高精地圖的區(qū)域，系統(tǒng)能通過車上感知模塊來指導(dǎo)車輛完成自動駕駛，比如像北京五環(huán)內(nèi)這樣的區(qū)域。

所以，行業(yè)也在推動自動駕駛感知技術(shù)的突破。感知技術(shù)接下來的主流會是什么？很多車企和供應(yīng)商的答案是 —— BEV 感知。

02

BEV是什么？為什么被需要？

BEV 全稱是 Bird's Eye View，也就是鳥瞰圖，是一種用于描述感知到的現(xiàn)實世界的視角或坐標系（3D 空間），就像是上帝視角。另外，BEV 也是計算機視覺領(lǐng)域內(nèi)的一種端到端的、由神經(jīng)網(wǎng)絡(luò)將圖像信息從圖像空間轉(zhuǎn)換到 BEV 空間的技術(shù)。

大家知道在自動駕駛車上，有很多的傳感器，如攝像頭、毫米波雷達、激光雷達，自動駕駛系統(tǒng)里傳統(tǒng)的圖像空間感知方法是將汽車上的雷達、攝像頭等不同傳感器采集來的數(shù)據(jù)分別進行分析運算，然后再把各路分析結(jié)果融合到一個統(tǒng)一的空間坐標系，用于規(guī)劃車輛的行駛軌跡。

但這個過程中每個獨立傳感器收集到的數(shù)據(jù)和人眼類似，受特定視角的局限，經(jīng)過各自的分析運算后，在后處理融合階段會導(dǎo)致誤差疊加，很難精準地拼湊出道路實際全貌，給車輛的決策規(guī)劃帶來困難。

BEV 感知就好比是一個從高處統(tǒng)觀全局的「上帝視角」，車身多個傳感器采集的數(shù)據(jù)，會輸入到一個統(tǒng)一模型進行整體推理，這樣生成的「鳥瞰圖」，有效地避免了誤差疊加；BEV 方案還支持「時序融合」，也就是不僅收集一個時刻的數(shù)據(jù)，分析一個時刻的數(shù)據(jù)，而是支持把過去一個時間片段中的數(shù)據(jù)都融合進模型做環(huán)境感知建模，這樣可以讓系統(tǒng)感知到的結(jié)果更穩(wěn)定，使得車輛對于道路情況的判斷更加準確，讓自動駕駛更安全。

BEV 感知技術(shù)其實是特斯拉帶火的，作為業(yè)內(nèi)純視覺感知技術(shù)的鼻祖，很早就在這方面下功夫。

特斯拉車身上有多個攝像頭和毫米波雷達，在做感知的時候，需要把不同傳感器的感知數(shù)據(jù)收集并有效融合起來，輸出感知結(jié)果。

特斯拉車上不同位置的攝像頭的參數(shù)并不一樣（相機的內(nèi)外參不同），包括焦距長度、視野寬度、深度感受野等等，這就導(dǎo)致同一個物體在不同的相機里是不一樣的。

特斯拉在引入 BEV 之前采用的方式是：在每個相機上單獨進行感知，然后再將不同相機感知到的結(jié)果進行融合。

但這種方式會存在幾個問題：

比如融合困難，將不同相機的感知結(jié)果進行融合需要大量的超參，寫起來非常復(fù)雜，并且由于深度估計的誤差，最終的輸出結(jié)果可能會相互沖突，導(dǎo)致融合結(jié)果不一致。

另外就是圖像空間的輸出對于后續(xù)任務(wù)來說很不友好，比如在一些預(yù)測任務(wù)上，如果不同相機單獨感知，則很難預(yù)測被大面積遮擋的物體；單個攝像機也無法看到大物體的全貌，會導(dǎo)致難以正確預(yù)測。

為了解決這些問題，特斯拉采取的方法就是用神經(jīng)網(wǎng)絡(luò)將圖像空間映射到 BEV 空間。

其做法是把多個視角的圖像統(tǒng)一通過一個公共的特征提取器投影到一個統(tǒng)一的 BEV 空間里面。

在這個空間里面，通過深度學(xué)習(xí)去完成一個特征的融合，然后再通過一個 3D 的解碼器，直接端到端輸出最后的一個 3D 檢測和道路結(jié)構(gòu)信息。下游的像規(guī)劃與控制模塊直接可以在 BEV 的空間上去進行。

特斯拉 BEV 坐標轉(zhuǎn)換

從 2D 圖像空間到 3D BEV 空間如何轉(zhuǎn)換？

這里不得不提到 Transformer。

大概從 2017 年開始，Transformer 作為一種新型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)開始引起研究人員的廣泛關(guān)注。

Transformer 與處理序列數(shù)據(jù)常用的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）不同，Transformer 中的注意力機制并不會按照順序來處理數(shù)據(jù)，也就是說，每個元素和序列中的所有元素都會產(chǎn)生聯(lián)系，這樣就保證了不管在時序上相距多遠，元素之間的相關(guān)性都可以被很好地保留。通俗點說就是會「聯(lián)系上下文」，而且還會抓重點。

Transformer 首先被應(yīng)用在自然語言處理領(lǐng)域（NLP），用來處理序列文本數(shù)據(jù)。在自然語言處理領(lǐng)域取得廣泛應(yīng)用后，Transformer 也被成功移植到了很多視覺任務(wù)上，比如「圖像分類，物體檢測」等，并同樣取得了不錯的效果。而且，Transformer 在海量數(shù)據(jù)上可以獲得更大的性能提升，這不正好就是自動駕駛領(lǐng)域所需要的嗎？

正是因為看到了這一點，面向量產(chǎn)的自動駕駛公司在擁有數(shù)據(jù)收集優(yōu)勢的情況下，自然就會傾向于選擇 Transformer 作為其感知算法的主體。

2021 年夏天，特斯拉的自動駕駛技術(shù)負責(zé)人 Andrej Karpathy 在 AI Day 上，公開了 FSD 自動駕駛系統(tǒng)中采用的算法，而 Transformer 則是其中最核心的模塊之一。

BEV 感知技術(shù)要廣泛應(yīng)用，離不開 Transformer 這樣的模塊進行空間坐標系的轉(zhuǎn)換，比如將 2D 圖像轉(zhuǎn)換到 3D 空間里去。

其架構(gòu)簡單說就是：先通過一個共享的主干網(wǎng)絡(luò)來提取每個相機的特征，然后再通過 Transformer 等將多攝像頭數(shù)據(jù)，完成從圖像空間到 BEV 空間（3D）的轉(zhuǎn)換。

在 BEV 空間內(nèi)，由于坐標系相同，可以很方便地將圖像數(shù)據(jù)和激光雷達、毫米波雷達數(shù)據(jù)進行融合，還可以進行時序融合形成 4D 空間，這也是當下 BEV 技術(shù)的大趨勢。當然，特斯拉目前不需要融合激光雷達數(shù)據(jù)。

BEV 感知技術(shù)很好地解決了傳感器融合的很多阻礙性難題，而且也給了后續(xù)異構(gòu)傳感器大量上車之后的融合提供了借鑒。

國內(nèi)的自動駕駛團隊百度 Apollo 也經(jīng)歷了這個過程，他們在 2019 年推出了 Apollo Lite 方案，其實也是一個多攝像頭融合的方案，包括單目前視+多個環(huán)視。

他們當時也是采用后融合方式來做。

在這個感知方案的整體框架方面，每一個不同朝向的相機，會先經(jīng)過一個神經(jīng)網(wǎng)絡(luò)去推理出相機下面的障礙物位置、大小、朝向等信息；單相機里面的目標跟蹤，以及多相機融合等都是一些基于規(guī)則的方案去做的。

百度團隊在單相機里面把深度學(xué)習(xí)做到一個比較高的程度了，整個單相機里面的 3D 感知信息都可以通過模型來輸出，然后基于 3D 標注結(jié)果，直接端到端產(chǎn)出單相機的結(jié)果。

在過去的幾年里，單相機的 3D 感知能力也有一個比較大的提升，但是最后也遇到了一些瓶頸，比如有一些截斷的物體，在一個相機里面是看不全的，就沒辦法很好地去對它做感知。

另外，一些跟蹤和平滑策略在圖像視角下，和最后規(guī)劃控制模塊所要的輸出空間其實是不一致的，這樣會總體上限制自動駕駛的能力。

所以在過去一年里，百度 Apollo 的團隊也將 BEV 感知應(yīng)用了進來，整體上使用一種持續(xù)并列的框架去端到端地做障礙物檢測、軌跡預(yù)測以及道路結(jié)構(gòu)感知，整體上會有一個時間序列，多幅圖像輸入進來。然后通過圖像的特征提取器之后，得到圖像視角的特征，然后再通過 Transformer 把那個特征投影到一個統(tǒng)一的 BEV 空間，再經(jīng)過解碼，最終得到一個端到端的一個 3D 感知效果。

特別是在道路結(jié)構(gòu)這一部分，百度因為有自己的高精地圖數(shù)據(jù)，把這些數(shù)據(jù)和車輛的高精定位信息結(jié)合起來，是可以直接轉(zhuǎn)換成 BEV 道路結(jié)構(gòu)的訓(xùn)練數(shù)據(jù)，用于算法的訓(xùn)練。

也正是在 BEV 感知技術(shù)的加持下，百度的導(dǎo)航輔助駕駛 ANP 3.0 系統(tǒng)正在加速落地，這套系統(tǒng)能覆蓋高速場景、城市場景，甚至能自動通過收費站。作為已經(jīng)確定應(yīng)用這套能力的集度 ROBO-01 車型，最近也已經(jīng)去到交通流復(fù)雜的廣州進行測試，去征服更多的感知難題。

除了像特斯拉和 Apollo Lite 這種純視覺自動駕駛方案，國內(nèi)現(xiàn)在掀起的是多傳感器融合方案，激光雷達（單顆或多顆）、攝像頭（像素越來越高）、毫米波雷達、超聲波傳感器等等。

這么多的異構(gòu)傳感器放在一起，感知數(shù)據(jù)如何融合？視覺數(shù)據(jù)和激光雷達點云數(shù)據(jù)如何融合？它們一個是 2D 圖像空間，一個是 3D 空間，如何比較穩(wěn)定的融合，而且效果還要好？

答案依然是 BEV 感知。

如前文所述，可以先通過 Transformer 把視覺的 2D 圖像轉(zhuǎn)換到 3D 坐標下，和其他的傳感器數(shù)據(jù)如激光雷達點云在空間坐標上保持一致，在相同坐標下融合起來就更加游刃有余。

如果從國內(nèi)的這些車企和供應(yīng)商的選擇來看，BEV 感知已經(jīng)是主流了。

而 BEV 感知技術(shù)成為應(yīng)用主流，也意味著其將推動導(dǎo)航輔助駕駛這類功能更快量產(chǎn)、更好地落地。

一方面，那些應(yīng)用 BEV 感知技術(shù)的造車新勢力們，能更加好的提升系統(tǒng)的感知能力，讓功能的體驗更好。

另一方面，那些應(yīng)用 BEV 感知技術(shù)的智駕供應(yīng)商，能夠更快去適配不同車企、不同車型的五花八門的需求，比如他們對車上智駕傳感器的不同配置的需求，可以靈活應(yīng)變，在感知效果上也不會因為傳感器配置變化而變得不穩(wěn)定、不可控。

03

哪些公司在用BEV？

雖然 BEV 感知技術(shù)不能解決自動駕駛感知領(lǐng)域的一切疑難雜癥，但它提供了一個相比圖像更加貼近物理世界的空間，可以給后續(xù)的融合、規(guī)劃提供更多的可能性。

現(xiàn)在很多自研智駕系統(tǒng)的車企以及智駕供應(yīng)商都在使用 BEV 技術(shù)。

比如車企里面的蔚來、理想、小鵬；供應(yīng)商里面的百度 Apollo、毫末智行、紐勱科技、地平線；Robotaxi 公司轉(zhuǎn)型做智駕系統(tǒng)供應(yīng)商的輕舟智航、小馬智行等等。

每一家在具體使用這項技術(shù)的時候肯定會有不同，但是大致的技術(shù)框架應(yīng)該如下：

先將攝像頭數(shù)據(jù)輸入到共享的骨干網(wǎng)絡(luò)（Backbone），提取每個攝像頭的數(shù)據(jù)特征（Feature）；

把所有的攝像頭數(shù)據(jù)進行融合，并轉(zhuǎn)換到 BEV 空間；

在 BEV 空間內(nèi)，進行異構(gòu)傳感器數(shù)據(jù)融合，將視覺數(shù)據(jù)和激光雷達點云進行融合；

進行時序融合，形成 4D 時空維度的感知信息（3D+速度）；

進行多任務(wù)輸出，可以是靜態(tài)語義地圖、動態(tài)檢測和運動預(yù)測等，給到下游規(guī)控模塊使用。

就拿剛剛公布要進行智駕系統(tǒng)量產(chǎn)上車的小馬智行來講，其已明確自研了 BEV 感知算法。

可通過大模型識別各類型障礙物、車道線及可通行區(qū)域等信息，最大限度降低算力需求，同時在無高精地圖的情況下，僅用導(dǎo)航地圖也可實現(xiàn)高速與城市導(dǎo)航輔助駕駛功能。

特別是在高速場景中，小馬智行壓榨傳感器的性能，用魚眼相機參與行車 BEV 感知模型，減少對傳感器數(shù)量的依賴—— 使用 6 個攝像頭（4 個魚眼相機及前后向各 1 個長距相機）與 1 個前向毫米波雷達就可以實現(xiàn)高速導(dǎo)航輔助駕駛這樣的功能。

成功推出高速及城市 NOH 系統(tǒng)的毫末智行在感知領(lǐng)域同樣采用了 BEV 融合感知技術(shù)，毫末的融合感知其實包含三個不同的維度：空間、時間和傳感器。

空間融合主要是將來自多個相機的圖像轉(zhuǎn)換到統(tǒng)一的 BEV 坐標，再進行特征層融合；另外，單幀的信息會有很大的隨機性，因此，時序信息對于自動駕駛環(huán)境感知來說是非常重要的，毫末的時序融合也是采用了車輛自身的運動信息來統(tǒng)一多幀數(shù)據(jù)的空間坐標系，從而在一個統(tǒng)一的空間坐標系下融合來自不同時間的數(shù)據(jù)。

輕舟智航去年發(fā)布的 OmniNet 感知融合大模型就是將視覺、毫米波雷達、激光雷達等數(shù)據(jù)通過前融合和 BEV 空間特征融合，讓本來獨立的各個計算任務(wù)通過共享主干網(wǎng)絡(luò)（Backbone）和記憶網(wǎng)絡(luò)（Memory Network）進行高效多任務(wù)統(tǒng)一計算，最終同時在圖像空間和 BEV 空間中輸出不同感知任務(wù)的結(jié)果，為下游的預(yù)測和規(guī)劃控制模塊提供更豐富的輸出。

雖然地平線是一家芯片企業(yè)，但是其打造的 SuperDrive 全場景智能駕駛方案里，其實也應(yīng)用了感知融合 BEV 技術(shù)，這套方案可支持高速、城區(qū)、泊車場景自動駕駛，目前正給吉利方面供貨。

智駕供應(yīng)商紐勱科技的感知團隊也基于 BEV 提出了 BEVSegFormer，一種基于 Transformer 的 BEV 語義分割方法，可面向任意配置的相機進行 BEV 語義分割。

具體來說，BEVSegFormer 首先使用了共享的主干網(wǎng)絡(luò)，對來自任意相機的圖像特征進行編碼，然后通過基于可變形 Transformer 的編碼器對這些特征進行增強。BEVSegFormer 還引入了一個 BEV Transformer 解碼器模塊，對 BEV 語義分割的結(jié)果進行解析，以及一種高效的多相機可變形注意單元，完成 BEV 到圖像的視圖變換。最后，根據(jù) BEV 中的網(wǎng)格布局對查詢進行重塑，并進行上采樣，以有監(jiān)督的方式生成語義分割結(jié)果。

在車企方面，理想汽車的 L9 車型所搭載的 AD Max 系統(tǒng)也應(yīng)用了融合感知 BEV 技術(shù)，它利用所謂「純視覺」進行運動感知預(yù)測，同時多傳感融合和高精地圖的信息輸入作為輔助。

另外，蔚來自動駕駛 NAD 系統(tǒng)，在 2023 年的上半年，也會進行底層感知架構(gòu)的切換，轉(zhuǎn)向 BEV 模型，向特斯拉看齊。

當然，以上并未完全列出所有采用 BEV 技術(shù)的行業(yè)玩家。

BEV 技術(shù)成為了廠商們選擇的主流感知融合技術(shù)，該如何去定位這一技術(shù)？MAXIEYE CEO 周圣硯是這么看的：BEV 是深度學(xué)習(xí)之后的又一個新臺階，解決了過去多傳感器的變化和異構(gòu)帶來的各種各樣的融合感知算法的開發(fā)問題。

04

BEV還有什么新的玩法嗎？

當 BEV 感知技術(shù)成為主流，而且被多數(shù)廠商采用的時候，有些企業(yè)就開始對其進行改造了。

在今年 Create AI 開發(fā)者大會上，百度就在 BEV 感知基礎(chǔ)上，提出了一個叫做「車路一體 BEV」的感知方案，取名叫 UniBEV，有點像「聯(lián)合 BEV」。

簡單點理解就是，UniBEV 不但會將車端的感知數(shù)據(jù)拿過來做融合，也會將路端的感知數(shù)據(jù)也放進來，放到同一個坐標系下。BEV 本來就是個上帝視角了，這里再加上路端的超視距感知數(shù)據(jù)，那簡直是開掛一般的存在。但什么時候能在車端量產(chǎn)應(yīng)用現(xiàn)在還不太清楚。

具體來看看 UniBEV 的框架。

框架中的虛線框里有一個自研的內(nèi)外參解耦算法，這里的內(nèi)外參指的是傳感器的內(nèi)外參數(shù)，比如相機內(nèi)參數(shù)，指的是與相機自身特性相關(guān)的參數(shù)，比如焦距、像素大小等；而相機外參數(shù)則是相機在真實世界坐標系中的參數(shù)，比如相機的安裝位置、旋轉(zhuǎn)方向等。

那為何要把內(nèi)外參解耦呢？百度說他們作為智駕方案商，需要把方案供應(yīng)給不同的車廠，不同車廠車型會有不一樣的傳感器配置，比如供給集度的和供給比亞迪的傳感器方案就會不一樣。

有了這個解耦算法，可以把不同相機解耦開，讓每個相機獨立，這樣不管傳感器的相對位置如何變，研發(fā)團隊都可以將其投影到一個統(tǒng)一的 BEV 空間下。

框架中另一部分是車端和路側(cè)的點云，而且路側(cè)也會裝一些攝像頭，這些數(shù)據(jù)的特征到最后都會投影到一個統(tǒng)一的 BEV 空間下，便能把可能的信息都融合起來。

最終，在 UniBEV 加持下，百度的智駕系統(tǒng)在車端、路側(cè)的動靜態(tài)感知任務(wù)上都有不錯的表現(xiàn)。

當然，也不是誰家都能搞這樣的車路一體 BEV 感知的，因為這也需要有大量的路段感知設(shè)備傳回的數(shù)據(jù)，這是需要路側(cè)基建的。目前國內(nèi)，百度是為數(shù)不多有車路協(xié)同路端基建業(yè)務(wù)的智駕供應(yīng)商，這一點也強化了 UniBEV 的獨特性。

當然，我們也期待其他廠商，基于 BEV 感知技術(shù)再研究出更加突破性的技術(shù)，助力自動駕駛技術(shù)在感知領(lǐng)域的大躍進。