Nullmax感知部總監兼計算機視覺首席科學家成二康博士，前段時間做客汽車之心·行家說欄目，就行泊一體的感知能力話題進行了分享。

當中，成二康博士就自動駕駛的數據閉環以及虛擬樣本生成等數據話題進行了概括性的介紹，并對當前備受關注的BEV感知，尤其是BEV + Transformer技術架構，從總結和實踐兩方面進行了簡明易懂的闡述。

我們將成二康博士分享的主體內容進行了整理，本篇是關于BEV + Transformer的精簡介紹。目前，Nullmax已經完成了BEV感知的一系列工作，并在量產項目開始了相關技術的運用。

行泊一體是一個很熱的話題，簡單來講就是用一個域控或者嵌入式平臺同時實現行車、泊車兩大功能。因此，行泊一體的方案對于整個系統的感知架構也有著極高的要求。

比如，需要處理包括相機、毫米波雷達等多個傳感器的輸入，需要支持行泊一體中的融合、定位、規劃和感知等多個任務。尤其是視覺感知方面，需要支持360度覆蓋的相機配置，為下游的規劃、控制任務輸出目標檢測、車道線檢測等感知結果。

為此，Nullmax開發了一套強大的感知架構，它最大的優勢就在于可以同時融合時間、空間信息，很好地支持多傳感器、多任務的協同工作。

在整個感知架構的設計中，Nullmax對BEV + Transformer的技術架構進行了充分的考慮，在技術研發和項目落地兩方面同步進行了大量工作，取得了不錯進展。

在自動駕駛中，BEV（鳥瞰圖）視角下的感知輸出，能夠更好地為規劃、控制等下游任務服務，因此設計一個BEV-AI的技術架構，對于行泊一體方案來說很有意義。

這個架構的輸入，是多個相機拍攝的圖像，輸出則是自動駕駛的一系列任務，當中包含了動態障礙物的檢測和預測，靜態場景的理解，以及這兩個基礎之上的一系列下游規控任務。

當中的挑戰就在于：圖像是二維的平面空間，但是BEV空間以及自動駕駛的車體坐標系是三維的立體空間，如何才能去實現圖像空間和三維空間的影射？

1、BEV-CNN架構

在傳統的CNN（卷積神經網絡）層面，天然的想法就是去做純粹的端到端方法。輸入一張圖片，直接輸出三維結果，不利用相機參數。

但是，相機對三維世界的成像遵循著一些原理，相機參數其實也能派上用場。比如，三維世界中的一個點，它可以通過相機的外參投到相機的三維坐標系中，然后再通過透視變換投到圖像平面，完成3D到2D的轉換。

在CNN當中，利用相機參數和成像原理，實現3D和2D信息關聯的方法可以總結為兩種。一種是在后端，利用3D到2D的投影，即一個光心射線上面所有的3D點都會投影到一個2D像素上，完成3D和2D信息的關聯。知名的OFT算法，就是這一類方法的代表性工作。

另外一種是在前端，讓每一個像素學習三維深度的分布，把2D空間lift成3D空間。這當中又可以細分為兩種方式，一種是隱式的學習，典型的算法有LSS，對每個點都要學一個特征，同時隱式地學習該點深度的概率分布；另一種則是顯式估計每個像素的深度，比如CaDNN。

2、BEV-Transformer架構

在有了Transformer之后，它天然提供了一種機制，可以利用decoder中的cross-attention（交叉注意力）機制，架接3D空間和2D圖像空間的關系。

BEV-Transformer的實現方式也可分為兩類，一類是通過cross-attention機制，在后端加入3D信息和2D特征的關聯，它可以進一步細分為利用相機參數、不利用相機參數兩種方式，比如Nullmax提出的BEVSegFormer，就是不利用相機參數的形式。

另一類是在前端，通過Frustum（視錐）的方式，2D特征上面直接加入3D信息，PETR的一系列工作就是這方面的研究。

此外，在BEV + Transformer的基礎上，也可以加入temporal（時間）的信息。

具體來說，就是利用temporal當中的ego motion（自運動）信息。比如，三維世界通過ego motion在后端去關聯；或者在前端，通過兩個相機坐標系之間的ego motion將3D信息疊加進去，然后在2D特征上面去做任務。

目前BEV + Transformer的方法比較多，我們對比較主流的幾種方式做了一個簡單的總結。

3、Nullmax的多相機BEV方案

Nullmax正在開發多相機BEV方案，這些工作與前述的工作有所不同，面臨一些獨特的挑戰。

當中有兩個非常關鍵的問題：一是支持任意多個相機，二是不依賴相機參數。

此前，Nullmax提出的BEVSegFormer就是當中的一項工作（現已被WACV 2023錄用），面向任意數量相機的BEV語義分割，為自動駕駛在線實時構建局部地圖。它在不利用相機參數的情況下，可以完成二維圖像和三維感知的關聯。「點擊查看詳盡解讀」

在nuScenes數據集上，BEVSegFormer相比于HDMapNet，效果提升了10個百分點。

除此之外，顯式構建BEV是一個難點，對于空間中只有少數幾個目標的任務，例如車道線，Nullmax提出了不顯式構建BEV的方法，直接計算三維車道線的新范式。

這是Nullmax近期在3D車道線檢測方面的工作之一，通過設計sparse的curve query來完成車道線檢測。在Apollo數據集上，Nullmax的3D車道線檢測方法對比PersFormer，效果進一步提升。「點擊查看詳盡解讀」

同樣的，Nullmax也將3D目標檢測的一些工作擴展到了量產應用中，特別是在低算力平臺上進行BEV視角的檢測。比如近期交付的一個量產方案，就是用8 TOPS算力實現4個周視相機的3D障礙物檢測，當中的優化工作，非常具有挑戰。

在3D障礙物檢測方面，BEV + Transformer架構融合多個相機信息，可以帶來一些明顯的優勢。

在多相機的感知系統中，如果進行障礙物檢測，比較傳統的方案是每個相機單獨工作。這會導致系統的工作量比較大，每個相機都要完成目標檢測、跟蹤、測距，還要完成不同相機的ReID（重識別）。同時，這也給跨相機的融合帶來很大挑戰，比如截斷車輛的檢測或者融合。

如果技術架構的輸出是BEV視角，或者車體坐標下的三維感知結果的話，那么這個工作就可以簡化，準確率也能提升。

總體而言，Nullmax目前已經在基于BEV的多相機感知方面完成了系列工作，包括BEV + Transformer的局部地圖、3D車道線檢測、3D目標檢測，以及在高、中、低算力嵌入式平臺的上線。

Nullmax希望做出的BEV + Transformer架構能夠適配多個相機、不同相機，以及不同相機的選型、內參、外參等等因素，提供一個真正平臺化的產品。

同時，我們還在進行一些這里沒有介紹的工作，包括BEV視角下的規劃控制，以及支撐BEV + Transformer技術架構的關鍵任務，比如離線的4D Auto-GT（自動化4D標注真值）。

最終，我們希望完成一套可在車端實時運行BEV + Transformer基礎架構的整體方案，同時支持感知、預測、規劃任務，并在高、中、低算力平臺上完成落地。

審核編輯 ：李倩