BEV感知是自動駕駛的重要趨勢。常規的自動駕駛算法方法基于在前視圖或透視圖中執行檢測、分割、跟蹤，而在BEV中可表示周圍場景，相對而言更加直觀，并且在BEV中表示目標對于后續模塊最為理想。此項研究提出了一種新的BEV學習機制：幾何導向核變換器（Geometry-guided Kernel Transformer )。GKT利用幾何先驗來引導變換器聚焦于區分區域，并展開內核特征以生成BEV表示。

研究背景

對于多視圖相機系統，難點在于，如何將2D圖像表示轉換為BEV表示。根據幾何信息是否明確用于特征變換，現有的方法可分基于幾何的逐點變換和無幾何的全局變換兩大類。

基于幾何體的逐點變換下圖所示，利用可用的對應關系，2D特征被投影到3D空間并形成BEV表示。

然而，此方法過于依賴于校準參數。正在行駛中的汽車外部環境復雜，攝像機可能在運行時偏離校準位置，這將使系統出現誤差。此外，逐點復雜且耗時高，難以再實際環境中應用。

全局變換方法考慮了2D圖像和BEV視圖之間的完全相關性。這種方法受相機偏差影響較小。但這也帶來了問題：全局變換所需的算力與圖像的像素的數量成比例。并且，該模型必須從所有視圖中全局地挖掘出判別信息，這導致圖像的收斂過程變的更難。

在本研究中，研究人員提出了一種新的2D到BEV變換機制，以達到更高的效率和魯棒性，該算法稱為Geometry-guided Kernel Transformer（GKT）。該方法利用粗略的相機參數，投影BEV位置，以獲得多視圖和多尺度特征地圖中的2D位置。然后，模型在先前位置周圍展開Kh×Kw內核特征，并使BEV算法與相應的展開特征交互以生成BEV視圖。

實施途徑

GKT利用幾何深度學習來引導轉換器聚焦于重點區域，展開核心特征用于生成BEV視圖。擬建GKT的框架如下圖所示。該圖上半部分表示了幾何信息用于引導變換器聚焦在多視圖圖像中的先前區域。下部分為展開先前區域的核心特征，它們與BEV查詢交互以生成BEV表示。在此方法中，共享的卷積神經網絡從環繞視圖中提取視圖特征，BEV空間被均勻的劃分為網格，每個網格對應一個3D坐標。

為了快速進行判斷，研究引入了不同的索引方法，以擺脫相機在運行時對校準參數的依賴。通過對比Im2col，網格采樣，LUT索引三種方法，確定了LUT索引可使GKT實現更高的FPS。在此方法中，每個BEV網格的核心區域都是固定的，可以在脫機時進行預先計算。在運行時，系統可從LUT中獲得每個BEV查詢的對應像素索引，并通過索引更快速的獲得特征。

測試

該算法再nuScenes數據集上進行訓練，并在val數據集上進行評估。在下圖中，比較了在兩種設置下GKT和其他基于BEV的方法下的車輛地圖視圖分割效率。測試采用了1×7卷積來捕獲水平圖像信息，然后在GKT中應用有效的7×1內核來進行2D到BEV視圖轉換。

在測試中，GKT展示出了很高的魯棒性。與逐點變換相比，GKT只將相機參數作為指導，而非完全依賴。當相機偏離時，相應的，內核區域會移動，但仍然可以覆蓋目標。由于變換器的排列位置不變的，而是根據偏移量動態的生成核心區域的關注權重，所以GKT可以始終聚焦于目標，從而減少相機偏差的影響。

同時，GKT具有很高的效率。利用所提出的LUT索引，可以在運行時消除了逐點變換所需的2D-3D映射操作，使正向過程緊湊而快速。與全局變換相比，GKT只關注幾何引導的核區域，避免了全局交互。相較而言，GKT所需的假設過程更少，收斂過程更快。

因此，GKT綜合了逐點變換和全局變換的優勢，從而實現了高效和高魯棒性的2D到BEV視圖學習。在nuScenes數據集上的測試也表明GKT非常高效，使用3090 GPU運行可達到72.3 FPS，使用2080ti GPU運行可達到45.6 FPS，其FPS低于目前所有方法。