DRIVE Labs 系列文章

第六站：基于洞察的智能規劃

自動駕駛汽車上路后，會遇到各種各樣的突發情況，道路上突然變道或道路邊突然啟動的車輛、突然橫穿馬路的行人等，都會對自動駕駛汽車行駛的安全性帶來影響。DRIVE Labs“常學常新”系列是 NVIDIA DRIVE 團隊推出的、以一輛自動駕駛汽車從出發到最終目的地為線索的系列文章，共分 8 期主題，將為大家詳細解析自動駕駛汽車如何一路“過關斬將”，以及 NVIDIA 技術與產品在不同場景中提供的支持，以便讀者能更好地了解自動駕駛。

本期是第六期“基于洞察的智能規劃”，將為大家介紹自動駕駛汽車如何利用循環神經網絡（RNN）和深度神經網絡（DNN），追蹤并預測其他道路使用者的行動軌跡，并規劃自動駕駛汽車自身的行駛軌跡，以實現安全駕駛。

上期文章主要介紹了可幫助自動駕駛汽車“看清”路況、控制燈光的 DNN，本期文章將緊接上期 DNN 的相關內容，介紹能夠穩定追蹤駕駛環境不同目標的特征追蹤、可預測目標未來移動軌跡的 RNN 以及能夠幫助自動駕駛汽車了解周圍駕駛環境的 PredictionNet DNN。話不多說，一起來看看吧！

在復雜的道路交通環境中，自動駕駛汽車在行使過程中難免會遇到一些緊急或突發的情況，如前車臨時變道、路邊行人橫穿馬路等，這些情況的發生通常都有跡可循。若自動駕駛汽車能在時刻觀察道路環境的過程中，考慮到周圍活動車輛和行人未來可能進行的道路行動，可在很大程度上“防范于未然”，及時規避危險、保證安全行駛。

特征追蹤“把握”車周環境動向

在車輛的行駛過程中，像素級信息可能會由于復雜的光照變化、視點變化以及場景中的非剛性物體運動而失真。為實現高性能的自動駕駛，技術開發人員需要在自動駕駛訓練中兼具準確性、可靠性和運行效率。NVIDIA 選擇采用基于稀疏光流的特征追蹤方法，來獲得所對應的像素級訓練數據，并保證其準確性和多樣性。

特征追蹤可以對視頻相鄰幀之間的像素級對應關系和像素級變化進行估計，對于估計障礙物運動/速度、相機自校準和視覺測距提供關鍵時間和地理信息來說至關重要。準確且穩定的特征追蹤結果可轉換為障礙物感知中對碰撞時間的準確估計，可用于對攝像頭傳感器外部校準（俯仰/偏航/側傾）值的可靠計算，并且可作為在視覺里程計算中生成三維圖像的關鍵視覺輸入。

NVIDIA 基于稀疏光流的特征追蹤方法包括三個主要步驟：

• 圖像預處理：該步驟主要是從圖像中提取梯度信息；

• 特征檢測：該步驟使用提取到的梯度信息來識別圖像中的顯著特征點，以在整個幀中實現對目標對象的穩定追蹤；

• 跨幀追蹤功能：該步驟會在基于光流的特征追蹤中追蹤檢測到的特征，并估計其在視頻圖像序列中跨相鄰兩幀的運動。

為保證基于嵌入式計算平臺自動駕駛的安全性，在實時特征追蹤中平衡準確性和性能至關重要。為實現該平衡，NVIDIA 設計了一種復雜的特征密度控制算法，以確保檢測到的稀疏特征可以覆蓋對自動駕駛來說最重要的圖像區域。此外，NVIDIA 還利用由粗到精的特征追蹤策略來提高計算速度和可靠性。

NVIDIA 的稀疏特征追蹤方法可同時在多臺攝像頭上運行，開發人員可以借助前置和環繞攝像頭感知裝置實現特征追蹤功能。

循環神經網絡“看懂”目標走向

使用 RNN 預測未來

在行車過程中，駕駛狀況變化無常，自動駕駛汽車會遇見其他車輛的不合理變道或行人突然從停放的車輛之間竄出來的情況。這種意外事件的存在意味著在行車過程中，自動駕駛汽車需要為未來將出現的各種駕駛情況做好準備。

借助計算方法和傳感器數據（比如一些連續的圖像），自動駕駛汽車可以及時判斷出物體正在如何移動，并通過這類時態信息準確地預測周圍移動目標的未來軌跡，根據需要調整其行駛路徑。以上視頻為大家展示了 NVIDIA 為實現這種預測，所使用的深度神經網絡家族中的成員之一—循環神經網絡（RNN）。

RNN 是一種特殊的神經網絡結構, 是根據“人的認知是基于過往的經驗和記憶”這一觀點提出的。與 DNN、CNN 不同的是，RNN 擁有記憶功能，其在計算并預測未來時可以利用過去的學習結果，能夠以自然方式提取某一時間序列的圖像（也就是視頻），并生成最先進的時間預測結果，具有高度可靠性。

NVIDIA 主要是利用跨傳感器數據來訓練 RNN。具體而言，NVIDIA 會將激光雷達和雷達的信息輸入至攝像頭域中，并用速度數據標記攝像頭圖像，以利用跨傳感器融合來創建一個自動的數據流程，為 RNN 的訓練生成地面實況信息。

RNN 可輸出場景中所檢測到的動態對象（如車輛和行人）的碰撞時間（TTC）、未來位置以及未來速度預測，為自動駕駛汽車中的縱向控制功能（如自動巡航控制和自動緊急制動）提供必要的輸入信息，以幫助自動駕駛汽車實現安全行駛。

PredictionNet DNN 預測前方路況

準確前行：AI 如何幫助自動駕駛汽車預測前方路況

車輛行駛過程中需要對未來進行預測。每當汽車突然駛入某個車道或多輛汽車在同一十字路口相遇時，為了確保安全，駕駛員必須對其他對象的行為進行預測。人類駕駛員依靠駕駛過程中的線索以及個人經驗對情況進行分析，而自動駕駛汽車可以通過 AI 預測交通模式，并在復雜的環境中安全行駛。以上視頻將為大家演示 PredictionNet DNN 如何利用實時感知數據和地圖數據，預測其他道路使用者的行駛路徑。

PredictionNet DNN 通過分析路上所有行人和車輛過往的移動情況，得到車輛或行人的過往位置，并且還會獲取場景中固定對象和地標的位置，例如地圖上的交通信號燈、交通標志和車道線標志，而后基于這些柵格化俯視圖信息輸入來預測路上車輛和行人的未來軌跡。此外，PredictionNet DNN 能通過提供每個車輛或行人未來軌跡的預測統計信息，來降低預測的不確定性，如下圖所示。

PredictionNet 的預測結果以俯視圖形式展現。灰線代表地圖，白虛線代表 DNN 預測的車輛軌跡，而白框代表實際發生的軌跡數據。彩色云代表預測車輛軌跡的概率分布，較暖顏色代表在時間上與當前時間更近的點，較冷顏色代表在將來更遠的點

PredictionNet 采用基于 RNN 的二維卷積架構，對任意車輛或行人以及預測范圍數量都具有高度可擴展性。此外，PredictionNet 模型還適用于 TensorRT 深度學習推理 SDK 中的高效運行，可在 NVIDIA TITAN RTX GPU 上實現 10 毫秒級的端到端推理。PredictionNet 實時預測行為的能力還能用于創建交互式訓練環境，以加強基于學習的規劃和控制策略，實現自動巡航控制、車道變更或交叉路口處理等功能。

PredictionNet 的訓練結果還表明，其在十字路口、高速公路汽車匯入等復雜的交通場景下都具有很好的應用前景。該 DNN 的預測功能還具有可擴展性，可用于各種傳感器配置，并應用在從 L2+ 級系統到 L4/L5 級的自動駕駛系統中。

NVIDIA 希望能借助 PredictionNet 以及真實世界經驗，對“其他道路使用者對行駛中的汽車做出的反應”進行仿真，訓練出更安全、可靠且彬彬有禮的“AI 駕駛員”。

以上就是本期全部內容。希望大家喜歡本次的自動駕駛之旅，下期我們將在此基礎上為大家介紹 NVIDIA 如何利用 AI、安全力場（Safety Force Field）和主動學習為駕乘人員的安全保駕護航，敬請期待！點擊“閱讀原文”，觀看更多 NVIDIA DRIVE Labs & Dispatch視頻，了解 NVIDIA DRIVE 軟件如何助力自動駕駛。

往期精彩回看

「入門篇」：自動駕駛基礎功能

「第二站」：基本路況感知

「第三站」：讀懂交通標志與信號燈

「第四站」：監控車外的風吹草動

「第五站」：提高道路狀況的可見性

掃描海報二維碼，即可觀看 NVIDIA 創始人兼首席執行官黃仁勛 GTC23 主題演講重播！