在行車過程中，駕駛員會遇見其他注意力不集中的駕駛員不合理變道或者行人突然從停放的車輛之間竄出來的情況，駕駛狀況可以說是變化無常。這種意外操作的存在意味著駕駛員在行車過程中，需要為未來將出現的各種駕駛情況做好準備。

如果我們能夠準確地預測一輛汽車是否會突然繞到我們車輛的前方，或者行人是否會穿過馬路，我們就能夠為自己的駕駛操作做出最佳的規劃決策。

自動駕駛汽車面臨著同樣的挑戰。借助計算方法和傳感器數據（比如一系列圖像），自動駕駛汽車可以及時判斷出物體正在如何移動。通過這類時態信息，它能夠準確地預測周圍移動目標的未來軌跡，并根據需要調整其行駛路徑。

其關鍵在于分析圖像序列中的時態信息，并且即使在擁有不確定性和不可預測性的情況下，也能準確預測目標的未來運動。

為了實現這種預測，NVIDIA使用了深度神經網絡家族中的成員之一，我們稱之為循環神經網絡（RNN）。

什么是循環神經網絡（RNN）？

典型的卷積神經網絡（CNN）處理給定圖像幀中的信息，并且獨立于它們從之前圖像幀中學習到的信息。然而循環神經網絡擁有記憶功能，因此它們在計算并預測未來時可以利用過去的學習結果。

可以說，循環神經網絡能夠利用自然的方式提取一個時間序列的圖像（也就是視頻），并生成最先進的時間預測結果。

擁有從大量時態數據中學習的能力是循環神經網絡的重要優勢。由于循環神經網絡并不僅僅依賴圖像中本地的、幀到幀且基于像素的變化，在對行人及動物等非剛性移動目標的未來運動軌跡進行預測時，該網絡擁有更高的可靠性。

循環神經網絡在預測移動目標未來軌跡（即移動目標的未來位置和速度）時還可以使用上下文信息，如一個給定目標相對于其靜態環境將如何移動。

利用跨傳感器數據訓練循環神經網絡

雷達和激光雷達傳感器非常擅長測量移動目標的速度。 因此，NVIDIA使用來自兩個傳感器的數據來生成地面實況信息去訓練循環神經網絡以預測目標的速度，而不試圖使用從人類標記的攝像頭圖像中提取此類信息。

白色框代表目標對象當前位置，黃色框代表循環神經網絡對這些對象未來移動位置的預測。

具體來說，我們將激光雷達和雷達的信息輸入到攝像頭域中，并用速度數據標記攝像頭圖像。這就使我們能夠利用跨傳感器融合來創建一個自動的數據流程，為循環神經網絡的訓練生成地面實況信息。

循環神經網絡輸出包括每個在場景中檢測到的動態對象（如車輛和行人）的碰撞時間（TTC）、未來位置以及未來速度預測。這些結果能夠為自動駕駛汽車中的縱向控制功能（如自動巡航控制和自動緊急制動）提供必要的輸入信息。

借助循環神經網絡從過去學習的能力，NVIDIA能夠為自動駕駛汽車創造更安全的未來。