NVIDIA 研究團隊取得突破性成果，展示了 Omniverse 數字孿生技術在仿真中重建真實場景的強大功能。

自動駕駛汽車的開發和驗證需要能夠在仿真中復制真實場景。

在 GTC 大會上，NVIDIA 創始人兼首席執行官黃仁勛先生展示了適用于 NVIDIA DRIVE Sim 的新型 AI 工具，這些工具可以準確重建和修改實際駕駛場景。這些工具由 NVIDIA 研究團隊利用 NVIDIA Omniverse 平臺和 NVIDIA DRIVE Map 等技術取得的突破性成果提供支持。

黃仁勛先生演示了這些方法，展示開發者如何在快速迭代中輕松測試多個場景：

在仿真中重建任何場景后，這些場景便可用作許多不同變化的基礎，包括改變迎面而來的車輛的軌跡，或在駕駛路徑上增加障礙物，從而有助于開發者改進 AI 驅動。

然而，在仿真中重建真實駕駛場景并從中生成真實的數據是一個費時費力的過程。這需要技術經驗豐富的工程師和藝術家，但即便如此，也很難做到。

NVIDIA 已實施兩種基于 AI 的方法來無縫執行此過程：虛擬重建和神經重建。第一種方法復制真實場景，作為完全合成的 3D 場景，第二種方法則使用神經仿真增強真實的傳感器數據。

這兩種方法不僅能夠重現單個場景，還能夠實現擴展，生成許多富有挑戰性的新場景。這種功能加速了持續的自動駕駛汽車訓練、測試和驗證工作流。

虛擬重建

在上面的主題演講視頻中，使用 NVIDIA DRIVE Map、Omniverse 和 DRIVE Sim，以 3D 形式重建了 NVIDIA 總部周圍的整體駕駛環境和各個場景。

借助 DRIVE Map，開發者可以在 Omniverse 中查看道路網絡的數字孿生。通過使用建立在 Omniverse 上的工具，詳細的地圖可以轉換為能夠與 NVIDIA DRIVE Sim 一起使用的可駕駛仿真環境。

利用重建的仿真環境，開發者可以使用在真實駕駛中獲得的攝像頭、激光雷達和車輛數據來重現事件，例如在交叉路口發生的驚險一刻或穿越施工區。

該平臺的 AI 幫助重建場景。首先，對于每個追蹤的物體，AI 會查看攝像頭圖像，并從 DRIVE Sim 目錄中找到極其相似的 3D 素材，以及與視頻中物體顏色非常接近的顏色。

最后，重現追蹤物體的實際路徑;然而，由于存在遮擋，通常會存在空白。在這種情況下，基于 AI 的交通模型會應用于追蹤的物體，以預測其運行情況并填補其軌跡中的空白。

使用真實駕駛中的攝像頭和激光雷達數據以及 AI 重建場景

借助虛擬重建，開發者能夠發現具有挑戰性的潛在情況，通過基于物理傳感器和 AI 行為模型生成的高保真數據來訓練和驗證自動駕駛汽車系統，從而創建許多新場景。場景中的數據也可以訓練行為模型。

使用 AI 從原場景中生成看似合理、具有挑戰性的場景

神經重建

另一種方法依靠的是神經仿真，而不是以合成方式生成場景，首先使用真實的傳感器數據，然后再進行修改。

傳感器重放(回放錄制的傳感器數據以測試自動駕駛汽車系統的性能的過程)是自動駕駛汽車開發的主要內容。這是一個開環過程，意味著自動駕駛汽車棧的決策不會影響世界，因為所有數據都是預先錄制的。

NVIDIA 研究團隊提供的神經重建方法的預覽將這些錄制的數據轉變為一個完全反應式的可修改環境，就像在演示中一樣，最初錄制的貨車駛過時，汽車可以重新設定為右轉彎。這種革命性的方法可以實現在自動駕駛棧與駕駛環境之間進行閉環測試和完全交互。

此過程從錄制的駕駛數據開始。AI 可識別場景中的動態物體，并將其移除，以創建可從新視角呈現的 3D 環境精確副本。然后，將動態物體重新融入 3D 場景，呈現基于 AI 的逼真行為和外貌，并考慮照明和陰影。

使用 AI 基于預先錄制的駕駛數據創建 3D 交互式環境

然后，自動駕駛系統會在這個虛擬世界中行駛，且場景會做出相應的反應。您可以通過增強現實使場景變得更加復雜，可以插入其他虛擬物體、車輛和行人，使渲染結果看起來就像是真實場景的一部分，并且可以與環境進行物理交互。

車輛上的每一個傳感器(包括攝像頭和激光雷達)都可以使用 AI 在場景中進行仿真。

在 Omniverse 中，可以在駕駛環境中插入虛擬物體和車輛。針對場景生成了人工傳感器數據(包括激光雷達)

充滿可能性的虛擬世界

這些新方法由 NVIDIA 在渲染、圖形和 AI 方面的專業知識驅動。

作為一個模塊化平臺，DRIVE Sim 在確定性仿真的基礎上支持這些功能。它提供車輛動態、基于 AI 的交通模型、場景工具和全面的 SDK，以構建所需的任何工具。

通過這兩種強大新穎的 AI 方法，開發者可以輕松地從現實世界遷移到虛擬世界，從而加快自動駕駛的開發和部署。

原文標題：GTC22 | NVIDIA 展示 DRIVE Sim 中的新型 AI 工具，推動自動駕駛汽車的開發

文章出處：【微信公眾號：NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。

審核編輯：湯梓紅