在 GTC 2022 秋季大會上，NVIDIA 汽車部門營銷經(jīng)理 Katie Burke Washabaugh，面向想要了解自動駕駛汽車、并有志于投身自動駕駛行業(yè)的觀眾，介紹了自動駕駛汽車的相關技術以及發(fā)展前景。小編對此次分享的精華內(nèi)容進行了匯總和整理。

在上篇，我們回顧了自動駕駛汽車的發(fā)展歷史，介紹了自動駕駛汽車的工作原理。得益于 AI 技術的突破，自動駕駛汽車飛速發(fā)展，運算速度也從 2007 年的 230 FLOPS 躍升至 2022 年的 254 TOPS，向軟件定義汽車發(fā)展。現(xiàn)在，讓我們從汽車到后臺的數(shù)據(jù)中心，了解自動駕駛汽車如何學習、識別現(xiàn)實世界中的物體并做出反應。

訓練＋仿真，自動駕駛“學海無涯”

海量數(shù)據(jù)支撐 AI 訓練架構

深度學習讓汽車能夠像人類一樣與世界互動。基于數(shù)據(jù)中心和超級計算技術，汽車能夠通過 AI 訓練基礎架構來進行訓練、學習。

在正式上路前，自動駕駛汽車需要在數(shù)據(jù)中心進行大量駕駛數(shù)據(jù)的訓練。開發(fā)人員將基于這些數(shù)據(jù)，進行反復訓練和驗證，從而確保在自動駕駛汽車上運行的深度神經(jīng)網(wǎng)絡能夠準確地感知相關信息。然后，這些網(wǎng)絡會進行大量仿真測試，以確保自動駕駛車輛能在現(xiàn)實世界中正常運行。

接下來，讓我們深入了解自動駕駛算法的開發(fā)過程。

第一步，從數(shù)據(jù)采集入手。單個測試車輛運行 6 小時會產(chǎn)生 32TB 數(shù)據(jù)，當測試對象擴展為每天都會行駛 6 小時的 50 輛車時，這一數(shù)字將飆升為 1.6PB。這些數(shù)據(jù)，需要傳輸、編碼和存儲，然后才能進行進一步的處理。

第二步，對數(shù)據(jù)進行梳理。開發(fā)者必須對這些數(shù)據(jù)進行篩選，他們需要逐幀瀏覽數(shù)據(jù)，從中選取對于訓練來說較為實用的實例。這里說的“實用”，指的是該幀所包含的數(shù)據(jù)為深度神經(jīng)網(wǎng)絡從未接觸過的新數(shù)據(jù)，或是在當前訓練數(shù)據(jù)中較為缺乏的數(shù)據(jù)。通常，實用數(shù)據(jù)約占總采集數(shù)據(jù)的 10%，這個過程非常耗時。

第三步，數(shù)據(jù)標記。當數(shù)據(jù)篩選完畢后，必須對篩選出的數(shù)據(jù)進行標記，即對圖像的每個組成部分進行識別與標記。這樣，當深度神經(jīng)網(wǎng)絡基于該數(shù)據(jù)進行訓練時，可以正確識別出相應的組成部分。此外，在驗證過程中，還能通過這些標記對神經(jīng)網(wǎng)絡進行仔細檢查，確保該網(wǎng)絡能夠正確識別行人等。

第四步，訓練。完成預處理流程后，即可開始訓練深度神經(jīng)網(wǎng)絡。在此過程中，開發(fā)者需要長時間運行這些網(wǎng)絡來處理海量圖像，以便能夠在任何照明條件、天氣條件、地理位置下，均能準確可靠地識別出相關交通標志。

第五步，回放。訓練完成后，這些網(wǎng)絡會通過“回放”流程接受驗證。開發(fā)者會回放駕駛數(shù)據(jù)，以檢查這些網(wǎng)絡的準確性。

第六步，仿真。最后，在仿真環(huán)境中，運行包含所有神經(jīng)網(wǎng)絡的軟件，了解它在實際駕駛環(huán)境中的表現(xiàn)，并將它運用于實際公路駕駛中。

可以看到，這個流程非常復雜。不管是從前期的數(shù)據(jù)采集、打標、清理，還是到后期的算法驗證、測試，以及中間各種功能模型的訓練和開發(fā)，不同的階段，會涉及到不同的復雜的工具和框架。對于自動駕駛算法設計者來說，端到端無縫流暢的開發(fā)環(huán)境，將大大提高研發(fā)效率。

仿真技術豐富場景模擬

了解完訓練，那么仿真過程究竟是如何運作的呢？

上文也提到，深度神經(jīng)網(wǎng)絡必須能夠應對各種天氣、道路或光線條件。由于真實駕駛可能需要很長時間才能覆蓋所有可能發(fā)生的情況，因此無法通過真實駕駛來進行針對性的測試，這個時候，我們就需要仿真。

NVIDIA 構建了一個高保真仿真試驗場，用于測試這些罕見的場景，也就是所謂的“邊緣案例”或 “長尾場景”，例如，一只鹿在清晨從車前跑過、從天而降的一棵樹、從卡車上掉下來的雞等等，簡單來說，就是人們希望自動駕駛汽車能夠安全應對的各種千奇百怪的情況。

將實際道路測試與仿真技術結(jié)合，是未來部署自動駕駛汽車的關鍵所在。NVIDIA 將通過 DRIVE Sim 實現(xiàn)這一點。DRIVE Sim 采用物理準確的高保真仿真技術，通過安全、可擴展且經(jīng)濟高效的方式，推動自動駕駛汽車上路。DRIVE Sim 運用 RTX、Omniverse 和 AI 等 NVIDIA 的核心技術，打造基于云的強大計算平臺，可以生成一系列尋常或罕見的現(xiàn)實世界場景，從而滿足自動駕駛?cè)骝炞C的需求。除了利用從現(xiàn)實世界中收集的數(shù)據(jù)，DRIVE Sim 還可以生成預先標記的合成數(shù)據(jù)集，用戶可以繞過整個預處理流程，根據(jù)需求定制測試場景，填補當前開發(fā)流程中的空白。

上文介紹了許多關于仿真的內(nèi)容，以下是兩段視頻，幫助大家了解實際操作。

持續(xù)開發(fā)造就無限可能

從數(shù)據(jù)采集到仿真的開發(fā)流程并不是線性的，而是一個持續(xù)的開發(fā)周期。汽車在行駛時會不斷收集數(shù)據(jù)，然后這些數(shù)據(jù)會用于優(yōu)化和訓練深度神經(jīng)網(wǎng)絡的新功能，這些功能通過 OTA 無線更新到汽車上，從而真正實現(xiàn)軟件定義汽車。

軟件定義架構將徹底改變客戶體驗。從前如果購買一輛車，在駛離 4S 店的那一刻，這輛車便已達到其技術巔峰，雖然未來新功能會不斷推出，但是這些功能都將搭載在該車輛的未來型號上，而不是所購買的這輛汽車。現(xiàn)在，軟件定義架構完全改變了這種局面，客戶在車輛的整個生命周期內(nèi)，都能享受到最新推出的新技術、新功能。軟件定義汽車將顛覆汽車行業(yè)，開啟新的商業(yè)模式。

自動駕駛汽車開發(fā)—持續(xù)的開發(fā)流

軟件定義與 AI 合力，自動駕駛汽車未來可期

通過上文，大家已經(jīng)了解到自動駕駛技術的工作原理及開發(fā)方式，未來 10 年可能會有什么趨勢？

軟件定義汽車大勢所趨

未來將會推出許多值得關注的新技術。具體來說，汽車制造商將在未來幾年開始推出軟件定義汽車。2020 年，梅賽德斯-奔馳宣布將于 2024 年基于 DRIVE Orin 平臺，生產(chǎn)軟件定義汽車。今年 2 月，捷豹路虎也宣布將于 2025 年推出軟件定義汽車。此外，一些新能源汽車公司已經(jīng)宣布要推出類似的架構，越來越多的汽車將會采用這個極具突破性的軟件定義架構。

同時，車載計算也將繼續(xù)發(fā)展。正如前文所述，這些計算平臺需要具備可擴展性，以便車企能夠?qū)⑵淠壳盎?DRIVE Orin 開發(fā)的軟件，移植到可實現(xiàn) 2000 TOPS 運算的新一代計算平臺 DRIVE Thor 中，從而繼續(xù)使用這些軟件。

回顧自動駕駛汽車的發(fā)展歷程，不禁令人感嘆創(chuàng)新速度的迅猛。令人欣喜的是，在各個階段中，自動駕駛行業(yè)都能夠不斷利用最新的創(chuàng)新成果，其中智能座艙的發(fā)展尤其值得關注：

AI 座艙魅力無限

車載技術將變得越來越強大。具體來說，駕駛艙內(nèi)置的輔助功能將實現(xiàn)智能化。以下圖片展示的是 NVIDIA DRIVE Concierge。DRIVE Concierge 具有獨特的設計，可以充當駕駛員和乘客的數(shù)字助手，協(xié)助乘客進行預訂、為乘客推薦當?shù)靥厣艽螂娫捄桶l(fā)出提醒。無論是將錢包落在車上，還是外出購物時忘記在下午 4 點的線上會議等，DRIVE Concierge 都可以發(fā)出提醒。總而言之，DRIVE Concierge 可為車上的駕駛員和每位乘客提供個性化服務。

NVIDIA DRIVE CONCIERGE

DRIVE Concierge 基于 Omniverse Avatar 實現(xiàn)以上功能。Omniverse Avatar 能將語音 AI、計算機視覺、自然語言理解、推薦引擎和仿真技術相結(jié)合。基于 Omniverse Avatar 創(chuàng)建的虛擬形象，是具有光線追蹤 3D 圖形效果的交互式角色，可視可聽，可就廣泛的主題進行交談，并理解自然語言意圖。通過 Omniverse Avatar，人們將能夠與汽車進行自然對話。此前需要通過物理控制或使用觸控屏實現(xiàn)的許多功能，現(xiàn)在只需下達語音命令即可完成。

還記得在上篇中，我們提到的電視劇《霹靂游俠》（Knight Rider）中高度人工智能的跑車 KITT 嗎？現(xiàn)在它已經(jīng)從科幻作品照進現(xiàn)實！觀看以下視頻，了解 NVIDIA DRIVE Concierge。

以上就是本次分享的全部內(nèi)容。如欲了解更多自動駕駛訓練和仿真的內(nèi)容，請查看推薦閱讀。

推薦閱讀

NVIDIA攜手IDC發(fā)布行業(yè)白皮書：現(xiàn)實+仿真，超大算力賦能自動駕駛

一文看懂DRIVE Replicator：合成數(shù)據(jù)生成加速自動駕駛汽車的開發(fā)和驗證

一文讀懂自動駕駛汽車：軟硬結(jié)合 造就未來出行體驗（上篇）

點擊“閱讀原文”，了解更多關于 NVIDIA 自動駕駛汽車解決方案的內(nèi)容。

?

即刻掃描下方海報二維碼，收下這份 GTC22 精選演講合集清單，在NVIDIA on-Demand 上點播觀看主題演講精選、中國精選、元宇宙應用領域與全球各行業(yè)及領域的最新成果！