未來的汽車將不僅僅是交通運輸方式，而是會成為智能伙伴，將技術和舒適性無縫結合，以提升駕駛體驗，并且從內到外都將以安全為本。

NVIDIA GTC 于本周在圣何塞會議中心舉行，這次大會將重點關注 NVIDIA 與合作伙伴正在開展的開創性工作：將生成式 AI、大語言模型（LLM）和視覺語言模型（VLM）的變革力量引入移動出行領域。

NVIDIA 展示了如何通過深度學習和 Transformer 模型提供的強大感知、理解和生成能力，來構建車載助手，從而提升駕駛員的行車安全、人身安全和舒適度。

探索理論與實踐

LLM 是生成式 AI 的一種形式，在很大程度上代表了一類被稱為 Transformer 模型的深度學習架構，這類學習架構是一種擅長學習上下文和含義的神經網絡。

視覺語言模型是生成式 AI 的另一類延伸，可提供圖像處理和語言理解功能。傳統或多模態 LLM 主要處理和生成基于文本的數據，而 VLM 則不然，它可通過圖像或視頻分析和生成文本。

檢索增強型生成技術（RAG）允許制造商從特定數據庫或網絡獲取知識，從而為駕駛員提供幫助。

NVIDIA Avatar Cloud Engine（ACE）和多模態語言模型綜合使用這些技術，與 NVIDIA DRIVE 平臺協同工作，從而讓汽車制造商開發自己的智能車載助手。

例如，借助 Avatar 配置器，設計師可以為其車型打造獨特的、符合品牌調性的角色形象，并配有定制的聲音和情感特性。這些 AI 動畫虛擬形象可以自然地完成對話，提供實時的幫助、建議和個性化互動。

此外，AI 增強的周邊環境可視化利用 360 度攝像頭重建來增強車輛安全性，而智能助手則可以獲取當地駕駛法規等外部信息來為決策制定提供信息。

個性化至關重要，在這方面，AI 助手可以學習駕駛員和乘客的習慣，并調整其行為以滿足乘員的需求。

汽車領域的生成式 AI 在 GTC 大會上大顯身手

多個參與 GTC 大會的 NVIDIA 合作伙伴還展示了他們使用從邊緣到云端的 NVIDIA 技術所開發的最新生成式 AI 成果：

賽輪思的 CaLLM 是一個專注于汽車領域的 LLM，其在 NVIDIA DRIVE 上運行，是賽輪思新一代車載計算平臺的基礎。該平臺于去年年底一經推出，就被視為車內交互的未來，它配備汽車及移動出行專用助手，可提供集成的座艙體驗。賽輪思正在與 NVIDIA 工程團隊協作，以進一步集成 CaLLM 和 NVIDIA AI Foundation 模型。通過共同努力，賽輪思正在充分利用 NVIDIA DGX 云這一開發平臺，同時應用“護欄”來增強性能，并利用 NVIDIA AI Enterprise 來優化推理。今年，NVIDIA 和賽輪思將繼續與多家汽車 OEM 攜手合作，共同開拓這一解決方案。

Wayve 正在幫助開創自主化具身 AI （Embodied AI）新時代，他們的新一代 AV2.0 采用大型具身 AI 基礎模型處理數據。該模型通過學習使用 AI 端到端技術來驅動自監督，實現從輸入感知結果到輸出駕駛行動的全過程。這家英國初創公司已經推出了 GAIA-1，這是一種由 NVIDIA 賦能的生成式世界模型，適用于自動駕駛汽車開發；該模型可與 LINGO-1 配合使用，LINGO-1 是一款閉環駕駛評論工具，使用自然語言來增強 AI 駕駛模型的學習能力和可解釋性。

理想汽車在去年 6 月推出了多模態認知模型 Mind GPT。該模型基于開源庫 NVIDIA TensorRT-LLM，是理想汽車 AI 助手“理想同學”的基礎，具有場景理解、生成、知識保留和推理功能。理想汽車目前正在開發 DriveVLM 來增強自動駕駛能力，使系統能夠理解復雜的場景，特別是對傳統自動駕駛來說具有挑戰性的場景，例如非結構化道路、罕見異常物體以及意外的交通事件。這一先進模型在 NVIDIA GPU 上進行訓練，并利用 TensorRT-LLM 和 NVIDIA Triton 推理服務器在數據中心生成數據。借助 NVIDIA DRIVE 和 TensorRT-LLM 的推理優化，DriveVLM 可在嵌入式系統上高效運行。

蔚來已推出 NOMI GPT，提供 NOMI 百科問答、座艙氛圍大師、用車助手等智能體驗?；?LLM 提供的功能以及由 NVIDIA AI 堆棧支持的高效計算平臺，NOMI GPT 不僅具有基礎的語音識別和指令執行功能，還可以借助深度學習來理解和處理車內人員更為復雜的語句和指令。

吉利正在與 NVIDIA 共同致力于提供智能座艙體驗，以及邊云加速協同。吉利正在應用生成式 AI 和 LLM 技術，使用自然語言處理、對話系統和預測分析來提供智能導航和語音助手，進而提供更智能、個性化和安全的駕駛體驗。在將 LLM 部署到生產環境中時，吉利使用 NVIDIA TensorRT-LLM 來實現更高效的推理。對于更復雜的任務或需要大規模數據支持的場景，吉利將在云端對大模型進行部署。

Waabi 正在構建用于自動駕駛的 AI，并將利用 NVIDIA DRIVE Thor 提供的生成式 AI 能力來實現其突破性的自動貨運解決方案，將安全可靠的自主技術引入卡車運輸行業。

聯想推出了一款名為 UltraBoost 的新型 AI 加速引擎，該引擎將在 NVIDIA DRIVE 上運行，具備 AI 模型引擎和 AI 編譯器工具鏈，可推進車內 LLM 的部署。

SoundHound AI 使用 NVIDIA 技術來運行其結合了實時和生成式 AI 功能的車載語音界面，即使車輛沒有云連接，該界面也能提供響應。借助這一解決方案，駕駛員可以訪問 SoundHound 的車輛智能產品，通過自然語音直接從汽車手冊和其他數據源即時提供設置、故障排除和其他信息，而無需紙質文檔。

塔塔集團旗下的塔塔咨詢服務公司利用其基于 AI 的技術和工程創新，打造了由 NVIDIA GPU 和軟件框架支持的 Automotive GenAI 套件。該套件能夠加速軟件定義車輛的設計、開發和驗證，同時充分利用各種 LLM 和 VLM 為車載和基于云的系統提供支持。

MediaTek 宣布推出四款適用于 Dimensity Auto 座艙平臺 （Dimensity Auto Cockpit）產品系列的車規級 SoC，為從豪華到入門級的新一代智能汽車提供基于 AI 的卓越座艙體驗。為了支持深度學習功能，Dimensity Auto 座艙平臺芯片組集成了 NVIDIA 下一代 GPU 加速的 AI 運算和 NVIDIA RTX 圖形處理技術，支持在車內運行 LLM，可賦能車載語音助手、多屏顯示、駕駛警覺性監測等先進的 AI 安全和娛樂應用。

審核編輯：劉清