大語言模型（LLM）與多模態推理系統正迅速突破數據中心的局限。越來越多的汽車與機器人領域的開發者希望將對話式 AI 智能體、多模態感知系統和高級規劃功能直接部署在端側，因為在這些場景中，低延遲、高可靠性以及離線運行能力至關重要。

目前主流的 LLM 和視覺語言模型（VLM）推理框架主要圍繞數據中心需求設計，例如應對大量并發用戶請求并最大化其吞吐量，而嵌入式推理場景則需要一套專用的定制化解決方案。

本文介紹了 NVIDIA TensorRT Edge-LLM——一個用于 LLM 和 VLM 推理的新型開源 C++ 框架，旨在滿足日益增長的高性能邊緣端推理需求。該框架專為嵌入式汽車平臺 NVIDIA DRIVE AGX Thor 及機器人平臺 NVIDIA Jetson Thor 上的實時應用而打造。該框架已在 GitHub 上隨 NVIDIA JetPack 7.1 版本發布并開源。

TensorRT Edge-LLM 依賴項很少，專為實現量產級邊緣端應用部署而設計。其精簡輕量化的設計專注于嵌入式場景的特定功能，能夠顯著降低框架的資源占用。

此外，TensorRT Edge-LLM 所具備的先進功能——如 EAGLE-3 投機采樣、NVFP4 量化支持以及分塊預填充技術，能夠滿足高要求的實時應用場景所需的前沿的性能需求。

圖 1. 與主流 LLM 和 VLM 推理框架 vLLM 相比，TensorRT Edge-LLM 性能表現卓越。

面向實時邊緣端應用的 LLM 與 VLM 推理

邊緣端 LLM 推理任務和 VLM 推理任務具有以下特征：

請求來自少數或單一用戶

批處理規模較小，通常需跨多個攝像頭輸入

面向關鍵任務應用的量產級部署

支持離線運行且無需更新

因此，機器人和汽車領域的實時應用提出了以下特定要求：

延遲低且可預測

最小化磁盤、內存和計算資源的占用

符合量產標準

高魯棒性和高可靠性

TensorRT Edge-LLM 旨在滿足并優先處理這些嵌入式場景的特定需求，為嵌入式 LLM 和 VLM 的推理提供堅實基礎。

TensorRT Edge-LLM 在汽車行業的落地應用

合作伙伴已開始將 TensorRT Edge-LLM 作為其車用 AI 產品的基礎，其中博世、中科創達和 MediaTek 等企業在 CES 2026 上展示了其相關技術。

博世與 NVIDIA 及微軟共同開發新一代博世智能座艙，該座艙搭載的車載 AI 助手具備自然語音交互能力。該解決方案集成了嵌入式自動語音識別（ASR）與文本轉語音（TTS）AI 模型，并通過 TensorRT Edge-LLM 實現 LLM 推理，從而構建了一個強大的車載 AI 系統。同時，該系統還可通過精密協調器與云端的大型 AI 模型協同運作。

中科創達將 TensorRT Edge-LLM 集成至其即將推出的 AIBOX 平臺，該平臺基于 NVIDIA DRIVE AGX Orin 架構，旨在為車內提供響應迅速的車端 LLM 及多模態推理能力。通過整合中科創達的汽車軟件棧與 TensorRT Edge-LLM 的輕量級 C++ 運行時及優化解碼路徑，該 AIBOX 能在嚴苛的功耗和內存限制下，提供低延遲的語音交互與座艙輔助體驗。

MediaTek 在其 CX1 系統級芯片中基于 TensorRT Edge-LLM 進行開發，以支持先進的座艙 AI 與人機交互應用。TensorRT Edge-LLM 加速了 LLM 和 VLM 的推理過程，適用于多種應用場景，包括駕駛員和座艙活動監測。同時，MediaTek 通過開發新型嵌入式專用推理方法，持續反哺 TensorRT Edge-LLM 的技術演進。

隨著 TensorRT Edge-LLM 的發布，這些 LLM 和 VLM 的推理能力現已面向 NVIDIA Jetson 生態系統開放，可為機器人技術提供基礎支撐。

TensorRT Edge-LLM 技術解析

TensorRT Edge-LLM 旨在為 LLM 和 VLM 的推理提供一個端到端工作流。該流程涵蓋三個階段：

將 Hugging Face 模型導出為 ONNX 格式

針對目標硬件構建優化的 NVIDIA TensorRT 引擎

在目標硬件上運行推理任務

圖 2. TensorRT Edge-LLM 工作流及關鍵組件

Python 導出流程能夠將 Hugging Face 模型轉換為 ONNX 格式，并支持量化、LoRA 適配器和 EAGLE-3 投機采樣（圖 3）。

圖 3. TensorRT Edge-LLM Python導出流程階段與工具

引擎構建器負責構建專為嵌入式目標硬件優化的 TensorRT（圖 4）。

圖 4. TensorRT Edge-LLM 引擎構建器工作流

C++ 運行時負責在目標硬件上執行 LLM 和 VLM 的推理任務。它利用 TensorRT 引擎來實現自回歸模型解碼循環：即基于輸入和先前生成 token 進行迭代式的 token 生成。用戶應用程序通過與該運行時交互，來處理 LLM 和 VLM 的工作負載。

圖 5. TensorRT Edge-LLM C++ 運行時的預填充與解碼階段

如需了解上述各組件的更多說明，請參閱 TensorRT Edge-LLM 的完整文檔。

開始使用 TensorRT Edge-LLM

準備好在您的 Jetson AGX Thor 開發套件上開始 LLM 和 VLM 推理了嗎？

下載 JetPack 7.1 版本

克隆 NVIDIA/TensorRT-Edge-LLM GitHub 倉庫的 JetPack 7.1 發布分支：

git clone https://github.com/NVIDIA/TensorRT-Edge-LLM.git

查閱 TensorRT Edge-LLM 快速入門指南，了解如何從 Hugging Face 獲取開箱即用的支持模型、并將其轉換為 ONNX 格式、為 Jetson AGX Thor 平臺構建 TensorRT 引擎，以及最終通過 C++ 運行時進行運行的完整步驟。

參閱 TensorRT Edge-LLM 示例，了解更多特性和功能。

若需根據自身需求定制 TensorRT Edge-LLM，請參閱 TensorRT Edge-LLM 定制指南。

對于 NVIDIA DRIVE AGX Thor 用戶，TensorRT Edge-LLM 已作為 NVIDIA DriveOS 發行包的標準組件提供。后續 DriveOS 版本將通過 GitHub 倉庫進行發布。

隨著 LLM 和 VLM 快速向邊緣端遷移，TensorRT Edge-LLM 提供了一條清晰可靠的路徑，能夠將 Hugging Face 模型直接部署至 NVIDIA 汽車和機器人平臺，實現實時、量產級落地。

探索工作流，充分測試模型效果，并著手構建下一代智能端側應用。了解更多信息，請訪問 NVIDIA/TensorRT-Edge-LLM GitHub 倉庫。

致謝

感謝 Michael Ferry、Nicky Liu、Martin Chi、Ruo Cheng Jia、Charl Li、Maggie Hu、Krishna Sai Chemudupati、Frederik Kaster、XiangGuo、Yuan Yao、Vincent Wang、Levi Chen、Chen Fu、Le An、Josh Park、Xinru Zhu、Chengming Zhao、Sunny Gai、Ajinkya Rasani、Zhijia Liu、Ever Wong、Wenting Jiang、Jonas Li、Po-Han Huang、Brant Zhao、Yiheng張和 Ashwin Nanjappa，感謝你們對 TensorRT Edge-LLM 的貢獻和支持。

關于作者

Lin Chai 是 NVIDIA 的高級產品經理，負責領導 TensorRT 和 TensorRTEdge-LLM，這是 NVIDIA 跨數據中心和嵌入式平臺深度學習的 AI 推理平臺。憑借在自動駕駛和汽車原始設備制造商 (OEM) 方面的背景，她受到啟發，想要構建生產級推理系統，為數據中心、邊緣和物理 AI 應用中的深度學習工作負載提供一流的性能，使系統能夠在現實世界中感知、推理和行動。

Felix Friedmann 是 NVIDIA DRIVE 平臺的產品和工程主管，涵蓋 NVIDIA 嵌入式 AI 推理和 NVIDIA DriveWorks。他將嵌入式視覺語言模型等最新技術創新與汽車軟件平臺所需的可靠性和安全性相結合。自 NVIDIA DRIVE 平臺問世以來，Felix 一直在前一個職位上與之合作，當時他在奧迪將早期的深度學習模型引入嵌入式應用程序，并為 atVW 的 AID 智能汽車和后來的 Argo AI 設計了感知和系統架構。

Luxiao Zheng 是 NVIDIA 的高級系統軟件工程師。他是 TensorRT 一般性能團隊的成員，專門從事大語言模型推理工作流程。他從事 x86_64 和 aarch64 平臺的端到端 LLM 軟件開發、性能測量、分析和改進。陸曉持有理科碩士學位。計算機科學專業，理學學士學位。計算機科學和理學學士學位。華盛頓大學化學工程專業的博士學位。

Fan Shi 是 NVIDIA TensorRT 團隊的高級系統軟件工程師，專門負責在邊緣平臺上高效部署先進的 AI 模型。他的工作重點是優化深度學習推理的性能和可用性。風扇擁有 M.S。卡耐基梅隆大學計算數據科學博士學位和理學學士學位。來自伊利諾伊大學的統計學和計算機科學博士學位。

Amber Liu 是 NVIDIA 的高級系統軟件工程師，專注于邊緣 AI 和大語言模型應用。她與中國的客戶和合作伙伴密切合作，在自動駕駛、AI 駕駛艙和機器人領域實現 LLM 用例，幫助團隊構建生產就緒型邊緣 AI 系統。作為 TensorRT Edge? LLM 的核心貢獻者，她致力于開發高性能推理解決方案，將先進的大語言模型引入嵌入式平臺。