NVIDIA TensorRT是一個用于高效實現已訓練好的深度學習模型推理過程的軟件開發工具包，內含推理優化器和運行環境兩部分，其目的在于讓深度學習模型能夠在 GPU 上以更高吞吐量和更低的延遲運行，目前已在業界得到廣泛應用與部署。

為了幫助廣大開發者更好地了解 TensorRT，NVIDIA GPU 計算專家團隊（Devtech）工程師李瑋、王猛基于最新的 8.6.1 版本錄制了NVIDIA TensorRT 教程。本系列教程預計 4 小時，包含五個章節，旨在相對全面地介紹 TensorRT。該教程濃縮了 NVIDIA TensorRT 開發團隊的技術和經驗，以及與客戶在合作過程中遇到的各種問題和相應的解決方法，期待開發者們在觀看該教程及配套代碼庫后能有所收獲，為學習、科研和工作添磚加瓦。

需要注意的是，在未來版本的 TensorRT 中，部分 API 和用法可能發生變化，該教程內容也會隨之進行更新，請在配合代碼進行學習的時候，注意開發環境和軟件版本，避免兼容性方面的問題。

立即掃碼充電！

TensorRT教程介紹

第一部分：TensorRT 簡介（時長: 41 分鐘）

●TensorRT 基本特性和用法●Workflow：使用 TensorRT API 搭建●Workflow：使用 ONNX-Parser●Workflow：使用框架內 TensorRT 接口 本章節將介紹 TensorRT 的基本特性和用法，并介紹使用 TensorRT 的三種常見工作流程。在該章節中，將從頭搭建一個可以在 TensorRT 中運行推理計算的程序，方便了解一些基本 API 的用法，然后分別使用 TensorRT 的原生 API 搭建、使用 Parser 解析 ONNX 模型，以及使用 TensorFlow 和 Pytorch 等平臺自帶的 TensorRT 接口這三種方法將 TensorRT 用起來。

第二部分：開發輔助工具（時長：24 分鐘）

●trtexec●Netron●polygraphy●onnx-graphsurgeon●NsightSystems

本章節介紹使用 TensorRT 過程中五個常用的開發輔助工具，它們在性能測試、網絡可視化、模型遷移、精度檢驗、計算圖編輯、模型整體性能優化等方面都起到了重要的作用。第二章節將逐一介紹這五個工具，并列舉在實際工作中使用這些工具的范例和經驗。

第三部分：插件書寫（時長：18 分鐘）

●使用 Plugin 的簡單例子●關鍵 API●結合使用 Parser 和 Plugin●Plugin 高級話題●使用 Plugin 的例子

本章節將著重介紹 TensorRT Plugin 的相關技術，將從一個最簡單的標量加法的 Plugin 例子開始，講解 Plugin 的原理、特性、用法等，然后介紹一個把 Plugin 和 Parser 結合使用的例子，最后補充一些 Plugin 的高級用法，以及在工作中使用 Plugin 的一些案例。

第四部分:TensorRT高級用法（時長: 28 分鐘）

●多 OptimizationProfile●多 Stream●多 Context●CUDAGraph●TimingCache●Refit●TacticSource●硬件兼容+版本兼容●更多工具

本章節將介紹 TensorRT 的一些高級話題。這些技術在 TensorRT 的使用過程中不是必須的，但在復雜的實際應用場景中，這些技術對于改善模型性能和內存占用、模型的調試分析、算法精確控制等方面有重要的作用。建議在完成前三個章節的學習后，瀏覽本章節，將對 TensorRT 的使用起到錦上添花的作用。

第五部分：常見優化策略（時長:1 小時 42 分鐘）

●概述●性能分析工具●性能優化實例

本章節將介紹 TensorRT 工作流程中常見的模型優化方法。該部分內容將深入講解 TensorRT 相關性能分析工具，并以實例方式講述曾經遇到過的一個模型在移植、優化、部署的過程中使用的優化策略。

TensorRT Hackathon、

生成式 AI 模型優化賽

火熱報名中！

由阿里云、 NVIDIA 聯合舉辦，由阿里云天池平臺組織運營的“NVIDIA TensorRT Hackathon 2023 生成式 AI 模型優化賽”正在火熱報名中，截止時間 8 月 14 日上午 10:00。該賽事面向全社會開放，接受個人或不多于三人的組隊形式參賽。

掃碼報名參賽！

? ? ? ? ? ? ? ? ? ?

相關資源鏈接：

?TensorRT 介紹：https://developer.nvidia.com/tensorrt?TensorRT下載：https://developer.nvidia.com/nvidia-tensorrt-download

?TensorRT Cookbook（本教程配套代碼，包含視頻以外的更多范例代碼）：https://github.com/NVIDIA/trt-samples-for-hackathon-cn/tree/master/cookbook

?TensorRT文檔：https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html

?C++ API文檔：https://docs.nvidia.com/deeplearning/tensorrt/api/c_api/

?Python API文檔：https://docs.nvidia.com/deeplearning/tensorrt/api/python_api/ 點擊“閱讀原文”，查看 TensorRT 全新教程！ 掃描下方海報二維碼，在 8 月 8日聆聽NVIDIA 創始人兼 CEO 黃仁勛在 SIGGRAPH 現場發表的 NVIDIA 主題演講，了解 NVIDIA 的新技術，包括屢獲殊榮的研究，OpenUSD 開發，以及最新的 AI 內容創作解決方案。