NVIDIA Jetson Orin Nano Super 開發者套件的推出開創了小型邊緣設備生成式 AI 的新時代。全新的 Super 模式為生成式 AI 性能帶來了空前的提升，最多可提升至 1.7 倍，使其成為高性價比的生成式 AI 超級計算機。

JetPack 6.2 現已支持 Jetson Orin Nano 和 Jetson Orin NX 生產模組通過 Super 模式實現性能升級，最多可將生成式 AI 性能提升至 2 倍。現在，您可以為新的和現有的機器人和邊緣 AI 應用釋放更多價值并降低總體擁有成本。

本文將詳細介紹 Super 模式的詳細信息，包括新的功率模式、Jetson Orin Nano 和 Orin NX 模組上常用生成式 AI 模型的基準性能、文檔更新情況以及支持 Super 開發者套件的 NPN 合作伙伴。

Jetson Orin Nano 和Jetson Orin NX 系列的新參考功率模式

JetPack 6.2 通過在 GPU、DLA 內存和 CPU 時鐘上解鎖更高的頻率，提升 Jetson Orin Nano 和 Jetson Orin NX 系列的功耗。

表 1. Jetson Orin Nano 和 Jetson Orin NX 模組的新參考功率模式

Jetson Orin Nano 模組現在有 25W 模式和無功率上限的全新 MAXN SUPER 模式。同樣，Jetson Orin NX 模組現在可以使用新的 40W 參考功率模式以及無功率上限的 MAXN SUPER 模式。

MAXN SUPER 是一種無功率上限的功率模式，所支持的 CPU、GPU、DLA、PVA 和 SOC 引擎核數量和時鐘頻率最高。在該模式下，如果模組總功率超過熱設計功率（TDP）上限，系統會將模組調低頻率，通過降低性能將功率控制在熱上限內。

我們強烈建議您建立自己的自定義功率模式，以便在功耗或熱穩定性與性能之間找到適合您的應用和需求的合適平衡點。

表 2 比較了 Jetson Orin Nano 4GB 和 8GB 以及 Jetson Orin NX 8GB 和 16GB 在原始模式和 Super 模式下的詳細規格。

表 2. Jetson Orin Nano 和 Jetson Orin NX 在原始模式和 Super 模式下的規格

在使用新的功率模式時，請確保產品當前或新的熱設計能夠適應功率模式的新規格。

最新功耗估算器工具

功耗估算器工具是 NVIDIA 提供的一個功能強大的工具，它可通過修改系統參數（例如 GPU、CPU、DLA 等的核數、最高頻率和負載水平）創建自定義功耗配置文件和 nvpmodel 配置文件。該工具能夠估算各種設置下的功耗，在需要平衡性能和功耗時可用于創建滿足需求的最佳參數設置。

我們已在功耗估算器工具中增加了 Super 模式。我們強烈建議您在部署高性能應用之前使用功耗估算器工具并進行實際驗證。

常用生成式 AI 模型的性能提升情況

在通過 JetPack 6.2 引入 Super 模式后，Jetson Orin Nano 和 Jetson Orin NX 模組的推理性能最多可提升至 2 倍。我們對最常用的大語言模型（LLM）、視覺語言模型（VLM）和視覺轉換器（ViT）進行了基準測試。

大語言模型

下圖和表格顯示了 Llama3.1 8B、Qwen2.5 7B 和 Gemma2 2B 等常用 LLM 在 Super 模式下的性能基準。

圖 1. 使用 Super 模式時的 LLM 性能提升情況

DNR 表示模組內存不足以運行特定模型。模型性能會受到節流行為的影響。

下表中的 LLM 生成性能（每秒 token 數）使用 MLC API 進行 INT4 量化后測量得出。

表 3 顯示了JetPack 6.2 為 Jetson Orin Nano 4GB 上的 LLM 所帶來的性能提升。

表 3. Jetson Orin Nano 4GB 上常用 LLM 的基準性能（token/秒）

表 4 顯示了 JetPack 6.2 為 Jetson Orin Nano 8GB 上的 LLM 所帶來的性能提升。

表 4. Jetson Orin Nano 8GB 上常用 LLM 的基準性能（token/秒）

表 5 顯示了 JetPack 6.2 為 Jetson Orin NX 8GB 上的 LLM 所帶來的性能提升。

表 5. Jetson Orin NX 8GB 上常用 LLM 的基準性能（token/秒）

表 6 顯示了 JetPack 6.2 為 Jetson Orin NX 16GB 上的 LLM 所帶來的性能提升。

表 6. Jetson Orin NX 16GB 上常用 LLM 的基準性能（token/秒）

視覺語言模型

下圖和表格顯示了 VILA1.5 8B、LLAVA1.6 7B 和 Qwen2 VL 2B 等常用 VLM 在 Super 模式下的性能基準。

圖 2. 使用 Super 模式運行時的 VLM 性能提升情況

DNR 表示模組內存不足以運行特定模型。模型性能會受到節流行為的影響。

表 7 顯示了 JetPack 6.2 為 Jetson Orin Nano 4GB 上的 VLM 所帶來的性能提升。

表 7. Jetson Orin Nano 4GB 上常用 VLM 的基準性能（token/秒）

表 8 顯示了 JetPack 6.2 為 Jetson Orin Nano 8GB 上的 VLM 所帶來的性能提升。

表 8. Jetson Orin Nano 8GB 上常用 VLM 的基準性能（token/秒）

表 9 顯示了 JetPack 6.2 為 Jetson Orin NX 8GB 上的VLM所帶來的性能提升。

表 9. Jetson Orin NX 8GB 上常用 VLM 的基準性能（token/秒）

表 10 顯示了 JetPack 6.2 為 Jetson Orin NX 16GB 上的 VLM 所帶來的性能提升。

表 10. Jetson Orin NX 16 GB 上常用 VLM 的基準性能（token/秒）

所有 VILA 和 LLAVA 模型均使用 MLC 以 INT4 精度運行，其余模型使用 Hugging Face Transformer 以 FP4 精度運行。

視覺 Transformer

下圖和表格顯示了 CLIP、DINO 和 SAM2 等常用 ViT 在 Super 模式下的性能基準。

圖 3. 使用 Super 模式運行時的 ViT 性能提升情況

DNR 表示模組上的內存不足以運行特定模型。模型性能會受到節流行為的影響。

表 11 顯示了 JetPack 6.2 為 Jetson Orin Nano 4GB 上的 ViT 所帶來的性能提升。

表 11. Jetson Orin Nano 4GB 上常用 ViT 的基準性能（token/秒）

表 12 顯示了 JetPack 6.2 為 Jetson Orin Nano 8GB 上的 ViT 所帶來的性能提升。

表 12. Jetson Orin Nano 8GB 上常用 ViT 的基準性能（token/秒）

表 13 顯示了 JetPack 6.2 為 Jetson Orin NX 8GB 上的 ViT 所帶來的性能提升。

表 13. Jetson Orin NX 8GB 上常用 ViT 的基準性能（token/秒）

表 14 顯示了 JetPack 6.2 為 Jetson Orin NX 16GB 上的 ViT 所帶來的性能提升。

表 14. Jetson Orin NX 16GB 上常用 ViT 的基準性能（token/秒）

所有 ViT 模型均使用 NVIDIA TensorRT 以 FP16 精度運行，測量單位為 FPS。

開始使用搭載 JetPack 6.2 的NVIDIA Jetson Orin Nano和 Jetson Orin NX

NVIDIA Jetson 生態系統提供了多種使用 JetPack 鏡像刷寫開發者套件和生產模組的方式。

可使用以下任何一種方法在 Jetson Orin Nano 開發者套件或模組上安裝 JetPack 6.2：

從 JetPack SDK 頁面獲得 SD 卡鏡像：

https://developer.nvidia.com/embedded/jetpack

根據下載和安裝說明，對 SDK Manager 進行刷寫：

https://developer.nvidia.com/sdk-manager

根據刷寫支持，刷寫 bootloader、kernel 和 root file system 的腳本：

https://docs.nvidia.com/jetson/archives/r36.4.3/DeveloperGuide/SD/FlashingSupport.html#flashing-support

新的刷寫配置

新功率模式僅適用于新的刷寫配置。默認刷寫配置沒有改變。如要啟用新功率模式，您必須在刷寫時使用新的刷寫配置。

下面是進行刷寫時使用的新的刷寫配置：

刷寫或更新到 JetPack 6.2 后，運行以下命令以啟動新提供的 Super 模式。

在 Jetson Orin Nano 模組上啟動 MAXN SUPER 模式：

在 Jetson Orin NX 模組上啟動 MAXN SUPER 模式：

您還可以從頁面右上角的功率模式菜單中選擇 MAXN SUPER 和其他功率模式。

圖 4. 功率模式選擇菜單

Jetson AI Lab

Jetson AI 實驗室是 NVIDIA 探索和試驗針對邊緣設備優化的生成式 AI 技術的中心。它為開發者提供支持并為合作社區提供近 50 種教程、預構建容器和資源，幫助社區使用經過優化的推理基礎設施部署設備端 LLM、SLM、VLM、擴散策略和語音模型。

通過簡化前沿 AI 工具的訪問途徑，該實驗室使各級別的開發者都能在本地進行創新和部署生成式 AI，從而推動開源邊緣 AI 和機器人學習的發展。

Jetson 生態系統合作伙伴為 Super 模式做好準備

為了幫助客戶進行部署，Jetson 生態系統合作伙伴已通過增強自己的解決方案，支持這一輪性能提升。

NVIDIA Jetson Orin生命周期和路線圖

由于客戶對 Jetson Orin 的需求不斷增長，NVIDIA 最近宣布將 Jetson Orin 的產品生命周期延長至 2032 年。經過這次的性能提升，Jetson Orin Nano 和 Orin NX 系列已成為當前和未來模型的理想平臺。

即將發布的 JetPack 5.1.5 也將支持 Jetson Orin NX 和 Jetson Orin Nano 模組的 Super 模式。使用 JetPack 5 進行開發的開發者和客戶將從性能提升中受益。

圖 5.JetPack 軟件路線圖

使用 JetPack 6.2提升應用性能

JetPack 6.2 是一個突破性的版本，它可在現有 Jetson 模組上實現驚人的 2 倍推理性能提升，且不會增加任何成本。對于希望提升應用性能的 Jetson 開發者和客戶而言，此次升級必不可少。現在就升級到 JetPack 6.2，充分釋放 Jetson 平臺的潛力。