開源生成式 AI 模型不再局限于數據中心，而是開始深入到現實世界的各種機器中。從 Orin 到 Thor，NVIDIA Jetson 系列正在成為運行 NVIDIA Nemotron、Cosmos 和 Isaac GR00T 等模型以及千問大模型、Gemma、Mistral AI、GPT-OSS、PI 等社區模型的通用平臺。

Cat 306 CR小型挖掘機重約八噸，尺寸緊湊，可以裝進標準集裝箱。當工地空間有限時，例如在建筑物附近挖掘公用設施溝渠或在密集城區挖掘地下室，承包商會租用這種設備。

它的駕駛室空間接近電話亭大小，操作員需要身體靠近控制臺，雙手各握兩個操縱桿。這套系統具有一定的學習門檻。

在今年初的 CES 展會上，這款機器已經能夠回答問題了。

在演示中，Cat AI Assistant 運行在NVIDIA Jetson Thor平臺上。該平臺是一個為工業和機器人系統設計的實時推理邊緣 AI 平臺。為了實現快速準確的自然語音交互，該系統采用了NVIDIA Nemotron語音模型，同時借助 Qwen3 4B，可以通過 vLLM 本地服務，確保無云連接的情況下，以低延遲解析請求并生成響應。

除了推動企業創新，開放模型還為開發者開辟了自由構建與實驗的廣闊空間。通過在 NVIDIA Jetson 上運行 OpenClaw，開發者可打造個人全天候在線的邊緣 AI 助手。不僅能零成本調用 API，還能確保完整的數據隱私。

所有 Jetson 開發套件均支持 OpenClaw，用戶能夠靈活切換 20 億至 300 億參數規模的開放模型。憑借本地運行的前沿級 AI 助手，用戶可實時處理晨間簡報、自動化日常任務、進行代碼審查并控制智能家居系統——全部在本地實時完成。

從云端到邊緣

在過去一段時間，開放模型通常部署在最容易提供支持的環境中。

它們運行在數據中心，依賴彈性計算和持續穩定的網絡連接提供支撐。然而，云部署會帶來延遲成本和持續的計算成本，且這些成本會隨著每次查詢線性增長。

而物理系統的優化重點則不同。它們需要低延遲，因為機器必須與人和環境實時互動；需要功耗受控，以適應設備的硬件限制；以及穩定一致的行為，因為任何不確定性都會帶來風險。

此外，還存在供應層面的問題。內存短缺推高了全行業的成本。Jetson 通過將計算單元與內存集成于單個系統級模塊 (SoM) 中，不僅加速了客戶的硬件設計進程，也使元器件采購與驗證比采用分立方案更為高效可靠。

與此同時，隨著模型效率不斷提升，開發者也開始提出一個更本質的問題：不再糾結“哪個模型單獨性能最強”，而是思考“它在哪里運行才最合理”。

如今，答案越來越明確地指向設備端。例如，入門級生成式 AI 模型可從 Jetson Orin Nano 8GB 起步。

大規模構建自主物理 AI 系統

對物理AI系統而言，生成式 AI 模型正在顯著拓展能力邊界。

卡特彼勒正在開發的駕駛艙內 Cat AI 助手，可在本地同時運行語音與語言模型，并結合可信的機器上下文，為操作員提供指導與安全輔助功能。

在 CES 上，Franka Robotics 展示了這一理念在機器人領域的實際應用：該公司 FR3 Duo 雙臂系統在設備上端到端運行 NVIDIA GR00T N1.6 模型，從環境感知到動作執行，全程無需任務腳本。控制策略完全在本地運行。

在機器人研究領域，NVIDIA GEAR 實驗室的 SONIC 項目利用超過 1 億幀的動作捕捉數據訓練人形機器人控制器，隨后將所得策略部署到實體機器人上。其中，運動學規劃器在Jetson Orin上運行，單次推理僅需約 12 毫秒，策略控制環路以 50 Hz 頻率穩定運行。所有計算均在設備本地完成。

這一范式也延伸至開發者社區。來自伊利諾伊大學香檳分校 (UIUC) SIGRobotics 社團的一支團隊，借助在 Jetson Thor 上運行的 GR00T N1.5 模型，打造了一臺雙臂抹茶制作機器人，并在 NVIDIA 具身 AI 黑客松中榮獲第一名。

紐約大學機器人與具身智能中心也在持續推動這一方向的研究。該團隊近期在 Jetson Thor 上運行其YOR 機器人，借助 NVIDIA Blackwell 架構的強大算力處理 AI 驅動運動所需的復雜計算任務。初步結果顯示，YOR 能夠執行精細的抓取與放置任務，在面對新物體和場景變化時展現出更強的泛化能力與穩定性，從而加速其在烹飪、洗衣等家庭場景中的應用進程。

獨立研究者也得出了相似結論。Hugging Face 多模態研究負責人 Andrés Marafioti 在Jetson AGX Orin 上構建了一個代理式 AI 系統，能夠跨模型調度任務并自主安排工作流。某天深夜，該智能體給他發了一條消息：“去睡覺吧，一切明早都會準備好。”

Collabnix 社區的開發者 Ajeet Singh Raina 展示了如何在 NVIDIA Jetson Thor 上運行OpenClaw，打造一個全天候運行的個人 AI 助手。該配置支持用戶對其自有數據進行私有化的大語言模型推理，同時通過本地網關管理電子郵件和日歷。

Jetson 正成為新標準

NVIDIA Jetson 已成為在邊緣端運行開放模型的通用平臺。

它全面支持各類開放模型與 AI 框架，開發者可在邊緣端靈活部署幾乎任何生成式 AI 工作負載。

模型基準測試可在Jetson AI Lab獲取，也可查看開放模型社區提供的詳細教程。Jetson Thor 在所有主流生成式 AI 模型上均提供領先的推理性能。

Gemma：基于 Google Gemini 研究成果打造，Gemma 3 是 Jetson 平臺上的一款多功能主力模型。它原生支持多模態，意味著能“看”并“說”超過 140 種語言。在 Jetson Thor 上，它可處理高達 128K 的上下文窗口，非常適合需要記憶一長串復雜或多步驟指令的機器人應用。

gpt-oss-20B：這款來自 OpenAI 的模型通過在 Jetson Thor 和 Orin 上本地運行，即可提供接近頂尖水平的推理性能，顯著降低了先進 AI 的部署門檻，實現高性價比推理。

Mistral AI：全新的 Mistral 3 開放模型系列為開發者和企業提供了業界領先的準確性、效率與定制能力。該系列包含從 3B 到 14B 參數的小型密集模型，體積小巧卻異常智能。Jetson 開發者可使用 NVIDIA Jetson Thor 上的 vLLM 容器，在單并發場景下實現每秒 52 個 token 的生成速度，在八并發時可達每秒 273 個 token。

NVIDIA Cosmos：該領先開放推理視覺語言模型，使機器人和 AI 智能體能夠像人類一樣在物理世界中看見、理解并行動。其 8B 和 2B 版本均可在 Jetson 上高效運行，提供先進的時空感知與推理能力。

NVIDIA Isaac GR00TN1.6：一款面向通用機器人技能的開放視覺語言動作模型 (VLA)。開發者可用它構建能感知環境、理解指令并在多種任務、環境和機器人形態中執行動作的機器人。在 Jetson Thor 上，完整的 GR00T N1.6 管線可在設備端本地運行，實現實時感知、空間理解與快速響應。

NVIDIA Nemotron：一套包含開放模型、數據集與技術組合，賦能用戶構建高效、精準、專用的代理式 AI 系統，面向先進推理、編程、視覺理解、代理式任務、安全性、語音與信息處理等場景。Nemotron 3 Nano 9B 模型可在 Jetson Orin Nano Super 上基于 llama.cpp 高效運行，性能達每秒處理 9 個 token。

PI 0.5： Physical Intelligence 推出的 VLA 模型，使機器人能理解指令，并憑借強大的泛化能力與實時適應性，自主執行復雜的現實世界任務。NVIDIA Jetson Thor 可提供每秒 120 個動作 token 的輸出，為低延遲、高響應性的物理 AI 部署提供強勁支持。

Qwen 3.5：阿里巴巴推出的系列模型 (包括最新 Qwen 3.5 版本)，涵蓋密集模型與混合專家 (MoE) 模型，在推理、編程、多模態理解和長上下文處理方面表現卓越。Jetson Thor 為千問系列模型提供了了優化性能，例如Qwen 3.5-35B-A3B模型可實現每秒處理 35 個 token 的推理速度，使實時交互成為可能。

任何開發者均可對這些模型進行微調，構建專用的物理 AI 智能體，并將其無縫部署到物理 AI 系統中。NVIDIA Jetson 平臺全面支持 NVIDIA TRT、Llama.cpp、Ollama、vLLM、SGLang 等主流 AI 框架。

在 Jetson 上嘗試部署開放模型

開發者可學習 Hugging Face 上的教程，例如《在Jetson 上部署開源視覺語言模型》，并觀看最新直播演示。通過該教程，學習如何在 NVIDIA Jetson 上運行 OpenClaw。

歡迎參加GTC 2026，見證實際運行效果。NVIDIA 將展示開放模型如何從數據中心走向真實世界中的機器，將在“工業自主化的未來”專題討論會上的深度分享相關洞察。

觀看 NVIDIA 創始人兼首席執行官黃仁勛的GTC 主題演講，并關注物理 AI、機器人與視覺 AI相關專場會議。

卡特彼勒技術亮點

NVIDIA Jetson Thor：面向工業與機器人系統的實時邊緣 AI 推理平臺

NVIDIA Riva：采用 Parakeet ASR 與 Magpie TTS 的語音 AI 框架

Qwen3 4B：用于意圖解析與生成回復的輕量級大語言模型

vLLM：在邊緣端實現高效 LLM 推理服務的運行時間

CatHelios：提供可信的設備上下文統一數據平臺

NVIDIA Omniverse：面向工業工作流的數字孿生與仿真框架