生成式物理 AI NIM 微服務以及 NVIDIA Metropolis 參考工作流旨在協助創建智能的沉浸式工作環境。

已有數以百萬的用戶在借助生成式 AI 進行寫作和學習。現在，這項技術還可以幫助他們更有效地探索物理世界。

NVIDIA 在 SIGGRAPH 上宣布了生成式物理 AI方面的進展，包括NVIDIA Metropolis參考工作流和全新的NVIDIA NIM微服務，前者用于打造交互式視覺 AI 智能體，后者能夠協助開發者訓練物理機器，并可讓它們更好地處理復雜任務。

具體包括三個fVDB NIM微服務，這些微服務支持 NVIDIA 針對 3D 世界開發的全新深度學習框架，此外還包括能夠與通用場景描述 (也就是 OpenUSD)配合使用的USD Code、USD Search和USD Validate NIM微服務。

NVIDIA OpenUSD NIM 微服務能夠與全球首個用于 OpenUSD 開發的生成式 AI 模型（同樣由 NVIDIA 開發）搭配使用，使開發者能夠將生成式 AI copilot 和智能體納入到 USD 工作流程，并拓寬 3D 世界的可能性。

NVIDIA NIM 微服務

將改變物理 AI 的格局

物理 AI 使用先進的仿真和學習方法，能夠幫助機器人和其他工業自動化設備更有效地感知、推理和探索周圍環境。該技術正在改變著制造、醫療健康等行業，并通過能夠更自主、更精確運作的機器人、工廠和倉庫技術、手術 AI 智能體和汽車推動智能空間的發展。

NVIDIA 提供廣泛的 NIM 微服務，這些微服務是針對特定模型和行業領域定制的。NVIDIA 面向物理 AI 量身定制的 NIM 微服務套件支持語音和翻譯、視覺和智能，以及逼真的動畫和行為方面的功能。

借助 NVIDIA NIM，

將視覺 AI 智能體轉變為遠見者

視覺 AI 智能體使用計算機視覺功能來感知物理世界、與物理世界交互并執行推理任務。

具有高度感知和交互能力的視覺 AI 智能體由一種被稱為視覺語言模型 (VLM)的新型生成式 AI 模型提供支持，這些模型能夠在物理 AI 工作負載中連通數字感知和現實交互，從而可增強決策能力、準確性、交互性和性能。借助 VLM，開發者可以打造視覺 AI 智能體，即使在非常復雜的環境中，這些智能體也能更有效地處理極具挑戰性的任務。

由生成式 AI 賦能的視覺 AI 智能體正在迅速部署到醫院、工廠、倉庫、零售店、機場、交通路口等場所。

為了幫助物理 AI 開發者更輕松地打造高性能的自定義視覺 AI 智能體，NVIDIA 提供了一些用于打造物理 AI 的 NIM 微服務和參考工作流。NVIDIA Metropolis 參考工作流可讓用戶通過簡單的結構化方法來定制、打造和部署視覺 AI 智能體，詳見博客內容：

K2K 借助 NVIDIA NIM，

使巴勒莫變得更高效、更安全

意大利巴勒莫的城市交通管理人員部署了采用 NVIDIA NIM 的視覺 AI 智能體，以便獲得有助于他們更好地管理路況的物理數據分析結果。

NVIDIA Metropolis 合作伙伴 K2K 正在主導開展這項工作，將 NVIDIA NIM 微服務和 VLM 集成到實時分析城市交通攝像頭內容的 AI 智能體中。市政官員可以用自然語言向智能體提問，并快速獲得準確的街道活動數據分析結果，以及關于如何改善城市運營的建議，例如調整交通信號燈時間。

全球電子行業領先者 Foxconn 與和碩采用了物理 AI、NIM 微服務和 Metropolis 參考工作流，以便更高效地設計和開展批量制造運營。

這些公司正在仿真環境中建設虛擬工廠，來節省大量時間和成本。他們還會在實際部署之前在數字孿生中對其物理 AI（包括 AI 多攝像頭和視覺 AI 智能體）進行更全面的測試和優化，以便提高工人安全性和運營效率。

通過合成數據生成

縮小仿真與現實之間的差距

許多已部署 AI 的企業現在都采用“仿真優先”的方法，來開展涉及現實世界工業自動化的生成式物理 AI 項目。

制造公司、工廠物流公司和機器人公司需要管理復雜的工作人員互動、先進的設施和昂貴的設備。NVIDIA 物理 AI 軟件、工具和平臺（包括物理 AI 以及 VLM NIM 微服務、參考工作流和 fVDB）可以幫助他們簡化高度復雜的工程，讓他們更輕松地創建準確模擬現實世界條件的數字表示或虛擬環境。

VLM 能夠生成高度逼真的圖像，因此在各行各業得到廣泛應用。不過，創建準確的物理 AI 模型需要大量的數據，因此訓練這些模型可能非常困難。

使用計算機仿真從數字孿生生成的合成數據能夠有效替代現實世界數據集。獲取現實世界數據集進行模型訓練可能成本非常高昂，有時甚至不可能獲得此類數據集，具體取決于用例。

借助 NVIDIA NIM 微服務和Omniverse Replicator等工具，開發者能夠構建生成式 AI 賦能的合成數據管線，加速創建可靠、多樣化的數據集來訓練物理 AI。這有助于增強 VLM 等模型的適應能力和性能，使它們能夠更有效地針對各行各業和用例進行泛化。