來源：NVIDIA

空間計算將數字數據與物理世界實時融合，通過增強現實和虛擬現實頭顯或智能眼鏡等設備、增強混合現實交互。

1空間計算是如何運作的？

空間計算通過將數字內容與物理環境無縫融合來增強用戶交互。為了實現這一目標，它利用了許多先進技術。

增強現實和混合現實 (AR/MR)

增強現實 (AR) 和混合現實 (MR) 在空間計算中發揮著關鍵作用。AR 通過疊加數字內容來增強現實世界環境，使用戶能夠同時感知兩種現實。同時，MR 更進一步，將物理和數字領域無縫融合。

邊緣和云計算

邊緣和云計算對于提高空間計算設備的數據處理效率和輸出質量是不可或缺的。邊緣和云計算能夠流式傳輸令人驚嘆的視覺效果和極其復雜的場景，將高質量圖形直接傳送到頭顯等本地設備，實現身臨其境的實時交互。邊緣和云計算還提供復雜的人工智能任務所需的計算能力。通過混合渲染，用戶可以將一些任務分載到云端，同時在本地處理其他任務，將它們無縫混合到單一應用中。這樣可有效管理即時和高要求的過程，確保沉浸且高效的空間計算體驗。

AI 和機器學習

借助 AI 和機器學習，空間計算設備能夠通過處理和情境化來自現實世界的傳感器數據、來解釋物理世界并與之交互。這些技術增強了交互性和沉浸感，并構成了手部跟蹤等直觀用戶界面的基礎。例如，手部跟蹤允許用戶以自然、無縫的方式與虛擬對象交互，從而改善整體用戶體驗。

生成式 AI 可以根據文本描述創建 3D 和 4D 模型，這些模型隨后用于增強擴展現實 (XR) 設備的渲染能力。3D 模型表示靜態對象，而 4D 模型增加了時間維度，融入了運動、動畫或動態變化。這豐富了視覺質量，使虛擬環境更加生動和引人入勝。

世界捕獲與渲染

空間計算利用計算機視覺等技術來創建環境的交互式 3D 表示。通過分析視覺數據，計算機視覺可解釋物理空間的幾何形狀和布局。其他技術，如高斯潑濺和神經輻射場 (NeRF)，可以快速重建 3D 場景以進行可視化和分析。生成式 AI（包括擴散模型）可以將 2D 圖像轉換為 3D 動畫，增強數字內容與現實世界的融合。

世界捕獲與渲染技術的進步促進了數字孿生的創建，將現實世界的數據帶入空間計算設備，實現身臨其境的體驗。這種數字內容與物理空間的無縫融合支持 XR 環境中的訓練、協作和內容創建方面的應用。

2空間計算有哪些優勢？

融合現實世界和虛擬世界：這項技術促進了物理和數字領域的無縫融合，為用戶提供情境信息以增強他們對這些空間的理解和在其中的互動。

增強協作：它允許用戶在虛擬環境中與數字對象交互并進行協作，這對于基于團隊的活動和項目尤為有益。

訓練和仿真：空間計算可實現在危險或復雜的環境中進行安全有效的訓練仿真，使其成為醫學、制造和建筑等領域的寶貴工具。

集成 AI：通過 AI 支持高級場景理解，空間計算可用于創建沉浸式體驗，將我們物理空間的元素融入其中，以增強虛擬環境的交互性。

使用熟悉的 2D 范式：空間計算允許用戶在 3D 空間中使用熟悉的 2D 計算范式，如 Web 瀏覽器或其他 2D 窗口。這使得向空間計算的過渡更加直觀和易于接受。

總體而言，這些優勢使 XR 環境更具交互性、沉浸感和協作性，極大豐富了用戶體驗。

3空間計算使用案例有哪些？

空間計算在各行各業都有變革性的使用案例，增強了功能和用戶體驗。以下是空間計算的一些實際應用示例：

汽車設計：汽車設計通過虛擬原型設計和數字孿生受益于空間計算。設計師可以在虛擬應用中創建和測試汽車模型，從而加快設計流程并實現更創新、更高效的設計。激光雷達技術的集成可以進一步增強汽車領域的空間計算，提供車輛及其周圍環境的精確且詳細的 3D 掃描，從而實現更準確的數字復制和仿真。

虛擬展廳定制：在零售業，空間計算有助于虛擬展廳的創建，購物者可以在其中定制汽車或家具的產品變體，創造逼真的個性化交互購物體驗。

手術規劃和培訓：空間計算可以連接并整合來自手術室中各種物聯網設備（如醫療設備、傳感器和患者監護儀）的數據。這種整合可以增強情境感知能力，提高手術團隊成員之間的協調性。

游戲：空間計算可提供身臨其境的體驗，讓玩家能以更自然、更直觀的方式與游戲環境互動，因而徹底改變了游戲。

建筑和產品設計：空間計算工具可顯著增強數字環境中的 3D 模型設計和優化，在 AECO 和產品設計中尤其有用，可實現快速可視化、迭代和審批。

室內導航：空間計算可以顯著增強室內導航，特別是在機場、醫院和購物中心等大型設施中。通過集成空間技術，用戶可以接收實時、情境感知且疊加在其物理環境中的方向指引。例如，醫院的訪客可以使用空間計算設備查看前往特定病房或部門的導航指引，虛擬箭頭和標記會引導他們穿過復雜的布局。

物理 AI：空間計算通過創建逼真的虛擬環境并幫助機器人在物理世界中導航來增強物理人形機器人的訓練和功能。機器人可以在虛擬環境中模擬、學習和優化任務，然后再部署到現實世界中。通過利用 XR 遠程操作和數字孿生等技術，物理機器人可以在復雜環境中高精度地導航和操作。這種方法推動了機器人在制造、物流和醫療保健等行業中的應用，確保機器人獲得良好的訓練且高效。

4空間計算的挑戰

為了實現空間計算的承諾，開發者需要克服幾個挑戰和實際問題：

高計算能力：空間計算需要大量計算資源來實時處理和渲染復雜環境，這對當前的設備內硬件可能要求較高。NVIDIA GPU 和邊緣 AI 技術能夠實時處理海量數據集，確保高保真模擬和交互。NVIDIA Omniverse 和 CloudXR 等技術可利用這種計算能力將大量模型的高保真渲染無縫融入空間計算應用中，幫助各行業克服硬件限制。

低延遲：確保低延遲對于提供無縫且響應迅速的用戶體驗至關重要。任何延遲都可能破壞空間計算應用的沉浸感和有效性。NVIDIA 通過在廣泛的環境（包括云服務提供商 (CSP)、本地基礎設施和邊緣設備）中部署其 GPU 來應對這一挑戰。這種廣泛部署可確保數據處理更接近于用戶，從而最大限度地減少延遲，并提供空間計算應用必需的流暢、實時的交互。

AI 集成：集成 AI 以準確理解并情景化用戶環境非常具有挑戰性，但有助于創建響應迅速且適應性強的虛擬空間。NVIDIA 通過 NVIDIA Isaac 和 Metropolis (NIM) 等旨在為空間計算應用精簡 AI 集成的平臺來簡化這一過程。這些解決方案提供了針對實時情境理解優化的預構建 AI 模型和工具套件，使開發者能夠輕松創建可適應用戶交互和環境變化的智能系統。

逼真且身臨其境的體驗：創造逼真且身臨其境的體驗需要高級圖形。這涉及復雜的軟件和硬件能力。NVIDIA 憑借其行業領先的 RTX GPU 來解決這一問題，這些 GPU 支持實時光線追蹤和 AI 增強的渲染，可生成逼真的視覺效果。結合 NVIDIA Omniverse 等平臺，開發者可以利用強大的工具來創建逼真的模擬和交互環境。這些解決方案確保空間計算應用在各行業提供無與倫比的真實感和沉浸感。

5入門指南

詳細了解 NVIDIA XR

了解 NVIDIA 如何利用尖端技術徹底改變虛擬現實，為沉浸式體驗和下一代應用提供支持。

用于 Omniverse 數字孿生工作流的空間串流

詳細了解如何通過此參考工作流將基于 OpenUSD 的沉浸式 Omniverse 數字孿生串流到 Apple Vision Pro。

如何構建原生 OpenUSD XR 應用

在此實戰實驗中了解如何使用 OpenUSD、NVIDIA Omniverse 和 CloudXR 構建、定制和串流 XR 應用。