在 SIGGRAPH 上推出的全新深度學習框架可用于打造自動駕駛汽車、氣候科學和智慧城市的 AI 就緒型虛擬表示。

NVIDIA 在 SIGGRAPH 上推出了 fVDB，這是一種全新的深度學習框架，用于生成現實世界的 AI 就緒型虛擬表示。

fVDB 基于 OpenVDB 構建而成，OpenVDB 是一個行業標準庫，用于仿真和渲染稀疏體積數據，例如水、火、煙和云。

生成式物理 AI（例如現實世界中的自動駕駛汽車和機器人）需要具備“空間智能”，即能夠理解 3D 空間并能在 3D 空間中運作。

捕獲我們周圍世界的宏觀細節和超微細節至關重要。不過，將現實轉化為虛擬表示來訓練 AI 非常困難。

現實環境的原始數據可以通過多種不同的技術收集，例如神經輻射場（NeRF）和激光雷達。fVDB 能夠將這些數據轉化為實時渲染、規模龐大的 AI 就緒型環境。

依托于十年來在 OpenVDB 標準方面的不斷創新， fVDB 在 SIGGRAPH 上的推出，標志著各行各業在如何利用現實世界的數字孿生方面實現了巨大飛躍。

現實規模的虛擬環境正在廣泛用于訓練自主智能體。例如，通過無人機捕獲城市規模的 3D 模型，用于氣候科學和災害防范規劃。如今，3D 生成式 AI 甚至被用于規劃城市空間和智慧城市。

fVDB 使各行各業能夠以前所未有的規模和分辨率利用空間智能，從而使物理 AI 更加智能。

該框架能夠基于 NanoVDB（GPU 加速的數據結構，有助于實現高效的 3D 仿真）構建 NVIDIA 加速的 AI 算子。這些算子包括卷積、池化、注意力機制和網格化，它們都是針對高性能 3D 深度學習應用而構建的。

借助 AI 算子，企業能夠構建復雜的神經網絡以實現空間智能，例如大規模點云重建和 3D 生成式建模。

fVDB 是 NVIDIA 研究團隊長期努力的成果，已經用于為 NVIDIA Research、NVIDIA DRIVE 和 NVIDIA Omniverse 項目提供支持，這些項目需要大型復雜現實世界空間的高保真模型。

fVDB 的主要優勢

更大：空間規模是以往框架的 4 倍。

更快：速度是以往框架的 3.5 倍。

可互操作：企業可以充分利用龐大的現實世界數據集。fVDB 能夠根據 VDB 數據集打造全尺寸 3D 環境。支持 AI 且實時渲染，可用于打造具有空間智能的物理 AI。

更強大：能夠運行的算子是以往框架的 10 倍。fVDB 通過結合使用以往需要多個深度學習庫的功能，簡化了流程。

fVDB 很快將以 NVIDIA NIM 推理微服務的形式推出。通過三項微服務，企業可以將 fVDB 整合到 OpenUSD 工作流中，以便在用于實時 3D 仿真的協作平臺 NVIDIA Omniverse 中生成 AI 就緒型 OpenUSD 幾何體。這三項微服務是：

fVDB Mesh Generation NIM：生成現實世界的數字化 3D 環境。

fVDB NeRF-XL NIM：利用 Omniverse Cloud API 和 OpenUSD 生成大規模 NeRF。

fVDB Physics Super-Res NIM：執行超分辨率技術，以便生成基于 OpenUSD 的高分辨率物理仿真。

在過去的十年中，OpenVDB 作為在視覺效果行業中廣泛運用的核心技術贏得了多項學術大獎。它的應用領域已從娛樂行業擴展到工業和科學，例如工業設計和機器人開發。

NVIDIA 一直在不斷增強開源 OpenVDB 庫。四年前，NVIDIA 推出了 NanoVDB，為 OpenVDB 添加了 GPU 支持。這不僅帶來了速度飛升，提升了性能，簡化了開發，而且開啟了實時仿真和渲染的大門。

兩年前，NVIDIA 推出了 NeuralVDB，它能夠基于 NanoVDB 構建機器學習，將 VDB 體積數據的內存占用量壓縮多達 100 倍，使創作者、開發者和研究人員能夠與極其龐大、高度復雜的數據集進行交互。

fVDB 能夠基于 NanoVDB 構建 AI 算子，以現實規模解鎖空間智能。歡迎申請參與搶先體驗計劃，提前體驗 fVDB PyTorch 擴展。fVDB 還將作為 OpenVDB GitHub 資源庫的一部分提供。

閱讀技術博客《Building Spatial Intelligence from Real-World 3D Data Using Deep-Learning Framework fVDB》，深入了解 fVDB，也可以觀看 NVIDIA 首席執行官黃仁勛在 SIGGRAPH 上的兩場爐邊談話，了解加速計算和生成式 AI 正在如何改變著各行各業并帶來新的創新和發展機會。