為機器人仿真構建逼真的 3D 環境可能是一項耗時且勞動密集型的任務。現在，借助NVIDIA Omniverse NuRec，您只需使用智能手機即可完成整個流程。本文將逐步介紹操作方法：從使用 iPhone 拍攝照片，到利用3DGUT進行 3D 場景重建，再到將重建的場景導入NVIDIA Isaac Sim并添加機器人。若要跳過重建步驟（步驟 1–3），直接在 Isaac Sim（步驟 4）中探索該場景，可前往NVIDIA Physical AI上的 Hugging Face 獲取相關資源。

第 1 步：捕捉真實場景

第一步是拍攝需要重建的真實環境的照片。如今已無需特殊硬件，使用普通的智能手機攝像頭即可完成。

當您在場景中移動時，可以使用手機進行拍攝。以下是一些攝影測量的實用建議：

照明和焦點應準確且穩定。避免畫面快速移動或出現模糊。若條件允許，建議使用更快的快門速度（例如 1/100 秒或更快）。

在內置相機應用中，您無法直接設置快門速度，但可以采取以下措施進行優化：

鎖定對焦與曝光：長按畫面主體可啟用 AE/AF 鎖定，隨后輕微向下拖動曝光滑塊（+0.3 至 +0.7 EV），有助于保留高光細節。

保持穩定：建議使用三腳架或將設備靠在穩固表面上；每一幀越清晰，COLMAP 在特征追蹤時的表現就越出色。

避免自動切換微距模式：若使用 iPhone Pro 機型，為防止鏡頭間焦距突然切換，請前往“設置” →“相機” → 關閉“自動微距”功能。

如需手動控制快門速度和 ISO，可選用以下支持固定快門與 ISO 的 iOS 應用程序：Lumina：手動相機、Halide、ProCamera、ProCam 8、Moment Pro Camera、Lightroom Mobile。

建議快門速度設置為：戶外 1/120 至 1/250 秒，室內 1/100 秒。ISO 值應盡量調低，以在保證合理曝光的同時減少噪點。

同時建議鎖定白平衡，避免不同幀之間出現色彩偏移。

為實現遮擋效果，請圍繞該區域進行緩慢環繞，并從多個高度和角度進行捕捉。建議保持 60% 的重疊率以確保安全。

提示：COLMAP 需要標準圖像格式。如果您的 iPhone 保存的是 HEIC 格式，請前往“Settings” (設置) + “Camera” (相機) + “Formats” (格式)，然后選擇“Most Compatible” (兼容性優先)，以拍攝 JPEG 格式；或者在使用 COLMAP 前，將圖像導出或轉換為 JPG 格式。

第 2 步：利用 COLMAP 生成稀疏重建

當您擁有照片后，下一步是從這些圖像中恢復出三維結構并確定相機的位置。本示例采用流行的開源運動恢復結構（Structure-from-Motion，SfM）與多視角立體匹配（Multi-View Stereo）工作流COLMAP來實現這一目標。COLMAP 將生成場景的稀疏點云，并估算每張照片對應的相機參數。

COLMAP 還提供了以下命令行路徑。但請注意，使用 GUI 進行自動重建是更簡便的入門方式。為了與 3DGUT 兼容，請選擇針孔或簡單針孔相機模型。

# Feature detection & extraction

$ colmap feature_extractor \

--database_path ./colmap/database.db \

--image_path ./images/ \

--ImageReader

# Feature detection & extraction
$ colmap feature_extractor \
    --database_path ./colmap/database.db \
    --image_path    ./images/ \
    --ImageReader.single_camera 1 \
    --ImageReader.camera_model   PINHOLE \
    --SiftExtraction.max_image_size 2000 \
    --SiftExtraction.estimate_affine_shape 1 \
    --SiftExtraction.domain_size_pooling 1

# Feature matching
$ colmap exhaustive_matcher \
    --database_path ./colmap/database.db \
    --SiftMatching.use_gpu 1

# Global SFM
$ colmap mapper \
    --database_path ./colmap/database.db \
    --image_path    ./images/ \
    --output_path   ./colmap/sparse

# Visualize for verification
$ colmap gui --import_path ./colmap/sparse/0 \
    --database_path ./colmap/database.db \
    --image_path    ./images/

COLMAP 將輸出項目文件夾（通常包含 database.db、images/ 文件夾，以及存放重建數據的稀疏/ 目錄）。完成 COLMAP 處理后，您將獲得：

稀疏點云場景

所有圖像的相機位姿數據

這是使用 3DGUT 進行 3D 重建所需輸入的信息（第 3 步）。

第 3 步：使用 3DGUT 進行密集 3D 重建的訓練，并將結果導出為 USD

現在來看看效果。下一步，利用 3DGUT 算法將稀疏模型和圖像轉換為更加逼真的密集 3D 場景：

設置 3DGUT 環境：3DGUT 存儲庫需要在配備 CUDA 11.8、GCC ≤ 11 和 NVIDIA GPU 的 Linux 系統上運行。如需查看官方 3DGUT 代碼，請訪問nv-tlabs/3dgrut倉庫，并按照說明安裝所需的依賴庫。

克隆 3DGUT 存儲庫： 使用指定命令克隆并安裝 3DGUT 存儲庫。為確保克隆成功，在繼續操作前，請使用存儲庫中的示例數據集運行測試重建，以驗證其功能是否正常。

準備 COLMAP 輸出：請確認您已知曉第 2 步中生成的 COLMAP 輸出目錄的路徑。本示例采用apps/colmap_3dgut_mcmc.yaml配置，該配置將 3DGUT 與MCMC（Markov Chain Monte Carlo）密集化策略相結合。在實際應用中，該方法能夠對重建過程中存在不確定性的高斯進行采樣與密集化處理，有效增強薄結構和邊緣的清晰度，提升整體重建保真度，同時相較于基準配置，訓練耗時更少。

運行 3DGUT 訓練腳本并導出 USDZ：在激活當前環境后，您可通過執行提供的 train.py 腳本并指定 COLMAP 配置來啟動訓練。例如，命令可能類似于以下形式：

運行命令后，3DGUT 將開始訓練，讀取您的圖像和 COLMAP 數據，并對 3D 表征進行優化。所需時間取決于場景的復雜程度和 GPU 性能，小型場景可能只需幾分鐘，而細節豐富的場景則可能需要數小時。

此過程完成后，應對場景進行密集重建，輸出結果包含一個含有模型檢查點的目錄。設置export_usdz.enabled=true和export_usdz.apply_normalizaing_transform=true標志還會生成 USDZ 文件。

export_usdz.enabled=truewrites a USDZ of your reconstructed scene, so you can load it straight into Isaac Sim.

export_usdz.apply_normalizing_transform=trueapplies a primitive normalization (centers/scales the scene near the origin). It does not guarantee the floor is exactly atz = 0. In Isaac Sim, you can add a Ground Plane or nudge the scene root (translate/rotate) for alignment.

將重建的場景導出為 USD 格式后，即可在 Isaac Sim 中使用。生成的 USDZ 文件采用自定義 USD 模式，本質上是一個打包的 USD 場景，包含 3D 重建中的全部高斯拼接數據。需要注意的是，AOUSD 正在討論該模式的標準化。

第 4 步：在 Isaac Sim 中部署重建的場景，并添加機器人

有趣的是，隨著現實世界場景在 USD 中被完整重建，它們便可在 Isaac Sim 中用于虛擬機器人的訓練與測試。

要加載場景并插入機器人，請按以下步驟操作：

1. 啟動支持 NuRec/3DGUT 功能的 Isaac Sim 5.0 或更高版本。打開 Isaac Sim 后，從空階段開始（文件 > 新建）。

2. 導入 USD 場景: 從菜單中選擇“File” (文件) > “Import” (導入)，然后定位到場景的 USDZ 文件。 alternatively，也可將 USDZ 文件從 Isaac Sim 內容瀏覽器直接拖拽至場景中。當 Isaac Sim 加載該文件時，您將在視口中看到重建的環境，呈現為彩色點云或高斯點的集合。通過相機視角觀察時，其效果近乎一張逼真的 3D 圖像。

提示：您可以通過 Isaac Sim 導航功能使用 WASD 鍵，或右鍵單擊并拖動，在場景中自由移動，從不同角度進行查看和檢查。

3. 為物理效果添加地平面: 您重建的場景僅包含視覺幾何圖形（來自 3DGUT 的點或體素），不具備固有的碰撞屬性。為了讓機器人能夠在場景中移動，需要添加一個地面，使其有可支撐的表面。在 Isaac Sim 中，此操作非常簡便：點擊“Create”（創建）>“Physics”（物理效果）>“Ground Plane”（地面平面）。此時會生成一個平面（通常位于z = 0），覆蓋場景的占地面積。您可能需要調整其縮放比例（例如，將 x 和 y 均設為 100，如視頻 1 所示）。請進一步調節該平面的位置、旋轉和縮放，使其與重建的地板對齊。

接下來，連接代理網格以接收陰影。代理網格是一種簡單的支撐結構，通過提供可投射陰影的表面，使場景中的物體在視覺上更好地與地面銜接。您已經創建了一個網格，即地平面。要將其設置為代理網格，請執行以下步驟：

選擇 NuRec Prim（位于全局 xform 下的體積 Prim）。在“Raw USD Properties”（原始 USD 屬性）面板中，找到 NuRec/Volume 部分，并定位到“Proxy”（代理）字段。

點擊以添加您的代理網格基元。

再次選擇您的地平面，確保“Geometry”（幾何圖形）>“Matte Object”（啞光對象）屬性已啟用。

4. 從 Isaac Sim 資產中插入機器人: Isaac Sim 提供了多種 SimReady 機器人模型。要在場景中添加機器人，請前往頂部菜單欄，選擇“Create” (創建) > “Robots” (機器人)，然后從列表中選取所需的機器人。例如，可選擇廣受好評的 Franka Emika Panda 機械臂，也可根據 Isaac Sim 庫中的可用資源，選擇 LeatherBack、Carter 或 TurtleBot 等移動機器人，甚至人形機器人。

單擊您選擇的機器人素材后，該素材將被添加到場景中。請使用“Move/ Rotate” (移動/ 旋轉) 工具，將機器人調整至重建場景中的合適位置。

5. 按下“Play”（播放）并觀看: 此時，機器人應位于逼真的 3D 場景中，可以坐姿或站姿呈現。如果是機械臂，您還可以為其添加動畫，甚至運行強化學習，具體取決于您的應用場景。現在，現實世界環境已導入 Isaac Sim，您可以像操作其他仿真環境一樣對其進行處理。

在 NVIDIA Isaac Sim 中開始重建場景

這個簡潔而真實感十足的仿真工作流，可將日常的 iPhone 拍攝照片轉化為交互式、機器人就緒的場景。整個流程就像在 NVIDIA Isaac Sim 中完成圖像采集、COLMAP 處理、3DGUT 重建、USDZ 導出并加載使用一樣簡單。該工作流用一種簡單且可復現的數字孿生路徑，取代了傳統耗時的攝影測量流程，讓你能夠快速進行驅動、路徑規劃與測試。準備好開始體驗了嗎？

準備好開始體驗了嗎？

打開現成場景：從 Hugging Face 的NVIDIA 物理 AI集合中獲取 NuRec 樣本，并在 Isaac Sim 中加載運行。

試用真實到仿真的參考工作流：基于 Isaac Sim、Isaac ROS、3DGUT、cuSFM、nvBlox 和 FoundationStereo，按照從立體攝像頭數據重建場景的流程，為機器人開發構建高保真的 3D 環境，請遵循從立體攝像頭數據重建場景的步驟。