Moment Factory 是一家全球多媒體娛樂工作室。該工作室結合視頻、燈光、建筑、音響、軟件和交互等領域的專業技術，為世界各地的觀眾打造沉浸式體驗。從現場表演、多媒體秀到互動裝置，Moment Factory 憑借令人嘆為觀止和極具娛樂性的體驗名聲大噪，比如 Billie Eilish 的 Happier Than Ever 世界巡演中炫目的視覺效果、在全球各地自然景點舉辦的 Lumina Night Walks、AT&T Discovery District 的數字場景建設等。

Moment Factory 擁有一支 400 多人的專業團隊，在蒙特利爾、東京、巴黎、紐約和新加坡設有辦事處。該工作室已成為娛樂行業的領導者。

圖 1. Moment Factory 負責 Billie Eilish 的 Happier Than Ever 世界巡演的創意指導、舞臺設計和內容創作。

使用 OpenUSD 簡化沉浸式體驗開發

將這些體驗變為現實需要龐大的團隊，擁有不同專長的高技能專家各自使用著獨特的工具。為了在高度復雜的制作流程中實現最佳的效率，Moment Factory 希望使用一種可互操作的開放數據格式和開發平臺，以便無縫集成從概念到實施的所有環節。

Moment Factory 使用通用場景描述（OpenUSD）作為解決方案。OpenUSD 是一個用于在 3D 世界中進行描述、合成、仿真和協作的可擴展框架和生態系統。NVIDIA Omniverse 軟件平臺可以幫助團隊開發基于 OpenUSD 的 3D 工作流和應用，它提供了一個統一環境，通過與 Moment Factory 工具的實時連接，實現數字孿生的實時可視化和協作。

利用 OpenUSD 與 Omniverse，Moment Factory 可以統一不同數字內容創建（DCC）工具的數據，構建真實世界環境的數字孿生。團隊中的每個成員都可以與該數字孿生進行交互，并在不影響其他元素的情況下迭代自己負責的項目部分。

例如，場景設計師可以使用 3D 設計軟件 Vectorworks 制作基本布局和獨特的場景片段。同時，在同一場景中，視聽和燈光設計師可以使用 Moment Factory 自主開發的現場娛樂操作系統和虛擬投影映射軟件 X-Agora 處理燈光和投影儀。

藝術家和設計師可以同步使用 Epic Games 虛幻引擎、Blender 和 Adobe Photoshop 等工具在場景中渲染和創建吸睛的視覺效果，而且不會影響仍在進行中的項目層。

Moment Factory 創新團隊的解決方案架構師兼項目負責人 Arnaud Grosjean 表示：“USD 的獨特之處在于它可以被分割成更小的片段，使大家在保持連接的同時，能夠各自處理項目中自己負責的部分。憑借其靈活性和互操作性，我們能夠創建出強大的自定義 3D 管線。”

圖 2. USD 場景由場地、場景設計、視聽和來自不同數據源的傳感器數據等無損層組成。

數字孿生模擬真實世界的體驗

為了在沉浸式活動被部署到現實世界之前先對其進行模擬，Moment Factory 正在 NVIDIA Omniverse 中開發其裝置的數字孿生。Omniverse 是一個計算平臺，可幫助團隊開發基于 OpenUSD 的 3D 工作流和應用。Omniverse 提供了一個統一環境，通過與 DCC 工具實時連接，實現數字孿生的實時可視化和協作。

他們創建的第一個數字孿生 Blackbox 是一個可以在部署到現實世界前預覽沉浸式體驗片段的實驗和原型設計空間。從概念構思和設計到集成和運行，它幾乎成為了項目生命周期每個階段的關鍵空間。

為了構建 Blackbox 的數字孿生，Moment Factory 使用了基于 NVIDIA Omniverse 的完全可自定義基礎應用 USD Composer。

圖 3. 如右邊屏幕所示，Blackbox 中的實時視頻投影和燈光實時反映在其數字孿生中。

通過該裝置的虛擬復制品，團隊能夠對項目進行無數次迭代，測試各項不同的因素。客戶可以提前在虛擬環境中觀看演出，因此該團隊還可以更好地向潛在客戶推銷沉浸式體驗的概念。

在構建大規模沉浸式體驗的過程中，主要的挑戰之一是在各利益相關方之間達成共識并處理好變化。

Grosjean 解釋說：“每個人對場景的結構都有自己的想法，因此我們需要一種能夠在一個統一、動態的環境中，協調每個項目貢獻者的方法。有了數字孿生，我們就可以與各個核心專業領域的利益相關者一起測試和模擬潛在的想法。”

CAD 制圖員、視聽設計師、交互設計師等都為 Blackbox 的數字孿生做出了貢獻，藝術家和 2D/3D 設計師可以渲染并嘗試該沉浸式體驗的實際效果。

開發 Omniverse 連接器和擴展程序

Moment Factory 不斷開發和測試 Omniverse 的擴展程序，為其數字孿生帶來新的功能和可能性。

他們為 X-Agora 開發了一個 Omniverse 連接器。X-Agora 是 Moment Factory 自主開發的一款多視窗軟件，具有設計、規劃和操作演出的功能。目前，該軟件已能實現 Nucleus 連接、USD 導入/導出功能以及早期實時模式。

視頻投影是沉浸式活動的關鍵要素。該團隊經常嘗試將視覺內容映射和投射到建筑表面、場景元素，有時甚至是移動物體上，從而將靜態空間轉化成充滿動感的迷人環境。

NDI 是網絡設計接口（Network Design Interface）的縮寫，它是由 NewTek 開發的一種流行的 IP 視頻協議，可在互聯設備和系統之間實現高效的實時視頻制作和流式傳輸。在沉浸式體驗中，Moment Factory 通常使用視頻線將媒體系統連接到物理投影儀。通過 NDI，他們就可以在虛擬場地內復制這種連接，以數字方式有效模擬整個體驗。

為了實現 Omniverse RTX 渲染器與創意內容之間的無縫連接，Moment Factory 開發了一個用于 Omniverse 的 NDI 擴展程序。該擴展程序不僅支持視頻投影，還使該團隊能夠模擬 LED 墻、屏幕和像素場，從而在數字孿生中反映現實世界中的布置。

使用 Omniverse Kit 開發的這一擴展程序還允許用戶使用視頻源作為動態紋理。Moment Factory 的開發人員使用 kit-cv-video-example 和 kit-dynamic texture-example 開發了該擴展程序。

任何人都可以在 GitHub 上訪問和使用 Moment Factory 的 Omniverse-NDI-extension，并將其安裝到 Omniverse Launcher 上或使用以下命令啟動：

$ ./link_app.bat --app create
$ ./app/omni.create.bat --/rtx/ecoMode/enabled=false --ext-folder exts --enable mf.ov.ndi

Omniverse 中的擴展程序是可重復使用的組件或工具，開發者可利用它們加速 3D 工作流以及添加新功能。它們既可以用于隨機化對象等簡單任務，也可以用于實現可視化腳本等更加復雜的工作流。

該團隊還開發了一個將 MPDCI（一種描述多投影儀設備的 VESA 標準）轉換為 USD 的擴展程序——Omniverse-MPCDI-converter。團隊目前正在測試 MVR（My Virtual Rig）和 GDTF（通用設備類型格式）轉換器的擴展程序，以便將照明裝置和設備導入數字孿生。

更引人注目的是正在開發中的激光雷達 UDP 模擬器擴展程序，它可以在 Omniverse 中實現傳感器模擬，并將合成數據連接到激光雷達兼容軟件。

點擊“閱讀原文”，了解更多關于NVIDIA Omniverse的信息并免費試用。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。掃描下方海報二維碼，立即注冊 GTC 大會。