隨著 Web 3.0 的發展，以及 3D 內容行業應用與消費需求的日益增長，2D 向 3D 內容的升維是大勢所趨。作為游戲、元宇宙以及數字孿生持續發展的基石，3D 內容生產力至關重要。

AIGC（AI Generated Content），基于 AI 技術進行圖文、視頻乃至 3D 模型的泛內容生成，正在引發 Web 3.0 時代的技術浪潮，引領著 3D 內容生產方式變革。通過圖片、視頻、點云等多模態數據自動生成 3D 內容，快速實現現實場景的數字化，成為當前理論研究和行業實踐的重大命題。

網易瑤臺是網易伏羲旗下新一代沉浸式活動平臺，致力于用人工智能和科技創新打造數字空間新模式，對 3D 內容生產有著豐富的實踐積累與持續需求。

在 NVIDIA 2023 春季 GTC 大會的 China AI Day 特別活動，網易伏羲視覺計算負責人李林橙將在 3 月 22 日下午 530 帶來《NVIDIA CUDA 技術助力網易瑤臺神經隱式曲面建模 20 倍加速》專題演講，分享項目過程中的實踐經驗與心得。手機微信掃碼或點擊閱讀原文即可直達注冊頁面。

//

NVIDIA CUDA 技術助力網易瑤臺

神經隱式曲面建模 20 倍加速

演講嘉賓：

李林橙，網易伏羲視覺計算負責人

會議代碼：[SE52360]

演講時間：3 月 22 日 5:00 PM

掃描二維碼直達注冊頁面

圖1 網易瑤臺和河南文旅廳合作推出“元豫宙”

——河南省黃帝故里3D建模案例

（圖片來源于網易瑤臺）

如何快速、便捷、批量的建模數字化場景？

當前流程通常采用照片輔助人工建模的方式，將線下物體或者原畫制作為 3D 模型，但該方式嚴重依賴建模師的經驗與效率，整體制作周期長且成本高。

以 NeRF 為代表的神經渲染技術為 3D 內容生成提供了廣闊想象空間。基于 AIGC-3D 神經渲染技術，讓用戶手機拍攝物體，自動快速數字化建模，不需要大量人工干預，能夠應用于更廣泛的 3D 內容生產。

神經渲染 3D 重建技術存在效率和精度無法兼顧的問題，難以滿足實際應用。高質量的重建算法需要耗費很長時間，例如 NeRF 結合隱式曲面的 NeuS 算法可以重建出完整的 3D mesh，但需要 10 小時之久。而快速重建算法則精度較低，例如 NVIDIA instant-ngp 技術可分鐘級快速合成高質量的 2D 視角，但導出的 Mesh 質量仍然受限。經典的多視角深度圖融合技術也存在空洞問題。

? ??

針對相關挑戰，網易瑤臺與 NVIDIA 合作，利用 NVIDIA instant-npg 中的 tiny-cuda-nn 技術，基于 NeRF 和隱式曲面的神經渲染重建算法并結合預訓練 CasMVSNet 的 3D 點云先驗，實現了業內先進的快速 3D 場景重建方案：

首先，使用 tiny-cuda-nn 網絡優化，采用多尺度 hash 編碼結合傅里葉編碼、球諧編碼以及高效 MLP 重構隱式曲面SDF網絡，進行層數與隱層壓縮。相比基準算法，同 batchsize 設置下，單次迭代加速 1.98 倍，總耗時降到 25 分鐘左右。其次，使用多尺度與多視角訓練策略，包括多尺度圖像監督、單步多視角監督的訓練策略等。最后，改進了 SDF 體渲染方法，通過視線與法線夾角來加權 SDF 場，使用預訓練的 CasMVSNet 獲取 3D 點云進行幾何先驗監督，提升了重建精度，加速了收斂過程。同時，在位姿估計、物體邊框估計、2D 以及 3D 采樣、紋理貼圖等方面進行了多項技術與工程優化。

多個物體的多視角圖像通過快速隱式曲面重建方案進行自動重建效果如下圖，并可直接導入網易瑤臺元宇宙空間。

在 NVIDIA 2023 春季 GTC 大會的 China AI Day 特別活動，網易伏羲視覺計算負責人李林橙將在 3 月 22 日下午 530 帶來《NVIDIA CUDA 技術助力網易瑤臺神經隱式曲面建模 20 倍加速》專題演講，分享項目過程中的實踐經驗與心得。手機微信掃碼或點擊閱讀原文即可直達演講頁面。

NVIDIA CUDA 技術助力網易瑤臺

神經隱式曲面建模 20 倍加速

會議代碼：[SE52360]

演講時間：3 月 22 日 5:00 PM

演講嘉賓：

李林橙，網易伏羲視覺計算負責人

演講概要：

網易瑤臺提供大型的沉浸式會展服務。在與客戶的溝通中我們了解到，客戶期望將線下物體生成 3D 模型，導入瑤臺，從而降低定制化制作的成本.

2020 年以來神經渲染 3D 建模技術快速發展，重建精度有了顯著的提升，但耗時卻限制了實際的應用。網易瑤臺充分利用了 NVIDIA 的 tiny-cuda-nn 與 CUDA 渲染技術，對神經隱式曲面建模進行了 20 多倍加速，實現了高效、高質量的 3D mesh 重建。本場演講將分享項目過程中的實踐經驗與心得。

掃描二維碼直達注冊頁面

預約感興趣的會議和座談

想要預約以上精彩內容？成功注冊 GTC23 后，搜索相關會議代碼，如下圖所示。例如：搜索 GTC23 專題演講代碼 [SE52360] ，點擊“Add To Schedule”或右上角“五角星”即可將會議添加至日程，大會開始后登錄即可觀看會議。

歡迎加入 GTC23，交流、了解和幫助塑造未來發展趨勢！點擊即可查看 GTC23 注冊教程！

掃描下方海報二維碼，鎖定 NVIDIA 創始人兼首席執行官黃仁勛的 GTC 主題演講！北京時間 3 月 21 日 23:00 全球首播，3 月 22 日 10:00 中國重播。深度解讀 NVIDIA 加速計算平臺如何推動人工智能、元宇宙、云技術和可持續計算的下一波浪潮。加入 GTC23，切勿錯過 AI 的決定性時刻！