▍文章來源于康謀自動駕駛

01 引言

當前，三維重建技術正處于從"實驗室演示"邁向"工業級應用"的關鍵時期。每一次對場景細節的精準還原，每一幀實時流暢的渲染效果，都在檢驗算法對真實世界的復現能力。高效、高質量的三維重建能夠顯著提升數字資產制作效率，助力提升虛擬測試的真實性，加速仿真驗證流程。

然而，在"平衡重建質量與效率"這一核心目標下，現有技術仍面臨諸多挑戰，包括大規模場景的處理效率、動態物體的建模能力，以及跨平臺部署的兼容性等難題。

針對這些問題，康謀也有一些思考、經驗與看法，本文將與大家一起交流。下文將介紹3DGS原理框架、實戰 demo 與自駕仿真落地探索等相關內容。

此外，為了更深入地與行業同仁交流技術細節，康謀將在10月21日（周二）15:00舉辦主題為《從三維重構到仿真革新：3DGS技術解析與實踐應用》的線上直播，屆時將詳細解析3DGS技術核心、實戰演示與在自動駕駛仿真中的創新應用，歡迎掃碼預約！

02 3DGS的原理框架

技術概覽

3D Gaussian Splatting（3DGS）是一種基于數百萬個可學習的“3D色塊”來實現逼真3D場景實時渲染的新興技術。這里的“3D色塊”實際上是指3D高斯球——每一個都是具備位置、形狀、顏色和透明度屬性的基礎單元。

利用這些高斯球，我們可以對真實場景進行三維重建，再通過Splatting技術將其投影至二維平面，最后借助圖像分塊的光柵化方法渲染成最終圖像。

以下展示的是采用3DGS技術重建的部分場景，不難看出，無論是場景的細節還原度還是色彩表現力，效果都十分出色。

在保持高保真度場景重建的同時，3DGS技術還具備出色的渲染速度，這得益于其采用的基于圖像分塊的渲染方式。通過與其他三維重建方法對比可見，3DGS在視覺效果上能夠媲美NeRF-360，而訓練時間卻大幅縮短至幾十分鐘甚至幾分鐘。相較于NeRF-360動輒數十小時的訓練成本，這無疑是一項重要突破。

能夠在與Instant-NGP相當的訓練時長內，達到接近NeRF-360的重建質量，正是3DGS技術的關鍵優勢所在，也是其在三維重建領域持續受到關注的重要原因。

3DGS整體框架

3D Gaussian Splatting（3DGS）的整體框架是一個端到端的管道，其核心思想是將整個三維場景表示為數百萬個可學習的3D高斯球。這些高斯球作為場景的基本表示單元，每個都擁有各自的屬性，包括3D空間中的位置、描述其形狀與方向的協方差矩陣、以及視角相關的球諧函數所表示的顏色和不透明度。

整個流程可以分為7個步驟：

初始化：基于輸入的RGB圖像序列，通過sfm算法（COLMAP）估計初始稀疏點云及相機位姿；

高斯空間建模：將初始點云轉換為一系列3D高斯橢球；

視錐體篩選：根據當前相機參數，剔除位于視錐體范圍之外的3D高斯橢球；

可微分投影：將保留的3D高斯橢球通過可微分的仿射變換投影至2D圖像平面；

分塊光柵化：將投影后的高斯橢球按圖像塊組織，并采用基于瓦片的光柵器，實現并行、有序的混合渲染；

損失計算與反向傳播：比較渲染輸出與真實圖像，計算重構損失并通過反向傳播優化高斯橢球的各項屬性參數；

自適應密度控制：在訓練過程中動態執行高斯橢球的克隆與分裂操作。

03 3DGS實戰demo搭建

利用開源模型就可以進行一些場景的重建，開源倉庫：https://github.com/graphdeco-inria/gaussian-splatting

COLMAP初始化點云

要對3DGS模型進行訓練，需要先的得到一組初始化點云，利用COLMAP可以從一組無序的照片中，得到相機的拍攝位姿和場景的三維點云。

得到初始化點云和相機位姿的效果如下圖：

輸入模型進行迭代訓練

得到初始化點云后，就可以將點云信息輸入到3DGS模型中進行迭代訓練。3DGS迭代訓練通過不斷渲染誤差反饋來優化高斯的位置、顏色和形狀，并動態增刪高斯，使場景逐漸從粗糙點群精化為高保真實體模型。

以下是初始化點云和訓練迭代2萬次后的點云對比，可以看到迭代訓練后的點云信息更加豐富，場景細節更加多樣。利用這些點云和3DGS橢球就可以構建出逼真的三維場景。

04 3DGS在自駕仿真中的應用探索

從World Extractor到aiSim

康謀推出的World Extractor能從原始傳感器數據中，直接創建出3DGS重建的數據信息，從而可以直接導入康謀仿真軟件aiSim中，進行場景渲染。這大大節省了仿真場景構建時間。

并且，aiSim通過優化渲染模型，可以獲得高保真的3DGS場景導入。

新構建了GGSR，即通用高斯潑濺渲染器，優化3D重建場景下RayTracying傳感器渲染

優化廣角鏡頭渲染，增強一致性

支持自由移動視角，減少偽影產生

左邊是渲染優化前，會出現大FoV相機不一致性。右邊是渲染方案優化后，可以增強一致性。

優秀的仿真效果：

網格陰影表現（左）、環境反射表現（右）

05 3DGS未來發展與挑戰

在系統探討了3DGS的技術原理與實踐路徑后，我們需要清醒地認識到：這項技術正處在從"可用"到"好用"的關鍵演進階段，同時也存在著很多待發展的技術要點和面臨的挑戰！

發展

3DGS技術正沿著效率極致化與能力邊界拓展的雙重路徑演進。一方面追求超大規模場景的實時重建與交互，另一方面致力于實現動態場景的精準建模與語義級理解。

效率與應用的極致化

- 實時性與交互性：實現毫秒級動態場景重建與渲染，支持用戶實時交互；

- 硬件加速：開發專用硬件（如ASIC/FPGA）與更優的CUDA內核，讓3DGS在移動端、邊緣設備上流暢運行；

- 大規模場景：突破內存限制，實現對城市級、自然景觀等超大規模場景的高效建模與漫游。

動態場景與語義理解

- 4D重建：輕松處理動態物體，生成高質量4D動態場景，直接應用于影視、自動駕駛仿真；

- 語義與編輯：與SAM等分割模型結合，實現實例級的物體識別、分離與編輯；

- 生成式AI融合：作為3D表示，與Diffusion等生成式模型結合，實現文本/圖片到3D場景的高質量、高效率生成。

與其他技術的融合與統一

- 與NeRF互補：發揮3DGS渲染快的優勢，彌補NeRF在抗鋸齒、細節重建上的不足，形成混合建模管線；

- “3D基礎模型”的基石：作為一種高效的3D表示方法，為構建大規模3D場景的基礎模型提供可能。

挑戰

3DGS技術在渲染質量與動態場景處理方面仍存在理論瓶頸，其"黑箱"特性與數據依賴性也制約了技術的規模化應用。這些挑戰亟待從算法原理與工程實現層面協同突破。

渲染質量與一致性

- 鋸齒與閃爍：由于2D Splatting的固有特性，容易出現鋸齒、走樣和邊緣閃爍問題；

- 跨視角不一致性：在不同視角下，Gaussian的分布可能出現輕微的不一致，影響幾何的精確性；

- 透明與反射材質：對半透明、鏡面等高光/反射材質的建模能力仍然較弱，效果不如基于體素渲染的NeRF。

動態場景與學習瓶頸

- 動態處理“粗暴”：目前的動態3DGS多依賴于變形場或時序參數，難以處理劇烈的、非剛性的形變；

- 數據依賴性強：性能高度依賴于輸入圖像的質量和數量，對稀疏輸入或存在大量遮擋的場景，重建效果會急劇下降；

- 缺乏標準與生態：相比成熟的Mesh流程，3DGS缺乏行業標準工具鏈。

理論基礎與可控性

- “黑箱”特性：Gaussian的分布與參數缺乏明確的物理和幾何解釋，像一個可微分的點云渲染“黑盒”，難以進行精確的、程序化的控制；

- 參數冗余與過擬合：場景復雜度直接與Gaussian數量掛鉤，可能導致訓練過擬合和存儲浪費。

06 總結

顯而易見，3DGS以創新的3D高斯球表示方法，在重建質量與效率間實現了突破性平衡。從技術原理到實戰演示，再到康謀在自動駕駛仿真中的完整工具鏈實踐，3DGS展現了顯著的工程價值。

盡管在動態場景處理和渲染質量方面仍面臨挑戰，但隨著硬件加速和算法優化的持續推進，3DGS有望在自動駕駛、數字孿生等領域發揮更大價值，為三維重建技術開啟新的可能！