▍文章來源于康謀自動駕駛

01 引言

無論是暴雪過后的街道、夜幕下車燈照亮的路面、還是雨霧交織的高速公路——這些對人類駕駛員而言習以為常的場景，卻構成了自動駕駛系統面臨的環境感知極限挑戰。這是由于傳統3D場景重建技術在面對復雜環境時常常力不從心：要么把雪花當成場景的一部分輸入進模型，要么在光照變化時直接失效。

近年來，3D高斯潑濺（3D Gaussian Splatting, 3DGS）技術的崛起，為這一困境帶來了革命性轉機。該技術不僅實現了近乎實時的逼真場景渲染，更在動態天氣建模、光照變化處理等關鍵領域取得突破性進展，正在重新定義自動駕駛仿真系統的能力邊界。

本文將系統梳理3DGS從靜態重建到動態環境建模的技術演進，并探討其在自動駕駛仿真中的實踐應用。

02 靜態重建到動態環境的技術演進

3DGS的核心機制與局限

3DGS用數百萬個3D高斯橢球體來表示場景，每個高斯體攜帶位置、協方差、不透明度和顏色信息。渲染時按深度排序投影到2D平面，通過alpha混合生成最終圖像。相比NeRF需要對每個像素進行耗時的體積渲染，3DGS的光柵化過程能充分利用GPU并行計算，實現實時渲染。

但原始3DGS有個致命缺陷：它假設場景靜態、光照恒定。這在博物館文物掃描中沒問題，但放到真實世界就行不通了。雪天拍攝的街景會把空中飄落的雪花、鏡頭上的水滴都當作場景固有特征學習進去，導致重建出的場景永遠"下著雪"。

天氣環境重建

真實世界的天氣環境重建需要攻克三個核心難題：天氣偽影的分離去除、動態天氣效果的逼真生成，以及移動光源下的場景重建。針對這些挑戰，研究者們提出了多項創新解決方案，本文將聚焦三篇代表性論文進行分享交流：

天氣偽影的分離與去除——WeatherGS：https://arxiv.org/pdf/2412.18862

動態天氣效果的生成——Let it snow：https://arxiv.org/pdf/2504.05296

移動光源下的場景重建——DarkGS：https://arxiv.org/pdf/2403.10814

天氣偽影的分離與去除

WeatherGS將天氣干擾分為兩類：空氣中的密集粒子（雪花、雨滴）和鏡頭表面的稀疏遮擋（水珠、霧氣）。前者分布廣泛但單點影響小，后者局部遮擋嚴重但數量有限。

研究者設計了“密集到稀疏”的兩階段預處理流程：首先用大氣效應濾波器清除空氣中的氣象干擾，類似圖像去噪但需保留場景真實紋理；隨后用鏡頭效應檢測器提取稀疏遮擋掩膜，標記被鏡頭污染遮擋的像素。處理后的圖像和掩膜一起送入3DGS訓練，被遮擋區域不參與損失計算，從而恢復出干凈的底層場景。

這套方案的難點在于平衡：去除太激進會損失場景細節，太保守則天氣偽影殘留。更棘手的是，不同天氣條件(暴雪、小雨、霧霾)的特征差異很大，模型需要具備跨場景的泛化能力。

圖1：不同方法在雨雪天氣下的偽影去除效果

動態天氣效果的生成

去除天氣偽影只是第一步，更進階的需求是在干凈場景上主動添加可控的天氣效果。在清除偽影的基礎上，“Let it Snow”進一步實現了可控天氣效果的主動添加。該方法創新性地結合了物理仿真與AI生成模型：物理引擎確保粒子運動符合重力、風力等自然規律；視頻擴散模型則通過學習真實天氣視頻，引導3DGS中的粒子外觀逼近真實效果。

通過聯合優化框架，物理先驗與視覺先驗協同工作，既保證了雪花飄落、雨滴濺射的物理合理性，又實現了照片級的渲染質感。

圖2：天氣粒子效果

移動光源下的場景重建

自動駕駛車輛經常在夜間或隧道等暗光環境中工作，此時車載光源成為主要照明。但這帶來同一路面，車輛靠近時被強光照亮，遠離時又陷入黑暗，視覺外觀完全不同的棘手問題。傳統3DGS會把不同光照下的觀測當作不同的表面材質來學習，導致重建失敗。

DarkGS針對自動駕駛常見的夜間或隧道場景，提出了NeLiS光源模型。該模型通過數據驅動學習真實光源行為，包含四個組件：相對照度分布用神經網絡學習光源的角度相關特性；光衰減函數采用Lorentzian函數引入可學習參數；環境光建?？紤]非完全黑暗環境的基礎照明；BRDF模型采用Lambertian反射描述表面材質。

訓練時同時優化場景幾何、表面反照率和光源參數。同時為避免高度耦合的參數陷入局部最優，訓練采用分階段預熱策略：先固定光源姿態學習場景結構，再逐步放開光源參數進行聯合優化。一旦完成標定，即可在重建場景中自由調整光源位置與強度，模擬從正午陽光到夜間車燈的全時段光照變化。

圖3：移動光源下的場景重建效果

03 aiSim的3DGS實踐

現實困境

首先長尾場景的采集一直以來都是自動駕駛發展中難題之一。系統的安全性高度依賴其對極端情況的應對能力，但這些Corner Case在實際道路上出現概率極低。例如，一輛測試車可能行駛數千公里才能遇到一次暴雪天氣，數萬公里才會碰到夜間施工區域的復雜光影場景。若完全依賴實車采集來覆蓋這些罕見狀況，所需的時間與經濟成本將難以承受。

此外，傳統仿真技術雖能快速生成數據，卻在真實感上存在明顯不足。比如基于游戲引擎的仿真平臺（如CARLA、LGSVL）依賴于手工建模的場景和預設的天氣系統，其視覺表現與真實世界仍存在可察覺的差距。例如，雨滴的運動軌跡往往過于規則，水面反射缺乏自然變化，雨霧的層次感與遮擋效果也不夠真實。在光照模擬方面，游戲引擎常用的簡化模型（如Phong、Blinn-Phong）難以準確復現車燈在濕滑路面上的復雜反射、路燈透過雨霧的散射等關鍵光學現象，而這些恰恰是夜間駕駛感知系統必須可靠應對的場景。

aiSim的3DGS場景重建

aiSim采用3DGS作為核心場景表示技術，實現了“采集即建模”的高效工作流。數據采集車只需搭載多目相機和激光雷達，在目標區域正常行駛一遍，就能收集到重建所需的多視角圖像和稀疏點云。回到實驗室后，3DGS重建流程可以在幾小時內完成，這比傳統建模快了幾個數量級。

重建出的場景保留了真實世界的所有細節，如路面的磨損紋理、建筑物的風化痕跡、植被的自然分布等。這種“照片級”的還原度讓仿真數據與真實數據在視覺統計特征上高度一致，大幅縮小sim-to-real gap。更重要的是極具可擴展性，當需要新場景時，只需派出采集車跑一趟，無需等待建模團隊排期。這種"采集即建模"的模式讓場景庫的增長速度與算法迭代需求相匹配。

環境因素的精細控制

天氣系統：aiSim支持對3DGS重建場景的天氣修改。用戶可以通過參數面板調節天氣條件、天氣粒子強度、能見度等參數，系統實時生成對應的天氣效果。

光照系統：aiSim每個場景在重建時會同步標定光源特性，包括太陽光的方向和強度、環境光的色溫。在仿真時，可以任意調整時間、添加或移除人工光源。一個典型應用場景是測試車輛在隧道出入口的適應性：隧道內是昏暗的人工照明，出口處是刺眼的陽光，這種劇烈的光照變化會導致相機曝光失調。在aisim中可以精確復現這一過程，讓感知算法在仿真中充分訓練應對策略。

材質與反射：aiSim可以在3DGS重建的場景中模擬不同材質在不同光照下的表現。如干燥路面的漫反射與積水路面的鏡面反射，復現車燈光斑等關鍵視覺特征。

圖4：不同天氣/光照下，aiSim中3DGS場景重建效果

3DGS的核心機制與局限

aiSim結合Word Extractor工具鏈，可實現3DGS場景的快速提取與重建。在真實數據重建的基礎上，系統支持多層次程序化擴展：

在重建的道路網絡上根據交通規則生成車輛、行人的運動軌跡；

定義天氣變化的時間序列，例如“晴天→多云→小雨→暴雨”的漸變過程；

模擬一天中太陽的運動軌跡，或者夜間路燈的閃爍、對向車輛遠光燈的晃動。

這種“真實基底+程序化變化”的模式兼顧了真實感和可控性?；A場景的真實性保證了數據分布的準確性，程序化變化則提供了測試所需的多樣性和可重復性。

圖5：Word Extractor工具鏈

04 結語

總之，3DGS技術在環境因素處理上的系列突破——從WeatherGS的偽影分離，到“Let it Snow”的動態天氣生成，再到DarkGS的移動光源建模——共同推動著虛擬仿真向真實世界復雜性的不斷逼近。

可以這樣說，aiSim將這些前沿研究轉化為工程實踐，構建了一個既高度真實又完全可控的自動駕駛測試環境。在重建的3DGS場景中，暴雪可以按需降臨，夜晚可以隨時切換到正午，同一場景可在無限變體中反復驗證算法魯棒性。

盡管當前的3DGS方案在處理鏡面反射、透明物體、動態陰影等方面仍有局限，多傳感器融合仿真也有待完善。但技術方向已經明確：通過真實數據驅動的場景重建，結合物理規律與AI生成的環境模擬。而行業內的我們，正在朝著方向構建一個足以支撐L4級自動駕駛驗證的仿真體系。