▍文章來源于康謀自動駕駛

隨著端到端自動駕駛架構的興起，傳統基于規則的仿真測試正面臨“真實感不足”與“場景泛化難”的雙重挑戰。

本文深入解析康謀推出的雙模態仿真測試解決方案：一方面依托aiSim提供確定性的物理級傳感器建模；另一方面通過World Extractor實現基于3DGS/NeRF的自動化世界重建。

重點探討二者如何通過混合渲染（Hybrid Rendering）的技術路線，在保留真實世界視覺保真度的同時，實現動態交通流的泛化，構建可用于閉環驗證的數字孿生環境。

01 端到端測試挑戰

自動駕駛仿真測試的核心矛盾，長期存在于“物理真實性（Realism）”與“仿真可控性（Controllability）”之間。康謀基于此構建了兩條既獨立又互補的技術路線，形成了完整的工具鏈生態：

物理驅動路線（Model-based）：以 aiSim 仿真平臺為核心，基于高精度的3D網格與物理材質系統，提供ISO 26262 ASIL D認證級的確定性仿真，側重于閉環驗證、傳感器模型研究與極端邊緣場景構造。

數據驅動路線（Data-driven）：以 World Extractor 工具鏈為核心，利用 3DGS 和 NeRF 技術，將真實采集數據自動化重建為高保真數字世界，側重于解決感知模型的Sim-to-Real Gap（虛實遷移差距）。

這兩條路線并非割裂，而是通過混合渲染架構在終端匯聚，為高階智駕提供“靜態環境真實、動態目標可控”的閉環測試能力。

工具鏈總覽

02 aiSim：確定性高保真引擎

aiSim并非僅為神經渲染服務的播放器，而是一款獨立的、基于物理的高性能仿真全棧仿真平臺，集成了動力學仿真、天氣環境系統、物理傳感器模型、場景編輯等自動駕駛測試關鍵功能，并是全球首個通過 ISO 26262 ASIL D 認證的仿真平臺。其核心價值在于為端到端智駕系統提供高保真的確定性輸出，并進行有效閉環測試。

平臺架構和開放接口APIs

自研渲染引擎與確定性

不同于基于游戲引擎（如UE/Unity）的方案，aiSim 采用自研的基于 Vulkan API 的渲染管線。

確定性（Determinism）：保證在不同硬件架構（從工作站到云端大規模集群）上，同一幀場景的渲染結果在任意傳感器數據層面完全一致，包括像素、點云、動力學信息。這對于回歸測試至關重要。

光線追蹤（Ray-tracing）：支持對激光雷達（LiDAR）和雷達（Radar）進行多徑反射仿真和高斯線束，并基于物理材質屬性（PBR）計算反射率，非簡單的幾何投影。

物理級傳感器建模

aiSim 并不止步于理想傳感器模型，而是深入到物理特性層面：

Camera：支持從光圈、畸變(F-theta/Mei/Ocam)、CFA(色彩濾光陣列)到ISP后處理的全鏈路仿真。

LiDAR：基于輻射測量（Radiometric）而非光度測量，考慮了905nm波長下的材質反射率、大氣衰減（雨霧中的Mie散射）以及卷簾門效應（Rolling Shutter）。

Radar：采用光線追蹤模擬多徑效應，支持輸出RCS、多普勒速度及點云級別的仿真。

03 World Extractor：自動化重建

針對傳統手工建模周期長（月級）、成本高的問題，World Extractor提供了一套從采集到重建的成熟可用的端到端自動化工具鏈，將現實世界轉化為數字資產。

嚴格的硬件采集標準

高質量的重建始于高質量的數據。康謀定義了嚴格的傳感器部署規范以滿足神經渲染需求：

覆蓋要求：相機需實現360°全覆蓋，相鄰視場重疊度需 >10°，以確保特征點匹配。

同步精度：多傳感器（Camera/LiDAR）與GNSS/INS的時間同步精度需 <1ms，位置誤差需控制在厘米級（RTK/PPK）。

推薦配置：采用Sony IMX490/728傳感器及128線激光雷達，確保高動態范圍與點云密度。

自動化處理與3DGS訓練

采集的數據經過脫敏、清洗后，進入自動化標注與訓練流程：

動態物體移除

這是重建純凈靜態世界的關鍵。工具鏈利用自動化標注算法（結合2D分割與3D包圍盒）識別并剔除路面上的移動車輛與行人，僅保留靜態車輛建筑物、路面、植被、等靜態元素。

訓練新范式

針對傳統3DGS在稀疏視角下幾何結構崩壞以及外推能力差的問題，提出了NeRF2GS的新路徑。

Step 1 (Teacher):先訓練一個 NeRF 模型。利用 NeRF 在幾何連續性上的優勢，結合含噪聲的 LiDAR 點云進行深度正則化（Depth Regularization）訓練。

Step 2 (Student):將 NeRF 生成的高質量深度圖和法線圖作為監督信號，初始化并訓練 3DGS 模型。

優勢：這種方法顯著修復了路面、天空等弱紋理區域的幾何錯誤，確保了在合成新視角（Novel View Synthesis）時，路面平整、車道線清晰，且無偽影。

大規模分塊訓練

針對城市級大規模場景（>100,000 m2），采用BEV空間動態分塊（Block-based）策略，支持多GPU并行訓練，通過重疊區域（Overlap）消除塊與塊之間的渲染接縫。

04 混合渲染以實現閉環測試

這是康謀方案的核心技術壁壘。單純的3DGS/NeRF雖然視覺逼真，但本質是“三維錄像”，難以修改內容。為了實現閉環測試（Closed-loop Testing），康謀采用了“混合渲染”技術。

Why “靜態3DGS + 動態OpenSCENARIO”？

目前學術界存在的4DGS技術雖然能還原動態場景，但缺乏交互性——你無法控制錄制視頻中車輛的剎車或變道。

康謀的策略是解耦：

背景（Background）：使用World Extractor生成的靜態3DGS模型，確保環境的絕對真實（紋理、光照、幾何細節）。

前景（Foreground）：使用aiSim物理引擎生成的動態網格（Mesh）物體（車輛、行人），這些物體的行為由 OpenSCENARIO 標準格式驅動，支持泛化和交互。

這種組合既滿足了感知算法對分布外（OOD）數據的渴求，又滿足了規控算法對交互式測試的需求。

深度合成技術

在渲染管線中，如何讓“虛擬的車”正確地行駛在“真實的路”上，并被“真實的樹”遮擋？這依賴于精確的深度合成（Depth Compositing）技術：

系統實時計算3DGS背景的深度圖（Depth Map）與aiSim前景物體的Z-buffer。

遮擋關系：能夠精確處理“虛擬車輛行駛在真實樹木后方”的遮擋關系，且邊緣無鋸齒。

光照融合：利用從神經場中提取的環境光照信息（IBL），照亮虛擬物體，使其陰影和反射與背景環境渾然一體。

aiSim+3DGS中DEVIANT單目識別CAR類

多模態一致性

對于 LiDAR 仿真，康謀并未采用簡單的深度圖投影，而是實現了針對3D高斯球的光線追蹤。

機制：將3D高斯球作為代理幾何體（Proxy Geometry）構建加速結構（BVH）。LiDAR 射線直接與這些高斯球進行求交計算。

多模態輸出：不僅能獲取距離信息，還能從神經特征中解碼出強度（Intensity）信息，從而合成出帶有真實反射率特性的點云數據。

保證了Camera與LiDAR在同一時刻、同一視角下的時空強同步。

05 場景泛化與工程落地

基于上述架構，康謀實現了從“復現”到“泛化”的跨越。

動態交通流泛化

在重建的高保真靜態地圖中，測試人員可以通過 OpenSCENARIO自由配置交通流。例如，在一段空曠的舊金山重建路段中，通過算法生成擁堵場景、Cut-in（切入）場景或事故場景。

這極大地擴展了ODD（運行設計域）的覆蓋范圍，解決了感知算法在真實路測中難以遇到Corner Case的痛點。

廣泛的HiL集成

該工具鏈已在多個OEM及Tier 1中驗證，支持與主流域控平臺的硬件在環（HiL）集成：

視頻注入：支持通過HDMI/DP或GMSL注入卡，將混合渲染后的視頻流直接注入域控制器（如NVIDIA Orin, NVIDIA Thorn, Horizon J6）。

實時性：在單節點部署下（如4卡仿真圖站），即可實現12路相機+激光雷達的高幀率實時仿真，通過分布式集群部署可進一步提升性能表現和渲染質量。

康謀的雙模態仿真測試解決方案，并非簡單的工具堆疊，而是對自動駕駛測試痛點的深刻工程解構。

通過NeRF2GS技術，我們將真實世界“搬進”了仿真器；通過aiSim 物理引擎，我們讓這個世界“活”了起來。這種“靜態環境高保真，動態場景全泛化”的混合渲染模式，為從感知到規控的端到端閉環驗證提供了目前行業內最優的數據底座，顯著降低了對高成本路測的依賴！