▍文章來源于康謀自動(dòng)駕駛

隨著端到端自動(dòng)駕駛架構(gòu)的興起，傳統(tǒng)基于規(guī)則的仿真測(cè)試正面臨“真實(shí)感不足”與“場(chǎng)景泛化難”的雙重挑戰(zhàn)。

本文深入解析康謀推出的雙模態(tài)仿真測(cè)試解決方案：一方面依托aiSim提供確定性的物理級(jí)傳感器建模；另一方面通過World Extractor實(shí)現(xiàn)基于3DGS/NeRF的自動(dòng)化世界重建。

重點(diǎn)探討二者如何通過混合渲染（Hybrid Rendering）的技術(shù)路線，在保留真實(shí)世界視覺保真度的同時(shí)，實(shí)現(xiàn)動(dòng)態(tài)交通流的泛化，構(gòu)建可用于閉環(huán)驗(yàn)證的數(shù)字孿生環(huán)境。

01 端到端測(cè)試挑戰(zhàn)

自動(dòng)駕駛仿真測(cè)試的核心矛盾，長(zhǎng)期存在于“物理真實(shí)性（Realism）”與“仿真可控性（Controllability）”之間。康謀基于此構(gòu)建了兩條既獨(dú)立又互補(bǔ)的技術(shù)路線，形成了完整的工具鏈生態(tài)：

物理驅(qū)動(dòng)路線（Model-based）：以 aiSim 仿真平臺(tái)為核心，基于高精度的3D網(wǎng)格與物理材質(zhì)系統(tǒng)，提供ISO 26262 ASIL D認(rèn)證級(jí)的確定性仿真，側(cè)重于閉環(huán)驗(yàn)證、傳感器模型研究與極端邊緣場(chǎng)景構(gòu)造。

數(shù)據(jù)驅(qū)動(dòng)路線（Data-driven）：以 World Extractor 工具鏈為核心，利用 3DGS 和 NeRF 技術(shù)，將真實(shí)采集數(shù)據(jù)自動(dòng)化重建為高保真數(shù)字世界，側(cè)重于解決感知模型的Sim-to-Real Gap（虛實(shí)遷移差距）。

這兩條路線并非割裂，而是通過混合渲染架構(gòu)在終端匯聚，為高階智駕提供“靜態(tài)環(huán)境真實(shí)、動(dòng)態(tài)目標(biāo)可控”的閉環(huán)測(cè)試能力。

工具鏈總覽

02 aiSim：確定性高保真引擎

aiSim并非僅為神經(jīng)渲染服務(wù)的播放器，而是一款獨(dú)立的、基于物理的高性能仿真全棧仿真平臺(tái)，集成了動(dòng)力學(xué)仿真、天氣環(huán)境系統(tǒng)、物理傳感器模型、場(chǎng)景編輯等自動(dòng)駕駛測(cè)試關(guān)鍵功能，并是全球首個(gè)通過 ISO 26262 ASIL D 認(rèn)證的仿真平臺(tái)。其核心價(jià)值在于為端到端智駕系統(tǒng)提供高保真的確定性輸出，并進(jìn)行有效閉環(huán)測(cè)試。

平臺(tái)架構(gòu)和開放接口APIs

自研渲染引擎與確定性

不同于基于游戲引擎（如UE/Unity）的方案，aiSim 采用自研的基于 Vulkan API 的渲染管線。

確定性（Determinism）：保證在不同硬件架構(gòu)（從工作站到云端大規(guī)模集群）上，同一幀場(chǎng)景的渲染結(jié)果在任意傳感器數(shù)據(jù)層面完全一致，包括像素、點(diǎn)云、動(dòng)力學(xué)信息。這對(duì)于回歸測(cè)試至關(guān)重要。

光線追蹤（Ray-tracing）：支持對(duì)激光雷達(dá)（LiDAR）和雷達(dá)（Radar）進(jìn)行多徑反射仿真和高斯線束，并基于物理材質(zhì)屬性（PBR）計(jì)算反射率，非簡(jiǎn)單的幾何投影。

物理級(jí)傳感器建模

aiSim 并不止步于理想傳感器模型，而是深入到物理特性層面：

Camera：支持從光圈、畸變(F-theta/Mei/Ocam)、CFA(色彩濾光陣列)到ISP后處理的全鏈路仿真。

LiDAR：基于輻射測(cè)量（Radiometric）而非光度測(cè)量，考慮了905nm波長(zhǎng)下的材質(zhì)反射率、大氣衰減（雨霧中的Mie散射）以及卷簾門效應(yīng)（Rolling Shutter）。

Radar：采用光線追蹤模擬多徑效應(yīng)，支持輸出RCS、多普勒速度及點(diǎn)云級(jí)別的仿真。

03 World Extractor：自動(dòng)化重建

針對(duì)傳統(tǒng)手工建模周期長(zhǎng)（月級(jí)）、成本高的問題，World Extractor提供了一套從采集到重建的成熟可用的端到端自動(dòng)化工具鏈，將現(xiàn)實(shí)世界轉(zhuǎn)化為數(shù)字資產(chǎn)。

嚴(yán)格的硬件采集標(biāo)準(zhǔn)

高質(zhì)量的重建始于高質(zhì)量的數(shù)據(jù)。康謀定義了嚴(yán)格的傳感器部署規(guī)范以滿足神經(jīng)渲染需求：

覆蓋要求：相機(jī)需實(shí)現(xiàn)360°全覆蓋，相鄰視場(chǎng)重疊度需 >10°，以確保特征點(diǎn)匹配。

同步精度：多傳感器（Camera/LiDAR）與GNSS/INS的時(shí)間同步精度需 <1ms，位置誤差需控制在厘米級(jí)（RTK/PPK）。

推薦配置：采用Sony IMX490/728傳感器及128線激光雷達(dá)，確保高動(dòng)態(tài)范圍與點(diǎn)云密度。

自動(dòng)化處理與3DGS訓(xùn)練

采集的數(shù)據(jù)經(jīng)過脫敏、清洗后，進(jìn)入自動(dòng)化標(biāo)注與訓(xùn)練流程：

動(dòng)態(tài)物體移除

這是重建純凈靜態(tài)世界的關(guān)鍵。工具鏈利用自動(dòng)化標(biāo)注算法（結(jié)合2D分割與3D包圍盒）識(shí)別并剔除路面上的移動(dòng)車輛與行人，僅保留靜態(tài)車輛建筑物、路面、植被、等靜態(tài)元素。

訓(xùn)練新范式

針對(duì)傳統(tǒng)3DGS在稀疏視角下幾何結(jié)構(gòu)崩壞以及外推能力差的問題，提出了NeRF2GS的新路徑。

Step 1 (Teacher):先訓(xùn)練一個(gè) NeRF 模型。利用 NeRF 在幾何連續(xù)性上的優(yōu)勢(shì)，結(jié)合含噪聲的 LiDAR 點(diǎn)云進(jìn)行深度正則化（Depth Regularization）訓(xùn)練。

Step 2 (Student):將 NeRF 生成的高質(zhì)量深度圖和法線圖作為監(jiān)督信號(hào)，初始化并訓(xùn)練 3DGS 模型。

優(yōu)勢(shì)：這種方法顯著修復(fù)了路面、天空等弱紋理區(qū)域的幾何錯(cuò)誤，確保了在合成新視角（Novel View Synthesis）時(shí)，路面平整、車道線清晰，且無偽影。

大規(guī)模分塊訓(xùn)練

針對(duì)城市級(jí)大規(guī)模場(chǎng)景（>100,000 m2），采用BEV空間動(dòng)態(tài)分塊（Block-based）策略，支持多GPU并行訓(xùn)練，通過重疊區(qū)域（Overlap）消除塊與塊之間的渲染接縫。

04 混合渲染以實(shí)現(xiàn)閉環(huán)測(cè)試

這是康謀方案的核心技術(shù)壁壘。單純的3DGS/NeRF雖然視覺逼真，但本質(zhì)是“三維錄像”，難以修改內(nèi)容。為了實(shí)現(xiàn)閉環(huán)測(cè)試（Closed-loop Testing），康謀采用了“混合渲染”技術(shù)。

Why “靜態(tài)3DGS + 動(dòng)態(tài)OpenSCENARIO”？

目前學(xué)術(shù)界存在的4DGS技術(shù)雖然能還原動(dòng)態(tài)場(chǎng)景，但缺乏交互性——你無法控制錄制視頻中車輛的剎車或變道。

康謀的策略是解耦：

背景（Background）：使用World Extractor生成的靜態(tài)3DGS模型，確保環(huán)境的絕對(duì)真實(shí)（紋理、光照、幾何細(xì)節(jié)）。

前景（Foreground）：使用aiSim物理引擎生成的動(dòng)態(tài)網(wǎng)格（Mesh）物體（車輛、行人），這些物體的行為由 OpenSCENARIO 標(biāo)準(zhǔn)格式驅(qū)動(dòng)，支持泛化和交互。

這種組合既滿足了感知算法對(duì)分布外（OOD）數(shù)據(jù)的渴求，又滿足了規(guī)控算法對(duì)交互式測(cè)試的需求。

深度合成技術(shù)

在渲染管線中，如何讓“虛擬的車”正確地行駛在“真實(shí)的路”上，并被“真實(shí)的樹”遮擋？這依賴于精確的深度合成（Depth Compositing）技術(shù)：

系統(tǒng)實(shí)時(shí)計(jì)算3DGS背景的深度圖（Depth Map）與aiSim前景物體的Z-buffer。

遮擋關(guān)系：能夠精確處理“虛擬車輛行駛在真實(shí)樹木后方”的遮擋關(guān)系，且邊緣無鋸齒。

光照融合：利用從神經(jīng)場(chǎng)中提取的環(huán)境光照信息（IBL），照亮虛擬物體，使其陰影和反射與背景環(huán)境渾然一體。

aiSim+3DGS中DEVIANT單目識(shí)別CAR類

多模態(tài)一致性

對(duì)于 LiDAR 仿真，康謀并未采用簡(jiǎn)單的深度圖投影，而是實(shí)現(xiàn)了針對(duì)3D高斯球的光線追蹤。

機(jī)制：將3D高斯球作為代理幾何體（Proxy Geometry）構(gòu)建加速結(jié)構(gòu)（BVH）。LiDAR 射線直接與這些高斯球進(jìn)行求交計(jì)算。

多模態(tài)輸出：不僅能獲取距離信息，還能從神經(jīng)特征中解碼出強(qiáng)度（Intensity）信息，從而合成出帶有真實(shí)反射率特性的點(diǎn)云數(shù)據(jù)。

保證了Camera與LiDAR在同一時(shí)刻、同一視角下的時(shí)空強(qiáng)同步。

05 場(chǎng)景泛化與工程落地

基于上述架構(gòu)，康謀實(shí)現(xiàn)了從“復(fù)現(xiàn)”到“泛化”的跨越。

動(dòng)態(tài)交通流泛化

在重建的高保真靜態(tài)地圖中，測(cè)試人員可以通過 OpenSCENARIO自由配置交通流。例如，在一段空曠的舊金山重建路段中，通過算法生成擁堵場(chǎng)景、Cut-in（切入）場(chǎng)景或事故場(chǎng)景。

這極大地?cái)U(kuò)展了ODD（運(yùn)行設(shè)計(jì)域）的覆蓋范圍，解決了感知算法在真實(shí)路測(cè)中難以遇到Corner Case的痛點(diǎn)。

廣泛的HiL集成

該工具鏈已在多個(gè)OEM及Tier 1中驗(yàn)證，支持與主流域控平臺(tái)的硬件在環(huán)（HiL）集成：

視頻注入：支持通過HDMI/DP或GMSL注入卡，將混合渲染后的視頻流直接注入域控制器（如NVIDIA Orin, NVIDIA Thorn, Horizon J6）。

實(shí)時(shí)性：在單節(jié)點(diǎn)部署下（如4卡仿真圖站），即可實(shí)現(xiàn)12路相機(jī)+激光雷達(dá)的高幀率實(shí)時(shí)仿真，通過分布式集群部署可進(jìn)一步提升性能表現(xiàn)和渲染質(zhì)量。

康謀的雙模態(tài)仿真測(cè)試解決方案，并非簡(jiǎn)單的工具堆疊，而是對(duì)自動(dòng)駕駛測(cè)試痛點(diǎn)的深刻工程解構(gòu)。

通過NeRF2GS技術(shù)，我們將真實(shí)世界“搬進(jìn)”了仿真器；通過aiSim 物理引擎，我們讓這個(gè)世界“活”了起來。這種“靜態(tài)環(huán)境高保真，動(dòng)態(tài)場(chǎng)景全泛化”的混合渲染模式，為從感知到規(guī)控的端到端閉環(huán)驗(yàn)證提供了目前行業(yè)內(nèi)最優(yōu)的數(shù)據(jù)底座，顯著降低了對(duì)高成本路測(cè)的依賴！