一

基于大模型的仿真系統框架

傳統的仿真測試驗證普遍基于場景，而場景的構建主要由道路和場景編輯器來人工搭建靜態場景和動態場景，這種方式費時費力，而且也大大限制了場景要素組合的豐富化。針對此痛點問題，賽目推出了基于大模型的仿真系統，利用機器學習、深度學習等人工智能技術，不僅推出自動標注大模型、多模態檢測大模型和場景生成大模型等模塊，并且引入三維重建大模型加強渲染畫面真實性。

通過上述模塊，賽目的路采場景轉換系統實現了以傳感器原始數據或者目標集數據為輸入，通過感知融合、場景提取和生成等功能，輸出仿真測試所需的靜態路網和動態場景進行仿真，大大提高了仿真測試的效率。

圖：基于大模型的仿真系統框架

二

三維重建大模型

本文首先介紹三維重建大模型。

三維重建是指根據單視圖或者多視圖重建三維信息、構建三維模型的過程。傳統的計算機圖形學的核心通過復雜的物理模型求解渲染方程。需要的不僅僅是場景中物體的幾何和材質信息、相機的內外參信息，更需要復雜的光照模型來模擬自然光照的影響。

上述工作的重大突破來自Ben Mildenhall等人于2020發表的神經輻射場(NeRF)，根據對同一物體不同觀察視角的多張圖像，通過隱式的編碼表示場景實現三維重建的過程，利用體渲染生成新視角圖像。

NeRF訓練渲染流程可以總結如下：

1. 對于給定的相機光線，在光線上進行采樣，對采樣點的空間坐標及觀察方向進行編碼，用深度復雜網絡存獲得輻射場信息；

2. 輻射場輸出空間點的顏色和密度；

3. 根據2的輸出用體素渲染方程獲得生成視角圖片；

4. 在訓練階段與原視角圖片計算損失更新網絡。

圖：NeRF訓練管線[1]

下圖表示了輻射場的網絡結構，其中PE表示位置編碼，x為三維坐標點，d為觀察方向，MLP為多層感知機，ReLU和Sigmoid分別為不同激活函數。輻射場網絡的輸入是空間坐標及方差方向，輸出為對應的顏色和密度值傳遞至體渲染模塊。

圖：NeRF網絡結構

體渲染主要為解決云、煙、果凍等非剛性物體進行渲染建模，將其抽象成一團粒子群，表現了光線穿過時光子和粒子交互的過程，產生的輻亮度的變化。其物理過程包括吸收、外散射、內散射、放射。忽略背景光的影響，體渲染方程為：

上述方法主要針對室內小型場景進行三維重建，對于戶外場景、特別是自駕場景還有許多優化的空間，相關內容將在下節討論。

三

三維重建大模型-挑戰和對應

對于自駕場景，上述Baseline方法面臨的挑戰包括：

1. 訓練和渲染速度：Baseline方法需要花費數小時、甚至數天進行訓練和生成，這對于仿真來說是難以接受的，同樣不利于算法的迭代優化；

2. 生成畫質清晰度：自駕場景包括了靜態路網、動態環境參與者、背景建筑物、天空等等，需要同時將遠景與近景清晰地渲染生成是一個極大的挑戰；

3. 算法訓練的過擬合現象：與Baseline對同一物體360°環視圖像獲取不同，路采車輛一般沿著固定采集路線前進，對于同一物體的信息收集不夠充沛，影響最終的渲染質量。

4. 動態物體的添加和刪除：利用三維重建大模型能夠獲得不同主車視角的成像結果，但是對于測試場景生成需要靈活地控制環境參與者，因此需要模型能夠自由地對物體進行添加和刪除。

基于上述問題，我們提出了下述的研究路線。

圖：三維重建技術路線

對于無邊界場景，由于可視范圍變大的原因通過NDC坐標變化后的采樣過程會將近景采樣稀疏化，影響最終成像質量導致物體模糊，保持近距離坐標不變，遠距離坐標作非線性轉換是一種解決思路。坐標轉換形式包括了[2-3]：

1.半徑為r的球面內保持坐標不變，球面外坐標以單位向量以及逆半徑重新定義，具體如下

然后利用線性插值法獲得相應分辨率下的特征，輸入至多層感知機中進行訓練。特征柵格主要流程如下。

通過上述三維重建大模型方法，可以在自動駕駛仿真領域提升模型的訓練和渲染速度、重建畫質的清晰度、輻射場中物體深度與表面的準確度等等，同時能夠動態添加環境車、行人等交通參與者進行場景泛化，實現更靈活的場景生成需求。

參考文獻

[1]Mildenhall, Ben, et al. "Nerf: Representing scenes as neural radiance fields for view synthesis." Communications of the ACM 65.1 (2021): 99-106.

[2]Zhang, Kai, et al. "Nerf++: Analyzing and improving neural radiance fields." arXiv preprint arXiv:2010.07492 (2020).

[3]Barron, Jonathan T., et al. "Mip-nerf 360: Unbounded anti-aliased neural radiance fields." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.

[4]Müller, Thomas, et al. "Instant neural graphics primitives with a multiresolution hash encoding." ACM Transactions on Graphics (ToG) 41.4 (2022): 1-15.

賽目科技

專注智能網聯汽車測試