輻射場(chǎng)Plenoxels的感知數(shù)據(jù)集詳解

作者丨黃浴

來源丨?計(jì)算機(jī)視覺深度學(xué)習(xí)和自動(dòng)駕駛

arXiv論文“PeRFception: Perception using Radiance Fields“，2022年8月24日，PosTech、Nvidia和加州理工的工作。

隱式3D表示，即神經(jīng)輻射場(chǎng)（NERF）的最新進(jìn)展，使得可微分方式進(jìn)行精確和真實(shí)感的3D重建成為可能。這種新的表示法可以以一種緊湊的格式有效地傳達(dá)數(shù)百幅高分辨率圖像的信息，并允許照片真實(shí)感合成新視圖。這項(xiàng)工作，采用NeRF的變型，稱為Plenoxels（“Plenoxels: Radiance fields without neural networks“. arXiv:2112.05131, 2021），創(chuàng)建第一個(gè)用于感知任務(wù)的大規(guī)模隱式表示數(shù)據(jù)集，稱為PeRFception數(shù)據(jù)集，由兩部分組成，包括以目標(biāo)為中心和以場(chǎng)景為中心的掃描數(shù)據(jù)，用于分類和分割。PeRFception顯示了原始數(shù)據(jù)集的顯著內(nèi)存壓縮率（96.4%），同時(shí)以統(tǒng)一的形式包含2D和3D信息。作者構(gòu)建了直接將這種隱式格式作為輸入的分類和分割模型，并提出一種新的數(shù)據(jù)增強(qiáng)技術(shù)，避免圖像背景的過擬合。代碼和數(shù)據(jù)：https://postech-cvlab.github.io/PeRFception/.將低維坐標(biāo)映射到場(chǎng)景的局部屬性（如占用率、正負(fù)距離場(chǎng)或輻射場(chǎng)），可以表示3D場(chǎng)景。這種隱式表示提供了顯式表示（如體素、網(wǎng)格和點(diǎn)云）沒有的優(yōu)點(diǎn)：更平滑的幾何體、更少的存儲(chǔ)空間、具有高保真度的新視圖合成等等。因此，隱式表示已用于三維重建、新視圖合成、姿態(tài)估計(jì)、圖像生成等。特別是，神經(jīng)輻射場(chǎng)（NeRF）表明，隱式網(wǎng)絡(luò)，把靜態(tài)場(chǎng)景表示為輸出視角相關(guān)輻射場(chǎng)的隱式5D函數(shù)，可以捕捉精確的幾何關(guān)系，并渲染真實(shí)感圖像。它們使用可微分的體渲染、場(chǎng)景幾何和視圖相關(guān)的輻射，可以通過圖像監(jiān)督編碼到隱式網(wǎng)絡(luò)中。與傳統(tǒng)的顯式3D表示不同，這些組件允許網(wǎng)絡(luò)以可微分的方式捕獲高保真光度特征，例如反射和折射。事實(shí)上，NeRF存在缺點(diǎn)，阻礙了在3D場(chǎng)景和感知的標(biāo)準(zhǔn)數(shù)據(jù)格式廣泛采用隱式表示。首先，訓(xùn)練隱式網(wǎng)絡(luò)很慢，可能需要幾天的時(shí)間。推理（體渲染）也可能需要幾分鐘，限制了NERF實(shí)時(shí)應(yīng)用。第二，場(chǎng)景的幾何和視覺屬性隱式地編碼為神經(jīng)網(wǎng)絡(luò)的權(quán)重。這些事實(shí)阻止了現(xiàn)有的感知流水線去直接處理信息。第三，隱式特征或權(quán)重是場(chǎng)景特定的，不能在場(chǎng)景之間遷移。然而，對(duì)于感知，通道或特征必須具有一致的結(jié)構(gòu)，例如圖像的RGB通道。例如，如果從圖像到圖像通道的順序表現(xiàn)不同，則圖像分類流水線將無法正常工作。最近的研究采用顯式稀疏體素網(wǎng)格幾何和特征基函數(shù)解決了這些限制。首先，為了解決速度慢的問題，使用顯式稀疏體素幾何，跳過空白空間來減少沿射線的采樣數(shù)。其次，直接優(yōu)化分配給顯式幾何結(jié)構(gòu)的特征，而不是使用網(wǎng)絡(luò)權(quán)重的隱式表示，減少了從網(wǎng)絡(luò)中提取特征的時(shí)間。最后，場(chǎng)景之間的一致特征，對(duì)于感知或創(chuàng)建不同目標(biāo)的NeRF格式的場(chǎng)景至關(guān)重要，Plenoxels滿足數(shù)據(jù)表示的所有標(biāo)準(zhǔn)，支持快速學(xué)習(xí)和渲染，同時(shí)保持場(chǎng)景感知和合成的一致特征表示。Plenoxels (plenoptic voxels)，將場(chǎng)景表示為具有球諧（spherical harmonics）函數(shù)的稀疏三維網(wǎng)格。該表示通過梯度方法和正則化從校準(zhǔn)圖像中優(yōu)化，無需任何神經(jīng)組件。Plenoxels的優(yōu)化速度比神經(jīng)輻射場(chǎng)（NeRF）快兩個(gè)數(shù)量級(jí)，而視覺質(zhì)量沒有損失。如圖所示：給定一組目標(biāo)或場(chǎng)景的圖像，重建（a）稀疏體素（“Plenoxel”）網(wǎng)格，每個(gè)體素具有密度和球諧系數(shù)。為了渲染光線，（b）通過相鄰體素系數(shù)的三線性插值計(jì)算每個(gè)采樣點(diǎn)的顏色和模糊度。如同NeRF，用（c）可微分體繪制來整合這些樣本的顏色和模糊度。然后，可以用相對(duì)于訓(xùn)練圖像的標(biāo)準(zhǔn)MSE重建損失以及TV（total variation）正則化來（d）優(yōu)化體素系數(shù)。

這里PeRFception數(shù)據(jù)集以一種緊湊的格式輸送視覺（球諧系數(shù)）和幾何（密度、稀疏體素網(wǎng)格）特征，可以直接應(yīng)用于各種感知任務(wù)，包括2D分類、3D分類和3D分割，如圖所示。

?與傳統(tǒng)的基于MLP的NeRF不同，NeRF使用單個(gè)神經(jīng)網(wǎng)絡(luò)來表示整個(gè)場(chǎng)景，Plenoxels獨(dú)立優(yōu)化每個(gè)非空體素中的球諧系數(shù)，用與NeRF中描述的體渲染相同的可微分模型，如下所示：

Plenoxels在稀疏體素網(wǎng)格中查找存儲(chǔ)的密度和球諧系數(shù)。對(duì)于具有背景的場(chǎng)景，Plenoxels還使用lumisphere背景表示來渲染背景。下表1是PeRFception和目前開源數(shù)據(jù)集的對(duì)比：

下表2是PeRFception和CO3D和ScanNet進(jìn)行對(duì)比：把Plenoxels分別應(yīng)用它們，生成兩個(gè)新數(shù)據(jù)集。

對(duì)于PeRFception-CO3D數(shù)據(jù)生成，用Plenoxels的官方實(shí)現(xiàn)，對(duì)默認(rèn)配置進(jìn)行了輕微修改。將背景亮度層的分辨率從1024降低到512，背景層的數(shù)量從64降低到16。對(duì)于更清晰的表面，將lambda稀疏度值設(shè)置為10^?10，比默認(rèn)配置大10倍。以1283分辨率初始化一個(gè)體素網(wǎng)格，并訓(xùn)練25600次迭代。然后，將其上采樣一次至256^3分辨率，并為進(jìn)一步的51200次迭代進(jìn)行訓(xùn)練。在保存數(shù)據(jù)之前，將訓(xùn)練參數(shù)量化為無符號(hào)8比特，最小化存儲(chǔ)（密度值除外）。對(duì)于每個(gè)場(chǎng)景，首先過濾掉有缺陷的圖像，并將10%的圖像均勻采樣作為測(cè)試集，評(píng)估渲染質(zhì)量。對(duì)于PeRFception-SCANNet數(shù)據(jù)生成，ScanNet相當(dāng)數(shù)量的幀包含運(yùn)動(dòng)模糊，這可能導(dǎo)致較差的場(chǎng)景幾何。在實(shí)踐中，在訓(xùn)練之前生成射線批處理，并將其加載到CPU內(nèi)存中，以便在訓(xùn)練期間有效利用內(nèi)存帶寬。由于ScanNet中每個(gè)場(chǎng)景的幀數(shù)不同，最多使用均勻采樣的1500個(gè)圖像幀。對(duì)于少于1500幅圖像的場(chǎng)景，濾除具有Laplacian低方差的模糊圖像。ScanNet的另一個(gè)特點(diǎn)是，圖像是從里向外的房間內(nèi)捕獲的。這樣觀察空間同一部分的圖像較少，從而導(dǎo)致在ScanNet數(shù)據(jù)集上重建Plenoxel幾何結(jié)構(gòu)的效果不佳。具體而言，Plenoxel重建會(huì)人為地在空白空間中創(chuàng)建過多體素（即漂浮物），最小化圖像重建損失。相反，為了在Plenoxel訓(xùn)練之前提供額外的幾何先驗(yàn)知識(shí)，用ScanNet中提供的反投影深度圖初始化體素網(wǎng)格，而不是從密集體素網(wǎng)格開始。然而，由于所提供的ScanNet深度圖受到噪聲觀測(cè)的污染，結(jié)合CCA（connected component analysis）來過濾反投影點(diǎn)云中的分離出格點(diǎn)。這帶來穩(wěn)定和更精確的重建，并且不會(huì)過度生成漂浮物最小化渲染損失。產(chǎn)生的PeRFception-ScanNet數(shù)據(jù)集僅占用35GB的磁盤空間，而ScanNet的原始視頻流需要大約966GB的磁盤。這是一個(gè)顯著的壓縮率（96.4%），強(qiáng)調(diào)了其作為數(shù)據(jù)集表示的可訪問性。下表3是生成數(shù)據(jù)集PeRFception的渲染質(zhì)量：