自動(dòng)駕駛領(lǐng)域中開(kāi)源的4D Radar數(shù)據(jù)分析

4D Radar在自動(dòng)駕駛領(lǐng)域中越來(lái)越受關(guān)注，在價(jià)格和功能上都有比較大的競(jìng)爭(zhēng)力，相關(guān)研究也逐漸open，今天為大家盤點(diǎn)下開(kāi)源的4D Radar數(shù)據(jù)，為相關(guān)科學(xué)研究提供保障！

1Astyx

Astyx數(shù)據(jù)集是第一個(gè)公開(kāi)的包含4D雷達(dá)點(diǎn)云的數(shù)據(jù)集，提出了一個(gè)基于雷達(dá)、激光雷達(dá)和攝像機(jī)數(shù)據(jù)的以雷達(dá)為中心的汽車數(shù)據(jù)集，用于3D物體檢測(cè)。主要重點(diǎn)是向研究界提供高分辨率雷達(dá)數(shù)據(jù)，刺激使用雷達(dá)傳感器數(shù)據(jù)的算法研究。為此，提供了用于物體檢測(cè)的半自動(dòng)生成和手動(dòng)重新定義的3D地面真實(shí)數(shù)據(jù)。論文描述了生成此類數(shù)據(jù)集的完整過(guò)程，重點(diǎn)介紹了相應(yīng)高分辨率雷達(dá)的一些主要功能，并通過(guò)在此數(shù)據(jù)集上顯示基于深度學(xué)習(xí)的3D對(duì)象檢測(cè)算法的結(jié)果，展示了其在3-5級(jí)自動(dòng)駕駛應(yīng)用中的使用。

由于手動(dòng)標(biāo)記是一項(xiàng)非常繁瑣、緩慢和昂貴的任務(wù)，無(wú)法擴(kuò)展到更大的數(shù)據(jù)集，因此自動(dòng)預(yù)標(biāo)記和手動(dòng)重新定義是非常必要的。對(duì)于此任務(wù)，本文使用[16]的工作，基于深度學(xué)習(xí)的3D目標(biāo)檢測(cè)，并對(duì)低級(jí)傳感器數(shù)據(jù)執(zhí)行多傳感器融合。為了盡量減少需要手動(dòng)重新定義的標(biāo)簽數(shù)量，將此3D目標(biāo)檢測(cè)網(wǎng)絡(luò)嵌入到基于不確定性采樣的主動(dòng)學(xué)習(xí)方法中，使用估計(jì)分?jǐn)?shù)作為近似值（見(jiàn)圖3）。為此，從網(wǎng)絡(luò)最不確定其決策的自動(dòng)預(yù)標(biāo)記數(shù)據(jù)N幀中提取數(shù)據(jù)，通過(guò)手動(dòng)微調(diào)進(jìn)行校正，從而在下一輪訓(xùn)練和預(yù)標(biāo)記中最大化網(wǎng)絡(luò)的信息增益。

現(xiàn)階段免費(fèi)提供的最終數(shù)據(jù)集由500個(gè)同步幀（雷達(dá)、激光雷達(dá)、相機(jī)）組成，其中包含大約3000個(gè)非常精確標(biāo)記的3D對(duì)象注釋。盡管大多數(shù)對(duì)象都屬于“汽車”類，但論文也提供了總共7類（公共汽車、汽車、自行車、摩托車、人、拖車、卡車）的少量真實(shí)數(shù)據(jù)。

gt數(shù)據(jù)注釋包含每個(gè)對(duì)象的以下屬性：

?3D位置（x、y、z）

?3D旋轉(zhuǎn)（rx、y、rz）

?3D尺寸（w、l、h）

?類信息

?不確定性（位置、尺寸）

數(shù)據(jù)格式都是非專有的標(biāo)準(zhǔn)圖像和點(diǎn)云格式，3D目標(biāo)檢測(cè)gt采用文本格式。如[7]所示，本文沒(méi)有為目標(biāo)檢測(cè)算法的標(biāo)準(zhǔn)化評(píng)估和排序提供正式的基準(zhǔn)測(cè)試套件，因?yàn)檫@將要求保留測(cè)試數(shù)據(jù)，以避免對(duì)評(píng)估測(cè)試集進(jìn)行過(guò)度設(shè)置。這帶來(lái)了一個(gè)有趣的問(wèn)題，因?yàn)樽髡咭苍谘芯亢烷_(kāi)發(fā)基于這些數(shù)據(jù)的目標(biāo)檢測(cè)算法，這將是唯一能夠完全控制gt真實(shí)數(shù)據(jù)的算法。圖4顯示了激光雷達(dá)和雷達(dá)傳感器的點(diǎn)云密度分布，圖5顯示了不同類別的地面實(shí)況對(duì)象分布。在圖7中展示了地面實(shí)況數(shù)據(jù)中汽車的示例性定向和空間分布。

2RADIal

雷達(dá)傳感器憑借其對(duì)惡劣天氣條件的魯棒性和測(cè)量速度的能力，20多年來(lái)一直是汽車領(lǐng)域的一部分。汽車?yán)走_(dá)自90年代后期開(kāi)始生產(chǎn)。它們是自適應(yīng)巡航控制、盲點(diǎn)檢測(cè)和自動(dòng)緊急制動(dòng)功能的首選、最便宜的傳感器。然而，它們的角度分辨率較差，這阻礙了它們?cè)谧詣?dòng)駕駛系統(tǒng)中的應(yīng)用。事實(shí)上，此類系統(tǒng)需要高水平的安全性和魯棒性，通常通過(guò)冗余機(jī)制實(shí)現(xiàn)。雖然通過(guò)融合多個(gè)模態(tài)改善了感測(cè)，但只有當(dāng)每個(gè)傳感器都達(dá)到足夠和可比的性能時(shí)，整體組合才有效。高清晰度（HD）成像雷達(dá)已經(jīng)出現(xiàn)以滿足這些要求。通過(guò)使用密集的虛擬天線陣列，這些新傳感器在方位角和仰角（分別為水平和垂直角位置）上實(shí)現(xiàn)了高角度分辨率，并產(chǎn)生了更密集的點(diǎn)云。最近在高清晰度（HD）成像雷達(dá)方面取得的進(jìn)展已將角度分辨率降低到度以下，從而接近激光掃描性能。然而，高清雷達(dá)提供的數(shù)據(jù)量和估計(jì)角位置的計(jì)算成本仍然是一個(gè)挑戰(zhàn)。本文提出了一種新的高清雷達(dá)感測(cè)模型FFT-RadNet，它消除了計(jì)算距離-方位-多普勒3D張量的開(kāi)銷，學(xué)習(xí)從距離-多普勒頻譜恢復(fù)角度。FFTRadNet被訓(xùn)練來(lái)檢測(cè)車輛和分割自由駕駛空間。在這兩項(xiàng)任務(wù)上，它都與最新的基于雷達(dá)的模型競(jìng)爭(zhēng)，同時(shí)需要更少的計(jì)算和內(nèi)存。此外還收集并注釋了來(lái)自同步汽車級(jí)傳感器的2小時(shí)原始數(shù)據(jù)（相機(jī)、激光、高清雷達(dá)）在各種環(huán)境（城市街道、高速公路、鄉(xiāng)村道路）中的應(yīng)用。這個(gè)獨(dú)特的數(shù)據(jù)集稱之為RADIal，意為“雷達(dá)、激光雷達(dá)等”。

RADIal包括一套3個(gè)傳感器（相機(jī)、激光掃描儀、高清雷達(dá)），并配有GPS和車輛的CAN軌跡，以原始格式記錄25k個(gè)同步樣本。（a） camera圖像，投影激光點(diǎn)云為紅色，雷達(dá)點(diǎn)云為靛藍(lán)，車輛標(biāo)注為橙色，自由駕駛空間注釋為綠色；（b）帶有邊界框注釋的雷達(dá)功率譜；（c）鳥瞰圖中的自由駕駛空間標(biāo)注，車輛標(biāo)注橙色邊界框，雷達(dá)點(diǎn)云標(biāo)注靛藍(lán)，激光點(diǎn)云標(biāo)注紅色；（d）與雷達(dá)點(diǎn)云和激光點(diǎn)云疊加的笛卡爾坐標(biāo)中的距離方位圖；（e） GPS軌跡為紅色，里程軌跡重建為綠色；

如下表所示，除相機(jī)外，所有傳感器均為汽車級(jí)合格傳感器。除此之外，還提供了GPS位置和車輛的完整CAN總線（包括里程表）。傳感器信號(hào)以原始格式同時(shí)記錄，無(wú)需任何信號(hào)預(yù)處理。對(duì)于高清雷達(dá)，原始信號(hào)是ADC。根據(jù)ADC數(shù)據(jù)，可以生成所有常規(guī)雷達(dá)表示：距離方位-多普勒張量、距離方位和距離多普勒視圖或點(diǎn)云。RADIal包含約1-4分鐘的91個(gè)序列，共2小時(shí)。這總計(jì)約為25k個(gè)同步幀，其中8252個(gè)標(biāo)有9550輛車輛（詳見(jiàn)附錄A）。車輛注釋由圖像平面中的2D框以及到傳感器的真實(shí)距離和多普勒值（相對(duì)徑向速度）組成。雷達(dá)信號(hào)的注釋很難實(shí)現(xiàn)，因?yàn)镽D頻譜表示對(duì)人眼沒(méi)有意義。

3K-Radar

不同于使用可見(jiàn)光帶（384～769太赫茲）和使用紅外波段的激光雷達(dá)（361～331太赫茲），雷達(dá)使用相對(duì)較長(zhǎng)波長(zhǎng)的無(wú)線電頻帶（77～81GHz），導(dǎo)致在不利天氣下的穩(wěn)健測(cè)量。然而，與現(xiàn)有的相機(jī)和激光雷達(dá)數(shù)據(jù)集相比，現(xiàn)有的雷達(dá)數(shù)據(jù)集只包含相對(duì)較少的樣本。這可能會(huì)阻礙基于雷達(dá)感知的復(fù)雜數(shù)據(jù)驅(qū)動(dòng)深度學(xué)習(xí)技術(shù)的發(fā)展。此外，大多數(shù)現(xiàn)有雷達(dá)數(shù)據(jù)集僅提供3D雷達(dá)張量（3DRT）數(shù)據(jù)，該數(shù)據(jù)包含沿多普勒、距離和方位維度的功率測(cè)量。由于沒(méi)有高程信息，因此從3DRT估計(jì)對(duì)象的3D邊界框是一項(xiàng)挑戰(zhàn)。本文介紹了KAIST雷達(dá)（K-Radar），這是一個(gè)新的大規(guī)模目標(biāo)檢測(cè)數(shù)據(jù)集和基準(zhǔn)，它包含35K幀的4D雷達(dá)張量（4DRT）數(shù)據(jù)，以及沿多普勒、距離、方位和海拔維度的功率測(cè)量，以及仔細(xì)標(biāo)注的道路上目標(biāo)的3D邊界框標(biāo)簽。

K-Radar包括各種道路結(jié)構(gòu)（城市、郊區(qū)道路、小巷和高速公路）上的惡劣天氣（霧、雨和雪）等具有挑戰(zhàn)性的駕駛條件。除了4DRT之外，還提供經(jīng)過(guò)仔細(xì)校準(zhǔn)的高分辨率激光雷達(dá)、stereo相機(jī)和RTK-GPS的輔助測(cè)量。論文還提供了基于4DRT的目標(biāo)檢測(cè)基線神經(jīng)網(wǎng)絡(luò)（基線NN），并表明高度信息對(duì)于3D目標(biāo)檢測(cè)至關(guān)重要。通過(guò)將基線神經(jīng)網(wǎng)絡(luò)與基于激光雷達(dá)的類似結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)進(jìn)行比較，證明了4D雷達(dá)對(duì)于惡劣天氣條件是一種更為魯棒的傳感器。

惡劣天氣條件下的大部分畫面是在韓國(guó)的江原道收集的，該省是全國(guó)年降雪量最高的省份。另一方面，帶有城市環(huán)境的框架大多在韓國(guó)的大田收集。數(shù)據(jù)收集過(guò)程產(chǎn)生35K幀的多模態(tài)傳感器測(cè)量值，構(gòu)成K-Radar數(shù)據(jù)集。根據(jù)附錄C中列出的標(biāo)準(zhǔn)將收集的數(shù)據(jù)分為幾個(gè)類別。此外，本文將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，使每個(gè)條件以平衡的方式出現(xiàn)在兩個(gè)集中，如圖4所示，在距離自車輛120米的縱向半徑和80米的橫向半徑范圍內(nèi)，道路上的物體（即轎車、公共汽車或卡車、行人、自行車和摩托車）有93.3K的3D邊界框標(biāo)簽。請(qǐng)注意，只注釋出現(xiàn)在正縱軸上的對(duì)象，即自我載體前面的對(duì)象。

圖5展示了K-Radar數(shù)據(jù)集中的目標(biāo)類別分布和距電子飛行器的目標(biāo)距離，K-Radar可用于評(píng)估不同距離物體的3D目標(biāo)檢測(cè)網(wǎng)絡(luò)的性能。

詳細(xì)的數(shù)據(jù)集信息：

4TJ4DRadSet

下一代高分辨率汽車?yán)走_(dá)（4D雷達(dá)）可以提供額外的高程測(cè)量和更密集的點(diǎn)云，這在自動(dòng)駕駛中具有巨大的3D感測(cè)潛力。本文介紹了一個(gè)名為TJ4DRadSet的數(shù)據(jù)集，該數(shù)據(jù)集包含用于自動(dòng)駕駛研究的4D雷達(dá)點(diǎn)。數(shù)據(jù)集是在不同的駕駛場(chǎng)景中收集的，總共有7757個(gè)同步幀，共有44個(gè)連續(xù)序列，并用3D邊界框和軌跡ID進(jìn)行了很好的注釋。我們?yōu)閿?shù)據(jù)集提供基于4D雷達(dá)的3D物體檢測(cè)基線，演示了深度學(xué)習(xí)方法對(duì)4D雷達(dá)點(diǎn)云的有效性。

對(duì)于自動(dòng)駕駛車輛來(lái)說(shuō)，高可靠性、低成本、高分辨率的感知模塊是必不可少的。目前，感知模塊主要使用相機(jī)、激光雷達(dá)和汽車?yán)走_(dá)等傳感器獲取不同模式的環(huán)境信息。不可否認(rèn)，相機(jī)和激光雷達(dá)易受惡劣條件的影響，如雨、霧和強(qiáng)光，其性能將隨著逆境的增加而顯著下降。相比之下，汽車?yán)走_(dá)是必不可少的，因?yàn)樗哂袕?qiáng)大的魯棒性和成本效益。由于方位分辨率低，傳統(tǒng)的汽車?yán)走_(dá)僅用于盲點(diǎn)檢測(cè)、碰撞警告和其他駕駛輔助應(yīng)用。新一代4D雷達(dá)的出現(xiàn)彌補(bǔ)了傳統(tǒng)汽車?yán)走_(dá)的低清晰度，并提供了高度測(cè)量，非常適合于高級(jí)自動(dòng)駕駛應(yīng)用。4D雷達(dá)的四個(gè)維度是距離、方位、高度和多普勒速度。它還提供了一些其他低級(jí)特征，如雷達(dá)截面（RCS）或信噪比（SNR）。

TJ4DRadSet的數(shù)據(jù)集是一個(gè)自動(dòng)駕駛數(shù)據(jù)集，包含連續(xù)序列的4D雷達(dá)點(diǎn)云，并帶有3D注釋，它還提供了激光雷達(dá)、相機(jī)和GNSS的多模態(tài)完整信息。TJ4DRadSet包含40K幀的同步數(shù)據(jù)，其中7757幀，44個(gè)帶有高質(zhì)量注釋3D邊界框和軌跡的序列ID。3D注釋系統(tǒng)使用聯(lián)合多傳感器注釋和多輪手動(dòng)檢查。TJ4DRadSet涵蓋各種道路條件，如高架道路、復(fù)雜交叉口、單向道路和城市道路。它還包括惡劣的照明條件，如強(qiáng)光和黑暗。該數(shù)據(jù)集適合于開(kāi)發(fā)基于4D雷達(dá)的3D感知算法，以促進(jìn)其在高級(jí)自主駕駛中的應(yīng)用。