基于點云的3D障礙物檢測

主要有以下步驟：

點云數據的處理

基于點云的障礙物分割

障礙物邊框構建

點云到圖像平面的投影

點云數據的處理

KITTI數據集

KITTI數據集有四個相機，主要使用第三個相機(序號為02)拍攝的圖片、標定參數和標簽文件。

點云數據一般表示為N行，至少三列的numpy數組。每行對應一個單獨的點，所以使用至少3個值的空間位置點(X, Y, Z)來表示。

在KITTI數據中有一個附加值“反射率”，這是衡量激光光束在那個位置被反射回來了多少。所以在KITTI數據中，其點云數據就是N*4的矩陣。

三維點云的可視化

在MATLAB中可視化三維點云，如下圖。

額外的工作：三維點云的可視化，可使用python中的mayavi來實現，它是一個專門畫3D圖的python工具。另外，在有的論文中常常用到點云的鳥瞰圖和前視圖(包含360度的全景柱面圖)。

高精地圖

ROI指定從高精地圖檢索到包含路面、路口的可駕駛區域。以下點云數據處理在高精地圖的基礎上進行點云處理，默認去除路邊建筑物和樹木等背景對象。

額外的工作：百度Apollo使用了高精地圖ROI過濾器建立了網格，對網格中的點云數據特征進行CNN學習來實現障礙物分割聚類，之后使用了MinBox構建障礙物邊框。

去除地平面

找到地面平面并移除地面平面點，使用RANSAC(隨機采樣一致)算法檢測和匹配地面平面，最后結果如下圖。

基于點云的障礙物分割

對點云數據進行預處理后，只留下路面上障礙物的點云，其余的背景障礙物以及地面已被移除。障礙物分割主要檢測和劃分單獨的障礙物，將單獨的車輛、行人等障礙物分割出來。

由于只是在二維圖像中畫出3D目標框，所以保留車輛前面的點(取x>5)。在剩下的點云中使用柵格法構建俯視圖(即投影到x-y平面)2D網格，網格大小由點云的大小來決定。

通過建立網格，可以得到以下統計量：

網格中的點云個數

網格中的點云的最大、最小和平均高度

網格中的點云序號

基于以上統計量，尋找每個格子附近(3*9)領域的連通區域，每個連通區域為一個障礙物，達到了分割障礙物的目的。

額外的工作：使用KITTI的標簽label文件來得到二維圖像上的障礙物邊界框，在此邊界框中進行聚類分割前景障礙物和背景。

障礙物邊框構建

從以上得到每個障礙物點云后，就需要畫出每個障礙物的邊界框。在這里使用最小凸包法求出包圍點云的最小面積多邊形邊界框，如下圖。

基于最小凸包法得到障礙物周圍的點，在這些點的基礎上求出包圍最小面積的矩形，如下圖。

可以看到黃色部分的點云求最小面積矩形邊界框，會因為點云的稀疏，使得邊界框不精確。

額外的工作：根據點云的x, y坐標找到x, y的最大值和最小值的點(共有4個點)，根據這4個點畫出矩形框。很顯然，這樣做是不行的，但是如果知道車輛的朝向，以朝向為軸找到距離軸最大最小的點，此方法畫出的邊界框更加精確。

點云到圖像平面的投影

點云到圖像平面的投影需要讀取標定參數文件，得到三個參數(相機的內參矩陣、基于相機0的旋轉矩陣、外參矩陣)，三個參數的乘積也就是點云到圖像的投影矩陣，結果如下圖。