三維計算視覺研究內容包括：

1）三維匹配：兩幀或者多幀點云數據之間的匹配，因為激光掃描光束受物體遮擋的原因，不可能通過一次掃描完成對整個物體的三維點云的獲取。因此需要從不同的位置和角度對物體進行掃描。三維匹配的目的就是把相鄰掃描的點云數據拼接在一起。三維匹配重點關注匹配算法，常用的算法有最近點迭代算法 ICP和各種全局匹配算法。

2）多視圖三維重建：計算機視覺中多視圖一般利用圖像信息，考慮多視幾何的一些約束，射影幾何和多視圖幾何是視覺方法的基礎，在攝影測量中類似的存在共線方程。光束平差法是該類研究的核心技術。這里也將點云的多視匹配放在這里，比如人體的三維重建，點云的多視重建不再是簡單的逐幀的匹配，還需要考慮不同角度觀測產生誤差累積，因此存在一個針對三維模型進行優化或者平差的過程在里面。多視圖三維重建這里指的只是靜態建模，輸入是一系列的圖像或者點云集合。可以只使用圖像，或者只使用點云，也可以兩者結合（深度圖像）實現，重建的結果通常是Mesh網格。

SFM（運動恢復結構） vs Visual SLAM[摘抄] SFM 和 Visual SLAM

Multi-View Stereo （MVS）多視圖立體視覺，研究圖像一致性，實現稠密重建。

3）3D SLAM

按照傳感器類型分類：可以分為基于激光的SLAM和基于視覺的SLAM。

基于激光的SLAM可以通過點云匹配（最近點迭代算法 ICP、正態分布變換方法 NDT）+位姿圖優化（g2o、LUM、ELCH、Toro、SPA）來實現；實時激光3D SLAM算法 （LOAM，Blam，CartoGrapher等）；Kalman濾波方法。通常激光3D SLAM側重于定位，在高精度定位的基礎上可以產生3D點云，或者Octree Map。

基于視覺（單目、雙目、魚眼相機、深度相機）的SLAM，根據側重點的不同，有的側重于定位，有的側重于表面三維重建。不過都強調系統的實時性。

（1）側重于定位的VSLAM系統比如orbSLAM，lsdSLAM；VINS是IMU與視覺融合的不錯的開源項目。

（2）側重于表面三維重建SLAM強調構建的表面最優，或者說表面模型最優，通常包含Fusion融合過程在里面。通常SLAM是通過觀測形成閉環進行整體平差實現，優先保證位姿的精確；而VSLAM通過Fusion過程同時實現了對構建的表面模型的整體優化，保證表面模型最優。最典型的例子是KinectFusion，Kinfu，BundleFusion，RatMap等等。

（4）目標檢測與識別：無人駕駛汽車中基于激光數據檢測場景中的行人、汽車、自行車、道路（車道線，道路標線，路邊線）以及道路設施（路燈）和道路附屬設施（行道樹等）。這部分工作也是高精度電子地圖的主要內容。當然高精度電子地圖需要考慮的內容更多。同時室內場景的目標識別的研究內容也很豐富，比如管線設施，消防設施等。

（5）形狀檢測與分類：點云技術在逆向工程中有很普遍的應用。構建大量的幾何模型之后，如何有效的管理，檢索是一個很困難的問題。需要對點云（Mesh）模型進行特征描述，分類。根據模型的特征信息進行模型的檢索。同時包括如何從場景中檢索某類特定的物體，這類方法關注的重點是模型。

（6）語義分類：獲取場景點云之后，如何有效的利用點云信息，如何理解點云場景的內容，進行點云的分類很有必要，需要為每個點云進行Labeling。可以分為基于點的分類方法和基于分割的分類方法。從方法上可以分為基于監督分類的技術或者非監督分類技術，深度學習也是一個很有希望應用的技術。最近深度學習進行點云場景理解的工作多起來了，比如PointNet，各種八叉樹的Net。

（7）雙目立體視覺與立體匹配ZNCC：立體視覺（也稱雙目視覺）主要研究的兩個相機的成像幾何問題，研究內容主要包括：立體標定（Stereo Calibration）、立體校正（Stereo Rectification）和立體匹配（Stereo Matching）。目前，立體標定主要研究的已經比較完善，而立體匹配是立體視覺最核心的研究問題。按照匹配點數目分類，立體匹配可分為稀疏立體匹配（sparse stereo matching）和密集立體匹配（dense stereo matching）。稀疏立體匹配由于匹配點數量稀少，一般很難達到高精度移動測量和環境感知的要求。因此，密集立體匹配是學術界和工業界的主要研究和應用方向。

（8）自動造型（構型），快速造型（構型）技術。對模型進行凸分割，模型剖分，以實現模型進一步的編輯修改，派生出其他的模型。

（9）攝像測量技術，視頻測量

1、點云濾波方法（數據預處理）：

雙邊濾波、高斯濾波、條件濾波、直通濾波、隨機采樣一致性濾波。

VoxelGrid

2、關鍵點

ISS3D、Harris3D、NARF，

SIFT3D、均勻采樣，曲率方法采樣

3、特征和特征描述

法線和曲率計算NormalEstimation、特征值分析Eigen-Analysis、EGI

PFH、FPFH、3D Shape Context、Spin Image

4、點云匹配

ICP、穩健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP

NDT 3D、Multil-Layer NDT

FPCS、KFPCS、SAC-IA

Line Segment Matching、ICL

5、點云分割與語義分類

分割：區域生長、八叉樹區域生長、Ransac線面提取、NDT-RANSAC、全局優化平面提取

K-Means、Normalize Cut（Context based）

3D Hough Transform(線、面提取)、連通分析、

分類：基于點的分類，基于分割的分類；監督分類與非監督分類

目前基于深度學習的點云語義分類比較熱：PointNet，OctNet之類的吧，需要多加關注。

6、SLAM圖優化

Ceres（Google的最小二乘優化庫，很強大），g2o、LUM、ELCH、Toro、SPA

SLAM方法：ICP、MBICP、IDC、likehood Field、CrossCorrelation、NDT

7、目標識別、檢索

Hausdorff距離計算（人臉識別），Graph Matching

8、變化檢測

基于八叉樹的變化檢測

9. 三維重建

泊松重建、Delaunay triangulations

表面重建，人體重建，建筑物重建，樹木重建。

結構化重建：不是簡單的構建一個Mesh網格，而是為場景進行分割，為場景結構賦予語義信息。場景結構有層次之分，在幾何層次就是點線面等幾何圖元。

實時重建：重建植被或者農作物的4D（3D+時間）生長態勢；人體姿勢識別；表情識別；

10.點云數據管理

點云壓縮，點云索引（KD、Octree），點云LOD（金字塔），海量點云的渲染

責任編輯：xj

原文標題：三維點云數據處理學習內容總結

文章出處：【微信公眾號：新機器視覺】歡迎添加關注！文章轉載請注明出處。