綠色立體盒是對地面真實汽車的探測。黃色為激光雷達顯示點云。粉色點云由獨立訓練的深度估算器生成，位于綠盒之外，因此非常不準確。通過端到端的深度估算和三維目標物體檢測，得到了更準確的藍色點云。（圖片來源：論文《用于基于圖像的3D目標物體檢測的端到端“虛擬激光雷達”》）

據麥姆斯咨詢報道，特斯拉創始人埃隆·馬斯克（Elon Musk）反對自動駕駛車輛采用激光雷達（LiDAR）的態度眾所周知，他認為依賴激光雷達就像行走依賴拐杖一樣，因此他從未打算在特斯拉中使用激光雷達。然而目前這個觀點仍具有爭議性，未來表現如何還有待歷史來評判。

特斯拉現在推崇一種稱為“虛擬激光雷達”或“偽激光雷達”（pseudo-LiDAR）的技術。該技術涉及到構建工具來進行攝像頭圖像采集（三維立體或二維）并計算出圖像中每個像素的距離信息。激光雷達則是通過計算光脈沖抵達目標物體并返回所需的時間來確定與每個像素之間的距離。

在今年2月份的Scaled Machine Learning大會上，特斯拉就分享了如何僅用幾個攝像頭獲得傳統激光雷達精度的技術。通過將視覺傳感器（攝像頭）收到的視覺信息進行3D渲染、用人工智能（AI）軟件將車道線、交通、行人等信息與進行匹配，最終使車輛作出決策。目前，特斯拉將計算機視覺提升到了前所未有的水平，不僅能夠分析圖像，而且還能夠分析圖像中的單個像素。隨著時間推移，這樣做也許能夠復制傳統激光雷達的大部分功能，這意味著可以利用已經為激光雷達處理開發的所有軟件解決方案，或將進一步提高特斯拉在3D物體探測方面的技術水平。

另一方面，人類可以通過大腦來估算距離。我們知道目標物體有多大，知道它們是如何移動的，因此我們知道距離它們有多遠。同時，人類還擁有一些“天賦”，如人眼的立體視覺特性，但只適用于中等距離。還有一個天賦是“運動視差”，視線在視野中橫向移動時見到的物體的運動方向和速度具有差異性，這也為我們提供了判斷遠近的信息。

這么看來，人的大腦就可以完全勝任這項任務了，事實上，開車時閉上一只眼睛也能夠估算距離。目前，人們正在嘗試通過神經網絡來構建機器學習技術，從而判斷與圖像之間的距離。這就是“虛擬激光雷達”技術。

最早提出“虛擬激光雷達”概念的，要追溯到2018年一篇來自康奈爾大學的技術論文，該論文提出了一種新方法來縮短純視覺技術架構與激光雷達間的性能差距。

該論文通過改變立體攝像頭目標檢測系統的3D信息呈現形式，將基于圖像的立體視覺數據轉換為類似激光雷達生成的3D點云，通過數據轉換切換成最終的視圖格式。

在那之后的兩年，康奈爾大學等又陸續發表了基于該方法的視覺深度估計、目標識別、3D Packing等論文。有研究者發現，采用其新方法之后，該攝像頭在目標物體檢測方面的性能已接近激光雷達。以鳥瞰圖來分析攝像頭捕捉到的圖像，可以將目標檢測準確率提升2倍，從而使立體攝像頭成為激光雷達的可行替代方案，且其成本要低很多。

訓練“虛擬激光雷達”并不是非常困難的，但通常，訓練需要提供足夠多的標記圖像。一輛測試車上可能裝有昂貴的激光雷達，因此可以開車四處獲取與激光雷達“地面真實”距離數據相結合的訓練數據。通過激光雷達計算出的真實距離來顯示神經網絡中的大量圖像，這樣它就能很好地自行計算出距離。這種技術是“無監督學習”的變體，因為不需要提前對數據進行人工標記，比監督學習成本低很多，因此，如果神經網絡發展得好，那就應該是這樣的。同時，還可以訓練模擬器數據來改善模型。

另一種有效的訓練方法是依賴于現實世界中以可預測的方式改變距離的物體。例如，當你看到物體沿著物理學允許的路徑移動時，你的估算很可能是正確的。但是，如果你看到物體以不可能的運動方式在某個空間移動，你就知道那是錯誤的。

神經網絡的問題在于傾向于看單幀圖像，而不是像人類那樣看運動圖像。實際上，單看靜止圖像，人類會出現較多錯誤。相信隨著時間的推移，機器學習技術會克服這一點。問題是，我們必須獲得高可靠性才能脫穎而出。同時還需要具有對從未見過的事物進行處理的能力，而這個能力對于神經網絡技術來說將是巨大的挑戰。例如，你在開車，前方道路上有一物體，你需要盡可能快速并準確地知道它離你有多遠。如果該物體是汽車，你已知汽車的大小，所以能很快判斷它的距離。同理，一輛汽車如果發生側翻，但是訓練數據庫可能從未遇到過此類事件。對于某一隨機物體，你想知道是遠處的大型物體的還是附近的小型物體？唯一的方法就是看它與道路幾何形狀的關系。這個情況更復雜。

如果可以解決以上問題，那么他們一定擁有一款可以捕獲攝像頭圖像，并且也能夠生成激光雷達生成的“3D點云”的工具，而且由于攝像頭價格便宜，因此它的成本要低得多。同時，在遠距離范圍內，該工具也能夠做到這一點。通常激光雷達的探測距離只有約120 m，好一點的大概能到240 m。眾所周知，人類肉眼看到的距離能夠達到1600 m。

然而諷刺的是，致力于激光雷達技術的開發人員已經建立了依賴于這些點云的系統，并花費了大量時間對其進行完善。如果“虛擬激光雷達”系統可用于生成高質量點云，則人們可以立即使用它。那些一直希望使用“虛擬激光雷達”技術的人在使用這種形式的數據方面沒有類似的經驗。相反，他們還計劃將視覺系統的其它元素（將圖像分為不同的對象，并對它們進行分類）與距離估算結合在一起。但是目前來說，他們可能還沒有足夠的能力來實現他們期待的突破。

另一方面，使用激光雷達的公司會說“太好了，終于可以用便宜的技術代替昂貴的激光雷達了。”但是，如果是熱衷于激光雷達的廠商（如福特、Cruise、Waymo和Aurora），他們可能會覺得浪費了一大筆錢。

很明顯的一點是，你需要了解到道路上所有物體的距離，并且必須正確且快速地完成距離估算。新聞已多次報道特斯拉自動駕駛汽車撞向卡車、防護欄以及前方車道上的熄火車輛，因為這些車輛被一輛突然駛離的汽車擋住了。當道路上的障礙物突然被車上的傳感器感應到時，你需要知道它距離你有多遠，并且數據具有高可靠性，這樣你就可以啟動緊急制動。激光雷達幾乎都是這樣運行的，但計算機視覺卻不行。“虛擬激光雷達”技術是解決該問題的關鍵。但目前，大多數公司還是計劃使用激光雷達來解決此問題，他們知道激光雷達是有效的，而且他們希望看到它變得越來越便宜。

當然，如果特斯拉可以內部解決此問題，就不會與其他人分享了（盡管公開演示可能會引發其他公司開發同樣的技術）。目前特斯拉的感知研發團隊也在嘗試開發一種工具使距離估算與圖像分類進行匹配，而不是生成激光雷達樣式的點云。這項技術并不是“虛擬激光雷達”，但如果可靠性高，將同樣有效。