[首發于智駕最前沿微信公眾號]相信很多人小時候看動畫片的時候,一定看到過這么一個畫面,動畫片中的主角會在墻壁上畫出極其逼真的隧道,從而誤導對手撞向墻壁。就在去年,前美國國家航空航天局工程師馬克·羅伯就利用類似的手段,在泡沫塑料墻上繪制了一幅三維道路畫作,結果成功騙過了一輛處于自動輔助駕駛狀態的特斯拉(開啟Autopilot功能)。實驗中,特斯拉在時速四十英里的情況下,完全沒有做出制動動作,直接穿透了這堵假墻,而另一輛配備了激光雷達的車輛就穩穩地停在了障礙物前。這一現象引發了公眾對純視覺技術安全性的強烈質疑,也讓人們開始重新審視純視覺方案在面對極端光學幻覺時的識別能力。
從技術發展的眼光來看,早期的純視覺系統之所以無法識別這類場景,核心原因在于當時的神經網絡算法在處理三維空間時更像是在“看照片”而不是“感知世界”。攝像頭捕獲的是光子并將其轉化為二維的像素矩陣,深度信息在這一過程中其實是丟失的。傳統的視覺算法通過識別物體的特征紋理、邊緣輪廓以及透視關系來反推距離,逼真的三維畫作恰恰是利用了這些視覺線索來偽造深度。但隨著算法架構從基于規則的模塊化設計演進到現在的端到端神經網絡,以及硬件系統的提升,視覺感知系統對真實三維空間的理解已經發生了質的變化。

空間建模邏輯的重構與占用網絡的革新
視覺感知系統想理解三維畫作,首先需要解決如何從二維圖像中重建三維幾何信息的問題。在自動駕駛發展的很長一段時間里,大多數車輛運行的系統主要依賴于目標檢測技術。這意味著神經網絡會嘗試在圖像中尋找符合“車道線”、“車輛”或“行人”特征的像素塊,并為其框定一個三維邊界。當畫作成功模擬了車道延伸的質感和遠方的地平線時,由于系統在庫中找不到匹配的“障礙物”模型,檢測器會將這些像素識別為可行駛區域。
但隨著占用網絡的使用,純視覺自動駕駛的障礙物檢測能力得到了飛速提升。這一技術不再只是關注特定的物體分類,而是將車輛周圍的空間整體切分為成千上萬個微小的立方體單元,即體素。占用網絡的任務是預測每一個體素單元在三維空間中是被物體占據了,還是處于空閑狀態。在最新的技術專利中,特斯拉更進一步地引入了高保真占用確定技術,并采用了一種被稱為符號距離場的數學模型。與簡單的二進制占用判斷不同,這種模型會計算三維空間中任意一點到最近物體表面的精確距離。如果該數值為正,則代表該點位于物體外部;如果為負,則代表位于物體內部;而數值正好等于零的點,則代表物體的表面邊界。

圖片源自:網絡
這種基于距離場的建模方式賦予了視覺系統更強的幾何敏感性。通過處理來自八個不同角度攝像頭的視頻流,系統能夠計算出物體表面的細微曲率和起伏。即便畫作在顏色和紋理上做到了極致,但它在物理上依然是一個平滑的平面。當占用網絡結合了符號距離場技術后,它能夠以亞體素級的精度識別出物體表面的平整度。在處理所謂的“三維假路”時,算法會就可以發現圖像中表現出的“遠景深度”與感知到的“平面幾何”之間存在邏輯沖突。
此外,硬件的迭代對于識別能力的提升也起到了至關重要的作用。隨著硬件的不斷升級,攝像頭的像素密度也實現了大幅提升,這使得系統可以捕捉到3D畫作中的印刷網點、紙張接縫或是畫布表面的反光特性。這些微小的視覺特征在低分辨率時代會被算法作為噪點過濾掉,但在高分辨率時代,它們成為了判斷“這是否是一幅畫”的關鍵證據。同時,新的計算芯片也提供了更強的數據處理能力,支持系統以更高的頻率更新三維世界模型,從而實時修正對環境的認知偏見。

運動差與時空融合的識別機制
如果說靜態的占用網絡是從空間幾何的角度識破了偽裝,那么運動差則是純視覺方案在動態環境下最強大的“測距儀”。在人類的視覺經驗中,當我們移動時,離我們近的物體在視野中移動得快,而遠處的物體移動得慢。這種相對速度的差異提供了極其可靠的深度線索。即使一個人閉上一只眼睛,只要他在移動,就不會被一面畫著路的墻壁騙到,因為隨著距離墻壁越來越近,畫中所有的像素點都會以相同的速度擴張,這與真實三維場景中不同深度景物的擴張速度完全不符。
在最新的視覺軟件架構中,這種生物學原理被轉化為強大的時空融合算法。以前的系統在處理每一幀畫面時,更像是處理一張獨立的照片,而現在的端到端網絡則是處理一段持續的視頻流。系統會識別一個包含過去幾秒鐘內的數十幀圖像視頻隊列,通過對比不同時刻、不同角度的像素位移,神經網絡可以精確地計算出每一個像素點的光流矢量。在面對畫著三維道路的墻面時,時空融合算法會發現一個邏輯漏洞,即畫作背景中表現出的“遠方地平線”,其光流特征竟然和近處的“墻角”完全一致。在物理世界中,這是不可能發生的。

圖片源自:網絡
這種對物理一致性的判斷被整合進了系統的世界模型中。所謂世界模型,是自動駕駛腦部的一個內部仿真器,它不斷預測未來幾秒鐘內周圍環境的演變。當車輛加速駛向一堵畫著三維道路的墻時,世界模型會預期看到一個平面的快速擴張。如果此時攝像頭捕捉到的紋理在可以表現深度,但其運動特征符合平面的縮放規律,系統內部的預測誤差就會激增。此時就會觸發系統的防御機制,將其識別為高風險的不確定區域。
通過這些復雜的算法協作,現階段的純視覺系統正在擺脫對簡單圖像分類的依賴。它學會通過觀察光影的變化、物體的位移以及幾何結構的連貫性來解構周圍的場景。這種能力的提升讓自動駕駛系統對整個物理世界規則理解不斷深化。

端到端架構下的不確定性與安全性博弈
在討論視覺系統識別能力的同時,我們不得不提自動駕駛技術路徑的一次重大轉向,即從規則驅動轉向數據驅動的端到端模型。在規則驅動的架構中,需要寫下成千上萬行代碼告訴汽車“如果看到紅色圓形標志,就停下”。這種方法存在一定的局限性,由于現實世界有無窮無盡的組合,根本無法預測到每一個邊緣場景。而在現在的端到端系統中,感知和決策被整合進了一個巨大的神經網絡,它通過學習老司機的真實錄像來理解如何開車。

圖片源自:網絡
這種“模仿學習”賦予了自動駕駛系統更強的泛化能力。神經網絡在訓練過程中見過無數真實的隧道、立交橋和高速公路,也見過各種光影變幻下的平面墻壁。它通過大量的學習,自動駕駛會了解一個真實的物理開口在光線分布、紋理過渡以及隨著車輛靠近時的畫面細節變化上具有特定的統計特征。當一個三維畫作出現時,雖然它在某些特征上模仿得很像,但在更多的維度上,它偏離了真實駕駛場景的統計分布。
當然,只要聊到端到端,就不得不提“黑盒”問題。當一輛處于端到端架構下的車識別出了假墻并制動時,其實是數億個神經元協同工作的結果,很難定位具體是哪個邏輯起到的作用。為了增加系統的透明度和安全性,研發人員在神經網絡中添加了專門的“可視化頭”,將AI腦海中的構思實時渲染在屏幕上。這種可視化不僅是給乘客看的,更是體現出系統內部各模塊達成共識的過程。

最后的話
純視覺方案對三維畫作的識別能力正經歷從“完全被動”到“主動解構”的進化。隨著占用網絡的細化、時空融合技術的應用以及硬件計算能力的爆發,現在的視覺系統已經初步具備了識破三維圖像的能力。雖然無法做到百分百的識別,但純視覺自動駕駛的技術演進邏輯已經非常清晰,純視覺不再是看圖說話,而是一種建立在物理規律和動態觀察基礎上的全感官重建。隨著數據的進一步積累和模型規模的擴大,未來的自動駕駛汽車將擁有比人類更敏銳的眼力,能識破各類的邊緣場景。
審核編輯 黃宇
-
視覺系統
+關注
關注
3文章
377瀏覽量
31828 -
自動駕駛
+關注
關注
793文章
14879瀏覽量
179782
發布評論請先 登錄
純視覺自動駕駛會像人眼一樣“近視”嗎?
沒有地圖,純視覺自動駕駛就只能摸瞎嗎?
iTOF技術,多樣化的3D視覺應用
自動駕駛汽車如何正確進行道路識別?
自動駕駛純視覺方案到底有哪些弊端?
淺析4D-bev標注技術在自動駕駛領域的重要性
自動駕駛中純視覺替代不了激光雷達?
純視覺自動駕駛如何理解路邊畫報上的人?
康謀分享 | 3DGS:革新自動駕駛仿真場景重建的關鍵技術
純視覺自動駕駛能識別出3D圖像嗎?
評論