環境感知是自動駕駛領域非常重要的一項任務。特別是在夜晚或者極端天氣的情況下,現有的視覺感知和激光雷達兩種方式對環境的感知和識別都效果不佳。這給自動駕駛等高風險應用帶來了挑戰。 有些研究提出使用熱像儀來彌補 LiDAR 和視覺攝像頭的缺陷。但由于物體不斷發出熱輻射,粒子會擴散到附近的環境中,導致熱成像變得模糊、無紋理,形成「鬼影(ghost)」,使這種方法難以實際應用。 現在,一種新的熱成像技術可以不受霧、煙和黑暗等視覺障礙的影響,使得自動駕駛汽車在黑暗中也能準確感知環境。如下圖所示,與以前的熱成像(上)相比,新方法可以創建更清晰、更有質感的夜間圖像(中和下)。
這種新方法是由來自普渡大學等機構的研究者提出,他們開發了一種新的系統, 稱為「熱輔助探測和測距系統(HADAR)」。借助該系統,我們可以在環境不佳的情況下獲得精細的環境圖像,細節與精度和傳統相機在明亮日光下拍攝的圖像相當。研究論文已登上 Nature 封面。
論文地址:https://www.nature.com/articles/s41586-023-06174-6 方法介紹 HADAR 能夠穿透光學雜波來檢測物體的溫度、材料成分和熱輻射模式,而不受霧、煙和黑暗等視覺障礙的影響。因此,無論一天中的時間或環境如何,HADAR 基于對深度和紋理的渲染都能創建極其詳細、清晰的圖像。
HADAR 與「鬼影」熱成像。 為了訓練 HADAR 系統,研究人員在夜間使用先進的熱成像相機和能夠顯示電磁波譜中能量輻射的成像傳感器,在戶外捕獲數據。他們還創建了對戶外環境的計算機模擬,以便進行額外的 AI 訓練。 普渡大學電氣與計算機工程系教授、本文作者之一 Zubin Jacob 表示,「HADAR 學會了探測物體并估計與這些物體的距離,其精度是僅依靠傳統夜視技術的 10 倍。而且,HADAR 在夜間的性能與傳統物體檢測系統在白天的性能相當。」 「聲納、雷達和激光雷達等會發出信號并返回反射,以推斷物體是否存在及其與物體的距離。除了相機所擁有的視覺能力之外,它們還提供了場景的額外信息,尤其是在環境照明較差的情況下,」Jacob 表示,「然而,HADAR 有著根本的不同,它利用不可見的紅外輻射來重建夜間場景,清晰度就像白天一樣。」 在沒有反射光的黑暗環境中, 傳統攝像頭無法很好地捕捉圖像,雷達和激光雷達也容易受到干擾。 熱成像技術通過捕獲環境中物體輻射的紅外光來重建場景。如下圖所示,新研究提出的 HADAR 方法改變了機器感知的方式:


下圖展示了一個 HADAR 的應用實例。其中有一位真人和一個人形紙板。RGB 光學成像和稀疏 LiDAR 點云都無法區分真人和人形紙板,并且 LiDAR 還難以檢測到夜間條件下的車輛。而 HADAR 檢測到相應材料區域(皮膚?+?織物)中的人,將其與紙板清楚地區分開來,克服了「幻象制動」問題。
?下圖 6 展示了 HADAR 測距在夜間擊敗了最先進的熱測距技術:
由于該方法能夠確定場景中的物體是由什么組成的,因此與傳統成像技術相結合,即使在白天,HADAR 也可以提供有關場景的獨特信息。
原文標題:AI提高自動駕駛夜視能力,檢測黑夜、霧天場景和白天一樣
文章出處:【微信公眾號:智能感知與物聯網技術研究所】歡迎添加關注!文章轉載請注明出處。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
物聯網
+關注
關注
2945文章
47820瀏覽量
415041
原文標題:AI提高自動駕駛夜視能力,檢測黑夜、霧天場景和白天一樣
文章出處:【微信號:tyutcsplab,微信公眾號:智能感知與物聯網技術研究所】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
熱點推薦
自動駕駛中常提的占用網絡檢測存在哪些問題?
自動駕駛感知技術在過去幾年中經歷了很大的變化,從最初的二維圖像檢測到鳥瞰圖投影,再到如今備受關注的占用網絡,感知技術的提升,讓自動駕駛的能力越來越強。
已有VLM,自動駕駛為什么還要探索VLA?
時(長尾場景),會因規則覆蓋不足而表現僵化。 隨著大語言模型和視覺語言模型(VLM)的爆發,開發者們意識到,如果車輛能像人類一樣擁有常識,理解什么是“潮汐車道”,知道“救護車在后方鳴笛需要避讓”,那么自動駕駛的上限將
自動駕駛場景生成方法及優選方案:康謀aiSim 3DGS方案重塑行業標準
生成技術應運而生,其中 康謀aiSim 3DGS方案 憑借技術突破與工程化落地能力,成為自動駕駛場景生成領域的優選方案。 一、自動駕駛
Transformer如何讓自動駕駛大模型獲得思考能力?
在談及自動駕駛時,Transformer一直是非常關鍵的技術,為何Transformer在自動駕駛行業一直被提及?
L3級自動駕駛在技術上有什么不一樣的要求?
[首發于智駕最前沿微信公眾號]最近,很多小伙伴在后臺私信,想了解L3級自動駕駛有哪些技術要求。其實對于自動駕駛行業來說,L3級是一個非常重要的分水嶺。一旦達到L3級,車輛的主要
自動駕駛汽車如何檢測石頭這樣的小障礙物?
[首發于智駕最前沿微信公眾號]最近有一位小伙伴留言,想讓我聊聊自動駕駛汽車對于石頭這樣的小障礙物,是使用什么視覺任務檢測的。在直接回答“如何檢測”之前,其實要思考
講講如何閉環自動駕駛仿真場景,從重建到可用?
靜態3D場景無法滿足仿真測試?缺乏動態交通流、難以模擬極端天氣、傳感器模型不逼真!本文帶您看aiSim場景編輯與GGSR渲染器如何破局!自由配置暴雨黑夜與虛擬車流,使用通用高斯潑濺實現廣角無畸變的高保真渲染,為
無引導線的左轉場景下,自動駕駛如何規劃軌跡?
對于很多新手司機來說,在無引導線左轉的場景中,開車會非常謹慎,但依舊會很好地處理好這一操作。但對于自動駕駛汽車來說,其行駛需要有較為明顯的參考線,在沒有白色虛線、沒有箭頭感知“我的車道在哪兒”的交通
生成式 AI 重塑自動駕駛仿真:4D 場景生成技術的突破與實踐
生成式AI驅動的4D場景技術正解決傳統方法效率低、覆蓋不足等痛點,如何通過NeRF、3D高斯潑濺等技術實現高保真動態建模?高效生成極端天氣等長尾場景?本文為您系統梳理AI驅動的4D
卡車、礦車的自動駕駛和乘用車的自動駕駛在技術要求上有何不同?
,自動駕駛技術也得到了充足的應用,但因應用場景不同,技術的側重方向也有所區別。今天就來和大家聊一聊這個話題。 應用場景:開放道路vs封閉場地 首先要理解的是,
自動駕駛安全基石:ODD
和限制下可以正常工作,是自動駕駛安全的核心概念之一。 ? 對于人類司機來說,在不同的道路上駕駛的能力也有所區別,比如新手司機在一些窄路、山路
新能源車軟件單元測試深度解析:自動駕駛系統視角
。
?自動駕駛軟件的特殊性?
? 感知層: ?激光雷達、攝像頭等傳感器數據處理算法的單元測試需覆蓋極端場景。例如,激光雷達點云濾波算法在雨雪天氣下的噪聲抑制能力需通過邊界測試驗證。某廠商曾在測試中遺漏
發表于 05-12 15:59
AI將如何改變自動駕駛?
[首發于智駕最前沿微信公眾號]五一假期繼續閑聊一下,還歡迎大家隨意留言,隨著人工智能(AI)的發展,很多車企及自動駕駛供應商正嘗試將AI融入自動駕駛
AI提高自動駕駛夜視能力,檢測黑夜、霧天場景和白天一樣
評論