在三維感知技術(shù)快速迭代的現(xiàn)在,深度相機(jī)作為機(jī)器獲取空間信息的重要“眼睛”,已滲透到工業(yè)自動(dòng)化、機(jī)器人導(dǎo)航、AR/VR、智能家居等多個(gè)領(lǐng)域。其中,雙目深度相機(jī)憑借其被動(dòng)式工作、成本可控、強(qiáng)光適應(yīng)性強(qiáng)等獨(dú)特優(yōu)勢(shì),成為中遠(yuǎn)距離三維感知場(chǎng)景的首要方案。它借鑒人類(lèi)雙眼視物的原理,通過(guò)兩顆平行布置的相機(jī)捕捉場(chǎng)景圖像,結(jié)合復(fù)雜算法計(jì)算空間點(diǎn)深度,無(wú)需主動(dòng)發(fā)射光線即可實(shí)現(xiàn)精確的三維感知,在兼顧性能與成本的同時(shí),推動(dòng)了三維視覺(jué)技術(shù)的規(guī)模化應(yīng)用。
雙目深度相機(jī)的主要邏輯,本質(zhì)是模擬人類(lèi)雙眼的“視差感知”機(jī)制,其底層依賴(lài)立體視覺(jué)原理與三角測(cè)量數(shù)學(xué)模型,實(shí)現(xiàn)從二維圖像到三維深度信息的轉(zhuǎn)化。簡(jiǎn)單來(lái)說(shuō),人類(lèi)之所以能通過(guò)雙眼判斷物體的遠(yuǎn)近,是因?yàn)樽笥已塾^察同一物體時(shí),會(huì)因視角差異產(chǎn)生細(xì)微的圖像偏移,這種偏移被稱(chēng)為“視差”;視差越大,物體距離越近,反之則越遠(yuǎn)。雙目深度相機(jī)正是利用這一原理,通過(guò)兩顆固定間距(即基線)的相機(jī),同步捕捉同一場(chǎng)景的左右兩幅圖像,再通過(guò)算法計(jì)算圖像中對(duì)應(yīng)點(diǎn)的視差,結(jié)合相機(jī)參數(shù)反推空間點(diǎn)的深度信息,輸出深度圖與點(diǎn)云數(shù)據(jù),完成三維場(chǎng)景的重建與測(cè)距。

一套完整的雙目深度相機(jī)系統(tǒng),主要由硬件組件與軟件算法兩部分構(gòu)成,兩者協(xié)同工作,決定了相機(jī)的感知精度與實(shí)時(shí)性。硬件層面,主要組件包括兩顆同步工作的單目相機(jī)、精密機(jī)械結(jié)構(gòu)及接口模塊。其中,兩顆單目相機(jī)通常采用全局快門(mén)CMOS傳感器,可有效消除運(yùn)動(dòng)模糊,確保左右圖像的同步性;鏡頭多采用M12接口,具備較大視場(chǎng)角,能覆蓋更廣闊的感知范圍。以RTK-SCAM-60雙目相機(jī)為例,其采用兩顆全局快門(mén)CMOS傳感器,固定基線長(zhǎng)度為60mm,硬件層面實(shí)現(xiàn)嚴(yán)格同步觸發(fā)與圖像對(duì)齊,出廠前已完成高精度立體校準(zhǔn),用戶(hù)無(wú)需復(fù)雜操作即可直接使用。此外,好的雙目相機(jī)還會(huì)配備高性能SOC芯片,如RTK-SCAM-60搭載的歐冶SD3589SOC,具備強(qiáng)大的ISP圖像處理能力與4T算力的NPU單元,可高效運(yùn)行感知算法,實(shí)現(xiàn)深度圖的實(shí)時(shí)輸出與AI感知任務(wù)。機(jī)械結(jié)構(gòu)方面,堅(jiān)固的鋁合金與工程塑料外殼能確保基線長(zhǎng)度在各類(lèi)工況下保持穩(wěn)定,避免因振動(dòng)、溫度變化導(dǎo)致的測(cè)量精度下降;接口模塊則多支持USB3.0與MIPI接口,可同時(shí)實(shí)現(xiàn)供電與數(shù)據(jù)傳輸,滿足不同場(chǎng)景的集成需求。
軟件算法是雙目深度相機(jī)的“大腦”,直接決定了深度計(jì)算的精度與效率,其重要流程主要包括圖像預(yù)處理、立體校正、視差匹配與深度圖后處理四個(gè)環(huán)節(jié)。圖像預(yù)處理階段,主要通過(guò)降噪、增強(qiáng)等算法優(yōu)化圖像質(zhì)量,減少光照變化、傳感器噪聲對(duì)后續(xù)計(jì)算的影響;立體校正則是通過(guò)幾何變換,使左右兩幅圖像的對(duì)極線變得水平對(duì)齊,將二維匹配簡(jiǎn)化為一維搜索,大幅降低計(jì)算復(fù)雜度。視差匹配是整個(gè)算法流程的重要環(huán)節(jié),也是具挑戰(zhàn)性的環(huán)節(jié),其目標(biāo)是找到左右圖像中對(duì)應(yīng)場(chǎng)景點(diǎn)的同名點(diǎn),主流算法可分為三類(lèi):局部匹配算法(如SAD、SSD、NCC),計(jì)算效率高但易受紋理缺失影響;全局匹配算法(如SGM、圖割),能獲得更平滑的視差圖,平衡精度與效率,是工業(yè)級(jí)產(chǎn)品的常用選擇;基于深度學(xué)習(xí)的匹配算法,在弱紋理、遮擋場(chǎng)景下表現(xiàn)出色,但對(duì)計(jì)算資源要求較高。深度圖后處理階段,則通過(guò)中值濾波、雙邊濾波、孔洞填充等操作,去除原始深度圖中的噪聲與空洞,保持物體邊緣信息,提升深度數(shù)據(jù)的完整性與準(zhǔn)確性。
與結(jié)構(gòu)光、ToF等其他類(lèi)型的深度相機(jī)相比,雙目深度相機(jī)具備獨(dú)特的優(yōu)勢(shì),同時(shí)也存在一定局限性,使其在特定場(chǎng)景中更具競(jìng)爭(zhēng)力。其主要優(yōu)勢(shì)主要體現(xiàn)在四個(gè)方面:一是被動(dòng)式工作模式,無(wú)需主動(dòng)發(fā)射紅外光等光源,只依靠環(huán)境光即可工作,既不會(huì)對(duì)周?chē)h(huán)境造成干擾,也能避免主動(dòng)光源被遮擋、反射帶來(lái)的測(cè)量誤差,尤其適合戶(hù)外強(qiáng)光場(chǎng)景;二是對(duì)物體材質(zhì)適應(yīng)性強(qiáng),不受表面顏色、反射率的影響,只要場(chǎng)景具備一定紋理,即可實(shí)現(xiàn)精確深度計(jì)算;三是中遠(yuǎn)距離測(cè)量性能出色,隨著距離增加,精度下降相對(duì)平緩,如RTK-SCAM-60雙目相機(jī)的測(cè)距范圍可達(dá)0.3m~16m,在2m以?xún)?nèi)精度可達(dá)到±2cm,能滿足多數(shù)中遠(yuǎn)距離感知需求;四是成本可控,硬件結(jié)構(gòu)相對(duì)簡(jiǎn)單,無(wú)需復(fù)雜的發(fā)射與接收模組,與同精度的ToF相機(jī)相比,成本可降低30%~50%,更適合規(guī)模化部署。
當(dāng)然,雙目深度相機(jī)也存在自身局限性:其一,對(duì)場(chǎng)景紋理依賴(lài)較高,在無(wú)紋理、弱紋理場(chǎng)景(如純白墻面、光滑玻璃)中,難以找到有效的同名點(diǎn),會(huì)導(dǎo)致深度缺失或精度下降;其二,易受光照條件影響,極亮或極暗環(huán)境會(huì)降低圖像質(zhì)量,進(jìn)而影響視差匹配效果;其三,計(jì)算復(fù)雜度高,實(shí)時(shí)高質(zhì)量的視差匹配需要較強(qiáng)的算力支撐,對(duì)芯片性能要求較高;其四,存在遮擋問(wèn)題,場(chǎng)景中被遮擋的區(qū)域*能被單顆相機(jī)捕捉,無(wú)法計(jì)算深度,會(huì)產(chǎn)生深度空洞。這些
局限性,也推動(dòng)著行業(yè)不斷通過(guò)算法優(yōu)化與硬件升級(jí)進(jìn)行突破,如結(jié)合深度學(xué)習(xí)算法提升弱紋理場(chǎng)景的匹配精度,搭載高性能NPU單元提升計(jì)算效率等。

憑借其獨(dú)特的性能優(yōu)勢(shì),雙目深度相機(jī)已在多個(gè)領(lǐng)域?qū)崿F(xiàn)規(guī)模化應(yīng)用,成為推動(dòng)智能化升級(jí)的感知設(shè)備。在工業(yè)自動(dòng)化領(lǐng)域,它廣泛應(yīng)用于工件三維尺寸檢測(cè)、機(jī)器人視覺(jué)引導(dǎo)、物料分揀等場(chǎng)景:通過(guò)掃描工件獲取點(diǎn)云數(shù)據(jù),可測(cè)量工件的長(zhǎng)度、孔徑、弧度等關(guān)鍵尺寸,替代人工檢測(cè),提升檢測(cè)效率與精度;為工業(yè)機(jī)器人提供三維環(huán)境感知,引導(dǎo)機(jī)器人完成焊接、裝配、搬運(yùn)等作業(yè),無(wú)需人工示教編程,適應(yīng)多品種、小批量生產(chǎn)需求。在機(jī)器人領(lǐng)域,雙目深度相機(jī)是移動(dòng)機(jī)器人、服務(wù)機(jī)器人的重要“眼睛”,可實(shí)現(xiàn)環(huán)境感知、路徑規(guī)劃與避障功能,如倉(cāng)儲(chǔ)AMR通過(guò)雙目相機(jī)識(shí)別貨架與障礙物,規(guī)劃優(yōu)行走路徑;清潔機(jī)器人通過(guò)深度感知避開(kāi)家具與障礙物,提升清潔效率。
在消費(fèi)電子與AR/VR領(lǐng)域,雙目深度相機(jī)可實(shí)現(xiàn)人臉識(shí)別、AR場(chǎng)景交互、三維建模等功能,如手機(jī)中的雙目模塊可提升人臉識(shí)別的安全性與精確度,AR設(shè)備通過(guò)雙目深度感知實(shí)現(xiàn)虛擬物體與真實(shí)場(chǎng)景的無(wú)縫融合,提升沉浸式體驗(yàn)。在其他領(lǐng)域,雙目深度相機(jī)還應(yīng)用于三維重建、體積測(cè)量、戶(hù)外巡檢等場(chǎng)景:通過(guò)掃描建筑、地形,可快速構(gòu)建三維模型,為測(cè)繪、規(guī)劃提供數(shù)據(jù)支撐;在物流行業(yè),可測(cè)量包裹體積,優(yōu)化倉(cāng)儲(chǔ)與運(yùn)輸效率;在戶(hù)外巡檢場(chǎng)景中,可適應(yīng)強(qiáng)光環(huán)境,實(shí)現(xiàn)設(shè)備故障檢測(cè)與距離測(cè)量。
當(dāng)前,隨著元器件國(guó)產(chǎn)化率的提升與算法技術(shù)的迭代,雙目深度相機(jī)行業(yè)正迎來(lái)快速發(fā)展期。從市場(chǎng)格局來(lái)看,中國(guó)市場(chǎng)已形成國(guó)產(chǎn)主導(dǎo)中端、外資堅(jiān)守的競(jìng)爭(zhēng)態(tài)勢(shì),國(guó)產(chǎn)廠商憑借成本優(yōu)勢(shì)與本土化服務(wù)優(yōu)勢(shì),逐步擴(kuò)大市場(chǎng)份額,在工業(yè)、消費(fèi)電子等場(chǎng)景實(shí)現(xiàn)規(guī)模化應(yīng)用;國(guó)際巨頭則主要占據(jù)半導(dǎo)體、汽車(chē)制造等場(chǎng)景。未來(lái),雙目深度相機(jī)的發(fā)展將呈現(xiàn)三大趨勢(shì):一是硬件集成化程度不斷提升,重要組件將向小型化、低功耗方向發(fā)展,適配更多便攜式、可穿戴設(shè)備;二是算法與算力深度融合,結(jié)合深度學(xué)習(xí)與邊緣計(jì)算技術(shù),提升弱紋理、復(fù)雜光照?qǐng)鼍暗母兄扰c實(shí)時(shí)性;三是多傳感器融合成為主流,與激光雷達(dá)、IMU、毫米波雷達(dá)等傳感器協(xié)同工作,構(gòu)建更可靠的三維感知系統(tǒng),拓展應(yīng)用邊界。
作為模擬人眼視覺(jué)的三維感知設(shè)備,雙目深度相機(jī)以其獨(dú)特的技術(shù)優(yōu)勢(shì),在平衡性能與成本的同時(shí),解鎖了更多三維感知的應(yīng)用可能。從工業(yè)自動(dòng)化的精確檢測(cè),到機(jī)器人的自主導(dǎo)航,再到消費(fèi)電子的智能交互,雙目深度相機(jī)正逐步滲透到生產(chǎn)生活的各個(gè)領(lǐng)域,成為推動(dòng)智能化升級(jí)的重要支撐。隨著技術(shù)的不斷突破,其局限性將逐步被克服,應(yīng)用場(chǎng)景將進(jìn)一步拓展,未來(lái)有望在更多新興領(lǐng)域發(fā)揮重要作用,讓機(jī)器更精確地“看懂”三維世界,助力各行各業(yè)實(shí)現(xiàn)更高質(zhì)量的發(fā)展。
-
相機(jī)
+關(guān)注
關(guān)注
5文章
1599瀏覽量
55999 -
機(jī)器視覺(jué)
+關(guān)注
關(guān)注
165文章
4822瀏覽量
126399 -
深度相機(jī)
+關(guān)注
關(guān)注
0文章
29瀏覽量
3173
發(fā)布評(píng)論請(qǐng)先 登錄
一文帶你了解雙目深度相機(jī)
雙目相機(jī)賦能智能移動(dòng):服務(wù)機(jī)器人與AGV的重要感知解決方案
RTK-SCAM-60 雙目立體視覺(jué)相機(jī)|精準(zhǔn)深度感知 全場(chǎng)景智能視覺(jué)
雙目立體視覺(jué)相機(jī)產(chǎn)品介紹
基于SD3589高精度雙目立體視覺(jué)相機(jī):助力三維感知與智能化應(yīng)用
雙目視覺(jué)是如何實(shí)現(xiàn)深度估計(jì)的?
RTK-SCAM-60雙目相機(jī)規(guī)格書(shū)
自動(dòng)駕駛既然有雙目攝像頭了,為什么還要三目攝像頭?
一文讀懂 | 三維視覺(jué)領(lǐng)域國(guó)家級(jí)制造業(yè)單項(xiàng)冠軍——先臨三維的品牌布局
機(jī)器視覺(jué)三維成像技術(shù)簡(jiǎn)介(一)
奧比中光發(fā)布最新一代3D激光雷達(dá)及雙目深度相機(jī)
不止知識(shí),更有故事!蔡司#HandsOnMetrology抖音開(kāi)張,解鎖三維計(jì)量的無(wú)限可能
索尼FCB-ER8530:三維建模與視覺(jué)感知的跨界融合
智能軟件+硬件解決方案克服實(shí)時(shí)立體視覺(jué)中的挑戰(zhàn)
雙目深度相機(jī):模擬人眼視覺(jué),解鎖三維感知新可能
評(píng)論