智能雙目立體視覺系統

據麥姆斯咨詢報道，物聯網及雙目視覺專家江蘇鉅芯集成電路技術股份有限公司，近日在2017年香港秋季電子展發布了一款智能雙目立體視覺系統，以及業內首顆智能雙目立體視覺芯片eagleye100。該系統具有全球最小的基線長度（Baseline，雙目的目距），僅為8cm，其實時高精度的探測距離達到100m，深度分辨率最高可達720P，高速深度計算的輸出延時小于3ms，是一款小尺寸、遠距離、高精度的實時智能雙目立體視覺系統。目前的主要目標應用包括：ADAS（先進駕駛輔助系統）和自動駕駛、無人機、工業自動化、AR（增強現實）/VR（虛擬現實）、倉儲機器人、掃地機器人、園藝機器人等各類智能機器人等。

鉅芯智能雙目立體視覺芯片eagleye100

香港秋季電子展的鉅芯展位圍滿了咨詢雙目立體視覺技術的人群

“鉅芯的雙目技術領先整個產業一代，我們專注于將FPGA（現場可編程門陣列）和外圍電路集成為專用雙目視覺芯片eagleye100，大大降低了成本，提高了集成度和可靠性，”江蘇鉅芯集成電路技術股份有限公司董事長兼總經理黃保黔介紹道，“系統最大100m的高精度實時探測距離，已經比肩或超過國際市場上的主要領導廠商，國內友商的最大探測距離一般為50～80m。對于一輛以80km/h行駛的車輛來說，20m的探測距離優勢，就能為司機和ADAS系統帶來約1秒的反應時間，有效提高道路交通的安全性。”

鉅芯智能雙目立體視覺系統與市場主流廠商的參數對比

雙目視覺將成為未來機器視覺技術的風向標

無論是汽車、無人機、機器人還是AR/VR等智能移動機械或設備，要實現自主運行和導航，首先要解決的便是感知周圍的環境，尤其是3D深度信息，實現即時定位和地圖構建（SLAM）。因此，SLAM是實現智能機械自主運行、壁障和路徑規劃的基礎。目前主流的SLAM方案主要包括，激光雷達（LiDAR）和視覺類，而視覺類又可分為單目視覺和雙目（多目）視覺方案。激光雷達的優點是測量距離遠、精度高、速度快，但其最大的缺點是目前的成本太高昂，另外，其體積和重量較大，對物體的識別率較差。低成本的微型固態激光雷達目前還沒有大規模量產。

視覺類SLAM主要包括單目和雙目兩種方案，兩者的共同特點，是通過攝像頭采集圖像數據，然后利用圖像數據得到距離信息。但是，單目方案的測距原理，是先通過圖像與樣本數據匹配進行目標識別，再通過目標在圖像中的大小去估算目標距離。因此，單目方案需要建立并不斷維護一個龐大的樣本特征數據庫，不斷進行機器學習和訓練，以保證首先對目標進行準確識別，對不規則物體或缺乏樣本數據的物體，單目方案就無能為力了。

“相比于單目視覺，雙目視覺系統模擬了人眼及眾多生物的視覺處理方式，利用雙攝像頭從不同角度對同一目標成像，從而獲取視差信息，利用三角測距原理，僅通過計算左右“兩眼”獲取的兩幅圖像對應點間的位置偏差，就可以實時還原視覺場景中每一點的真實三維幾何信息，”黃總介紹道，“因此，雙目視覺方案沒有識別率的問題，也無需建立和維護龐大的樣本庫，分辨率和精度也更高。”

雙目視覺有望在自動駕駛領域彎道超車

2016 年以前，基本上所有的高端車型都配備了 Mobileye（今年3月被英特爾以153億美元收購）的單目視覺系統，比如沃爾沃、奔馳、寶馬等。但近幾年，包括2016款奔馳S級和E級、2016款寶馬7系、2017款寶馬5系、斯巴魯以及捷豹路虎的多款車型，都已經從單目改成了雙目方案。此外，在搭載Mobileye單目ADAS系統的特斯拉Model S發生事故之后，特斯拉也選擇放棄了與Mobileye的合作，轉而采用了雙目或多目ADAS方案。

同時，近年各國政府對于汽車主動安全功能的重視程度不斷提升，這也為雙目ADAS方案供應商帶來了極大利好。

不同國家/地區的車用主動安全功能的啟用時間

在歐美日相繼將主動安全功能加入新車安全評價標準后，中國新車評價規程（C-NCAP）也宣布將在2018年把車道偏離預警、碰撞預警和AEB（自動緊急制動）等功能列為加分項，并在2020年將這些指標列為重要評測項。屆時沒有這些功能的新車C-NCAP得分將會較現在大幅下降。

鉅芯智能雙目視覺ADAS道路測試

鉅芯雙目視覺深度圖與現場實景圖對比

對象監測跟蹤

鉅芯智能雙目視覺系統，能夠實時監測并跟蹤汽車、行人、自行車以及各種異形車輛，實時精確探測汽車與目標之間的距離，并計算可能的碰撞時間，實現車輛的AEB、ACC、LDW、TSR等先進的駕駛輔助功能。

對象監測跟蹤

可行駛區域監測

可行駛區域檢測是ADAS及自動駕駛領域中的下一代功能。目前全球所有該功能的演示都是簡單的高速場景，都還無法做到復雜場景下準確的全范圍可行駛區域檢測。鉅芯智能雙目視覺系統在復雜場景下具備明顯優勢，能夠結合場景理解和像素級深度，實時檢測全類別的障礙物，輸出車輛當前的可行駛區域，實現全范圍AEB。

車道分隔物監測

可行駛區域監測

高精度地圖生成

鉅芯智能雙目視覺系統能夠自動檢測并識別車道線、柵欄、路肩、交通標志的空間位置及尺寸，自動移除車輛、行人等道路動態對象，生成厘米級高精度矢量地圖（車道寬度10cm內誤差）。

高精度地圖生成

雙目視覺逐漸成為無人機標配

一直以來，無人機的距離感知和智能壁障都是很大的難題。之前的無人機大多采用超聲波雷達、紅外探測等方式來實現障礙物探測和距離感知，但是這些方案往往功耗較大，而無人機對重量和續航又比較敏感，因此很難進行長距離的探測。而雙目視覺系統的原理優勢，令其在光線良好的情況下，具有比上述方案更廣闊的距離探測能力，以及更直觀的成像，能夠提供更智能的飛行操作。因此，大疆、昊翔、零度、極飛、博瑞空間以及飛馬等無人機主流廠商都在近期相繼推出了基于雙目視覺系統的產品。

鉅芯智能雙目視覺系統在無人機應用中，能夠通過實時高速計算，提供基于深度視覺的自身位置和姿態計算，實現精準的懸停和定高飛行；還能夠探測無人機周圍的動態及靜態障礙物，包括電線、樹枝等細小的障礙物，提供實時的可飛行區域探測，實現無人機SLAM和自動壁障功能。

鉅芯雙目視覺系統無人機應用主要參數（可根據需求定制）

敬請期待下篇：“鉅芯智能雙目視覺芯片在無人機中的應用”。

關于鉅芯

江蘇鉅芯集成電路技術股份有限公司是一家科技創新型的半導體集成電路設計公司，是一個年輕、有活力、又擁有成熟技術沉淀的優秀團隊。公司核心骨干來自歐美著名廠商，包括芯片設計、芯片制造企業的技術精英。公司始創于2006年，先后在無錫和上海形成兩個研發中心，在深圳形成了較為成熟的市場體系。通過幾年的技術整合和技術積累，鉅芯已完成了幾大領域的芯片設計與研發，目前致力于雙目視覺芯片、多媒體處理芯片、MCU微控制芯片、RF射頻芯片、電源驅動芯片的設計與開發以及系統集成與系統平臺的建設與開發。