2023年末工信部，公安部，住房和城鄉(xiāng)建設(shè)部，交通運輸部四部門聯(lián)合發(fā)布的《關(guān)于開展智能網(wǎng)聯(lián)汽車準入和上路通行試點工作的通知》正式打響了中國L3級自動駕駛賽道的第一聲發(fā)令槍，也意味著L3/L4級自動駕駛商業(yè)化落地即將到來。

感知智能始終是實現(xiàn)L3/L4級自動駕駛的技術(shù)難點，現(xiàn)在自動駕駛市場無法有效解決的技術(shù)痛點在于1）基于純視覺網(wǎng)絡(luò)的Corner Cases問題（環(huán)境光照影響、樣本長尾效應(yīng)等）；2）4D毫米波雷達點云數(shù)據(jù)的豐富度與置信度之間的矛盾；3）許多車企選用激光雷達作為主要傳感器之一，但激光雷達的性價比較低，且受大雨大霧天氣影響較大，另外大功率激光雷達還有掃到人眼可能致盲的潛在風險。

昱感微的“多傳感器多維像素融合感知芯片”可以解決問題：昱感微融合感知芯片創(chuàng)新性地將可見光攝像頭、紅外攝像頭以及4D毫米波雷達的探測數(shù)據(jù)在前端（數(shù)據(jù)獲取時）交互，將各傳感器的探測數(shù)據(jù)“坐標統(tǒng)一、時序?qū)R”，圖像與雷達數(shù)據(jù)完成像素級實時“時空對齊同步”并以“多維像素”格式輸出，基于“物理感知”數(shù)據(jù)驅(qū)動，能很好地避免純視覺網(wǎng)絡(luò)的corner cases問題；同時，毫米波雷達和攝像頭的結(jié)合還可以達到1+1>2的效果，使感知系統(tǒng)能夠不受天氣光線等場景限制，實時完成精準目標感知。

昱感微融合感知芯片的“多維像素”數(shù)據(jù)輸出是昱感微的核心技術(shù)創(chuàng)新之一。多維像素是指在可見光攝像頭像素信息上加上其它傳感器對于同源目標感知的信息，將感知系統(tǒng)的感知維度擴展以實現(xiàn)多維度（多模態(tài)）感知目標的完整信息。如下圖示例，芯片將攝像頭圖像數(shù)據(jù)，和雷達探測目標的距離、速度、散射截面R的感知數(shù)據(jù)，以及紅外傳感器探測的熱輻射圖像數(shù)據(jù)疊加組合到一起，以攝像頭的像素為顆粒度組合全部感知數(shù)據(jù)，每個像素不僅有視覺信息，還包含了4D毫米波雷達和紅外傳感器的探測數(shù)據(jù)，形成多維度（多模態(tài)）測量參數(shù)矩陣數(shù)組。基于圖像像素為基準+雷達數(shù)據(jù)的“多維像素”感知數(shù)據(jù)，與現(xiàn)有主流AI計算平臺完全兼容，助力客戶高效平滑升級產(chǎn)品。

昱感微的雷視融合感知方案提供目標與環(huán)境的多模態(tài)精準感知信息。多模態(tài)是指傳感器對目標與環(huán)境感知的圖像數(shù)據(jù)（明暗、紋理、顏色等）+雷達數(shù)據(jù)（目標的距離、速度、材質(zhì)等）+紅外輻射數(shù)據(jù)（紋理、溫度等）的綜合感知。當人眼看到路上行駛的汽車，大腦中反映出的信息不僅是一輛汽車，還有它的顏色、型號/品牌、方向、以及大概的速度和距離等信息，這就是人眼解讀出的視覺語言。昱感微的雷視融合方案可以比人眼更敏銳，為自動駕駛系統(tǒng)提供更豐富更精準的“視覺語言”——目標與環(huán)境的多模態(tài)精準感知數(shù)據(jù)，使自動駕駛系統(tǒng)實時精準感知道路上的各種狀況。

對目標的感知，4D毫米波雷達在立體空間的每個檢測點（3D空間的密集數(shù)據(jù)采樣點）可以取得推算出來的包含此處（采樣點）的距離、相對運動速度（多普勒信息）、水平方位角和俯仰角維度的功率測量信息——業(yè)界稱其為：雷達4D張量信息（“4D Radar Tensors”，簡稱為: “4DRT”信息）。雷達4D張量信息數(shù)據(jù)量非常豐富，最大程度地保留有效的感知信息。目前4D雷達產(chǎn)品點云仍較稀疏，其主要原因之一是現(xiàn)有通用的信號過濾器會造成大量信息損失（例如采用目前流行的CFAR：“Constant False Alarm Rate”即“恒定虛警率”檢測算法）；但如果沒有進行數(shù)據(jù)過濾提取（對比用CFAR算法處理的步驟），系統(tǒng)輸出且后續(xù)模塊再需要處理的數(shù)據(jù)量又太大，對于系統(tǒng)的傳輸帶寬、內(nèi)存緩存、后續(xù)系統(tǒng)算力都提出了極高的要求，在算法里如何有效區(qū)分與識別目標的有效反射信息（系統(tǒng)希望獲取的）與雜波信號和噪聲信號就更加挑戰(zhàn)了。最挑戰(zhàn)的還是在雷達算法本身，在雷達系統(tǒng)獲取的大量的4D張量采樣信息里，如何區(qū)分出哪些信息是目標對雷達信號產(chǎn)生的有效反射信息（系統(tǒng)希望獲取的），哪些信息是背景噪聲，哪些信息是其它雷達系統(tǒng)帶來的信號串擾，哪些信息是雷達信號的多徑串擾……如何有效地區(qū)分它們并最大限度地識別出目標有效反射信息，是解決4D毫米波雷達點云數(shù)據(jù)的豐富度與置信度之間的矛盾的方法，也是目前行業(yè)正期待有技術(shù)突破的方向，需要重新定義與設(shè)計雷達感知、定位和映射的算法，以強化并重新演繹出4D毫米波雷達的強感知特性。

昱感微的融合感知芯片將雷達4D張量信息與圖像像素信息做對接，形成類似的“多維像素數(shù)據(jù)矩陣”，將雷達的每個4D張量信息與圖像像素矩陣層中的像素元素建立一一對應(yīng)關(guān)系。這樣可以高效地識別分辨出雷達信號產(chǎn)生的有效反射信息，在最大限度地保留雷達點云數(shù)據(jù)豐富度的同時增加其數(shù)據(jù)的置信度。

引入圖像信息帶來的好處：系統(tǒng)基于圖像信息帶入的語義信息來構(gòu)建更精細的雷達數(shù)據(jù)處理算法，在圖像語義信息的支持下，機器學(xué)習、神經(jīng)網(wǎng)絡(luò)等算法更精確高效完成雷達4D張量信息對目標與環(huán)境完整感知信息的獲取。

“雷達4D張量信息＋圖像的像素信息”是實現(xiàn)目標與環(huán)境多模態(tài)精準感知、助力毫米波雷達感知跨越目前門檻的最佳方式。多模態(tài)視覺語言（多模態(tài)語義）解析的傳感器融合方式已經(jīng)是業(yè)界新一輪傳感器融合產(chǎn)品起飛的跑道，是完全滿足L3/L4級自動駕駛要求的感知最優(yōu)解。

昱感微的融合感知方案將視覺圖像信息和雷達探測信息實現(xiàn)“坐標統(tǒng)一、時序?qū)R”的“多維像素”信息輸出，將賦予產(chǎn)業(yè)界前所未有的感知能力。