據麥姆斯咨詢介紹，隨著全球汽車制造商開發出更多配備Level 2或更高級別自動駕駛功能（但仍不能忽視人工監督）的車輛，汽車產業對車內監控系統的需求越來越多。車內監控系統的設計目的主要是關注駕駛員行為，確保他們能夠集中注意力，并在需要時收回對自動駕駛汽車的控制權。

全球汽車制造商采用的一個解決方案是在他們的車輛上增加一套駕駛員監控系統（DMS）。近期，PathPartner利用4D成像雷達和攝像頭融合技術開發出一款DMS的擴展系統——乘客監控系統（OMS），進一步提升了安全性、舒適性和便捷性。

PathPartner成立于2006年，是一家專業的產品工程服務公司，為汽車、消費電子、通信、醫療和物聯網領域的客戶提供從概念到量產的服務。通過圍繞深度學習、計算機視覺、多媒體、圖像和物聯網構建的創新技術，為客戶解決了復雜的業務挑戰，加快產品上市時間。PathPartner的業務遍及全球，在印度班加羅爾和科欽、德國法蘭克福和美國硅谷設有研發中心。

PathPartner負責研發的副總裁Vinay MK表示：“將攝像頭和毫米波雷達結合在一起，可以在低光、嘈雜的環境下顯著提高檢測精度。我們采用的攝像頭具有近紅外照明，可以在不同的照明條件下實現可靠的性能。”

4D成像雷達如何工作？

4D成像雷達代表著下一代毫米波雷達技術。它的工作原理類似具有閃光燈的照相機，在拍攝前利用毫米波（一種不可見的電磁波）瞬間照射目標物體。在傳統照相機中，閃光燈發射出可見光，以實現在低光照條件下的目標捕捉。而4D成像雷達則通過天線接收毫米波，使用靜態隨機存取存儲器（SRAM）記錄目標圖像。

4D成像雷達探測目標的圖像猶如“點云”，可顯示車輛中人員或物體的尺寸、形狀、位置和移動等信息。從這些雷達圖像中，可以利用深度學習算法來識別它們是什么。當作為駕駛員或乘客監控系統的一部分時，PathPartner的4D成像雷達技術可用于檢測汽車內部的細微運動，甚至是人和動物的呼吸，例如在毛毯下熟睡的兒童或有寵物的地方。

三種類型的汽車雷達系統

汽車雷達系統可以根據探測范圍分為三種類型：近程雷達、中程雷達、遠程雷達。例如，近程雷達可以探測到距離車輛30米遠的物體。近程雷達通常放置在車輛的后角，以支持盲點檢測、追尾警告、交叉路口警報和泊車輔助。

中程雷達探測30米至80米范圍內的目標物體，遠程雷達探測距離大于80米的目標物體。遠程雷達用于汽車安全系統，如自動緊急制動（AEB）和自適應巡航控制（ACC）。

Pathparter駕駛員和乘客監控系統中使用的毫米波雷達具有較小的波長、更高的分辨率和精度，因此能夠更好地區分兩個目標。這款毫米波雷達由于其體積小、性能強勁，獲得汽車制造商的青睞。

PathPartner駕駛員和乘客監控系統

基于毫米波雷達的駕駛員和乘客監控

我們與PathPartner負責研發的副總裁Vinay MK進行了更深入的交流，他進一步解釋了公司在駕駛員和乘客監控系統中使用的底層技術。他還解釋了基于攝像頭的監控和使用4D成像雷達的監控之間的主要區別。

Vinay MK介紹說：“基于攝像頭的監控系統可以檢測到安全帶的正確使用和乘客的身高，這兩項都是安全氣囊正確打開的關鍵要素。基于攝像頭的監控系統可以用來監控駕駛員的活動，比如抽煙、打電話、吃飯、喝酒、玩手機、分心、睡覺等，它還可以探測到某些物體的存在，例如空的嬰兒座椅、懸掛的外套等。”

“4D成像雷達系統可以在低光照條件下完美地補充基于攝像頭的監控系統。”Vinay MK表示，“60GHz成像雷達系統有足夠的分辨率來探測嬰兒和成人呼吸頻率的差異。結合攝像頭和成像雷達的數據，在低光照條件下可以顯著提高檢測精度。”

“如果嬰兒在被毛毯覆蓋的嬰兒座椅之中，那么只有通過毫米波雷達系統才有可能探測并識別。”Vinay MK說，“在駕駛員和乘客監控系統中使用4D成像雷達的一個主要原因是準確檢測停放車輛中的小孩。”

根據一份美國國家安全委員會報告稱，每年平均有39名15歲以下的小孩在被遺留在車內后死于中暑。因此，美國國會于2019年制定了《Hot Cars Act》法案，要求美國交通運輸部（DOT）強制要求所有新車配備兒童存在檢測系統，例如PathPartner開發的駕駛員和乘客監控系統。

為了滿足汽車制造商的處理需求，PathPartner駕駛員和乘客監控算法已被移植到NextChip的Apache4上。Apache4是一款用于汽車高級輔助駕駛系統（ADAS）視覺系統的預處理器。據Nextchip稱，Apache4包括專用的圖像處理加速器子系統和優化的軟件，可以減少多達70%的計算需求。

NextChip預處理器Apache4

Vinay MK說：“Apache4預處理器以高度集成的方式提供先進圖像處理。與傳統基于向量的分類器相比，其先進的算法可提供更高的檢測率，使其成為歐洲NCAP大眾市場采用的非常經濟實惠的駕駛員和乘客監控解決方案。”

據麥姆斯咨詢此前報道，全球領先的芯片制造商高通（Qualcomm）與PathPartner展開合作，并在2019年CES上展出的概念車中集成了PathPartner駕駛員和乘客監控系統，引起了廣泛關注。今年1月，PathPartner宣布推出基于高通QCS605片上系統（SoC）的PT605模組和智能相機參考設計套件。

PathPartner駕駛員和乘客監控系統是圍繞多個小型卷積神經網絡（CNN）模型與自適應機器學習模塊結合而設計的。該公司表示，由于采用了這種混合架構，4D成像雷達技術可以利用高通提供的DSP，以非常低的占用空間處理60幀/秒的數據。

PathPartner表示，其高性能PT605模組和智能相機參考設計套件與公司的設備工程服務相結合，還使設備制造商能夠滿足汽車行業以外對4D成像雷達日益增長的需求，包括對支持人工智能的攝像頭和物聯網設備的需求。

“我們的攝像頭具有近紅外照明，可在不同的照明條件下實現可靠的性能。攝像頭模塊和處理單元通過高端汽車級FAKRA連接器連接，提供安裝靈活性和小外形尺寸攝像頭。”Vinay MK介紹說。

FAKRA（Fachkreis Automobil）是由德國開發的汽車級連接器的行業標準，可以在高達6GHz的頻率下運行，并且具有很高的可靠性。這些類型的連接器通常用于連接無線成像和視頻設備。

Vinay MK繼續說：“美國硅谷公司Cadence提供的硬件也支持我們的駕駛員和乘客監控系統。Cadence是一家高性能DSP和卷積神經網絡（CNN）加速器供應商，在汽車處理器方面取得了成功。通過將我們的駕駛員和乘客監控算法和模型移植到Cadence處理器上，我們已經為汽車原始設備制造商（OEM）做好了試驗準備。”

Cadence的Tensilica Vision DSP成像產品（PathPartner駕駛員和乘客監控系統已經采用）旨在運行用于成像和計算視覺的復雜算法，包括目標對象和人臉的識別與跟蹤、低光圖像增強、數字縮放、手勢識別等。Tensilica系列還為運行AI驅動的軟件提供出色的性能，這也是PathPartner選擇它的另一個原因。

PathPartner強大的駕駛員和乘客監控機器學習算法也在英特爾（Intel）Apollo Lake處理器以及恩智浦（NXP）IMX8x汽車級處理器上進行了應用展示。

Vinay MK在去年的一次采訪中對《汽車新聞》雜志說道：“我們的駕駛員和乘客監控系統正被部署在印度班加羅爾的卡車和貨車上。由于能夠在1.2GHz四核處理器上移植計算密集型算法，我們得到了來自汽車Tier 1廠商的令人鼓舞的反饋。”

在自動駕駛汽車能夠在沒有人為干預的情況下安全地駕駛車輛之前（預計還有很多年），PathPartner等公司正在制定有效的解決方案，以確保車輛處于自動駕駛模式下運行時，監控駕駛員行為，同時防止兒童或寵物無意中被遺棄在車里。

根據Market Insights展望，長期來看，駕駛員和乘客監控系統的需求在汽車行業將大幅增長，特別是如果通過法規要求所有乘用車都需要安裝駕駛員監控系統，例如美國銷售的乘用車都必須配備安全氣囊（駕駛員和乘客都需要）和倒車攝像頭。

PathPartner還與一家領先的汽車Tier 1供應商建立了戰略伙伴關系，該供應商的重點是在移動領域開發先進的視覺系統。PathParter拒絕在現階段透露該公司名稱。不過，Vinay MK證實，兩家公司正在共同開發一款基于攝像頭和毫米波雷達的駕駛員和乘客監控ECU，以支持系統的處理要求。“我們繼續與汽車Tier 1供應商合作，并在適當的時候披露他們的名稱。”Vinay MK介紹說，“PathPartner的戰略合作伙伴將在汽車級ECU上集成其乘員監控系統（OMS）和駕駛員監控系統（DMS）算法。”

AI應用：利用邊緣計算代替云計算

PathPartner還使用邊緣計算來處理傳感器數據，而不是將數據發送到云服務進行處理，因為這會增加延遲。對于汽車行業，邊緣計算可以提供更高的安全級別，并減少對蜂窩網絡傳輸數據的依賴——對于安全性至關重要的汽車系統而言，這種方法并不總是足夠可靠。

PathPartner營銷、業務開發和銷售副總裁Ramshisor Korada解釋說：“由于對數據隱私、通信延遲和不可靠連接的擔憂日益增加，將AI工作負載從云轉移到設備上的情況正在上升。”設備制造商正在擁抱這一改變，并帶來智能物聯網設備的下一波創新，例如用于視頻監控、儀表板攝像頭、無人機、視頻會議等。”

當然，駕駛員監控系統與現有汽車ADAS集成還面臨著一些挑戰。因為駕駛員監控系統需要與汽車的其他控制系統（包括制動和轉向系統）以及AI動力感知系統進行一定程度的集成設計，從而真正實現“人車合一“。

除了開發駕駛員和乘客監控系統，PathPartner還為所有主要的汽車Tier 1供應商提供先進的軟件集成、驗證和測試服務。該公司最近獲得了一家歐洲Tier 1供應商的車內占用檢測系統的投產訂單。

Vinay MK預測，汽車行業的首要重點將是低成本集成駕駛員監控系統，它可以處理大多數監控條件。對于汽車制造商來說，需要在性能和成本之間進行權衡。他還預測，由于成本的原因，大規模部署的首款駕駛員監控系統甚至可能不支持視線檢測。Vinay MK還表示：“像我們這樣的初創公司專注于先進的功能和復雜的模型，也必須經歷很長的孕育期。”

責任編輯：lq