智能網聯加速智能座艙技術發展

智能網聯是汽車行業發展最重要的趨勢之一，包括自動駕駛和車聯網兩個主流方向。各國政府包括中國政府在內，都在積極地制定智能網聯技術路線并不斷完善本國的智能網聯標準體系。不可否認，智能網聯技術及其標準體系都將對汽車座艙發展產生深遠的影響。

首先，我們來看以艙外感知為基礎的駕駛輔助，從奧迪 Piloted Driving 系統到特斯拉 AutoPilot 系統，都為汽車座艙提供了新的思路和方向。例如，增加了大量的道路路面顯示內容和對駕駛員的監測提醒。同時，在智能網聯技術驅動下，汽車座艙領域也產生了許多新技術和應用，例如,基于視覺骨架提取技術的手勢識別交互，基于雷達探測的手勢識別，智能語音識別與交互，增強現實（AR）HUD 等等。

其次，全球 OEM 也都在積極為智能座艙集聚力量，不斷在概念車上增加智能化新功能。例如，奧迪的情緒感知 LED 燈，豐田的駕駛員監控系統，奔馳的手勢、眼球追蹤和觸屏互動功能等等。同時，各汽車零部件供應商和半導體廠商也也在積極準備，比如，博世成立了汽車未來駕艙技術中心，來推動智能座艙發展。

智能座艙演進的四大階段

在此，我們預測一下汽車座艙的發展趨勢。我們認為汽車座艙會經歷傳統座艙、信息座艙、智能座艙和無人駕駛座艙4個發展階段。目前，汽車處于信息座艙階段，在輔助駕駛和智能化功能加載后，會逐漸轉入到智能座艙階段，最終實現無人駕駛座艙。到那個時候，整個汽車座艙將會發生非常大的變化，人車環境將深度融合，座艙將會具備智能自我提升能力。

信息座艙，也是當前消費者接觸最多的座艙形式。相對于傳統座艙，其艙內信息內容開始豐富，智能化能力初步顯現。但是，它呈現的內容基本集中在車身狀態信息、影音娛樂系統以及初級車聯網信息，且展現的智能化能力也比較弱，用戶體驗不是很好。與信息座艙相比，智能座艙的信息感知融合能力大大增強，信息來源將更加豐富，除了車身本體信息和 T-Box 的網絡信息，還會增加來自于駕駛員和乘客感知信息，以及來自于 V2X 的車外環境信息等等。這些信息感知會更加隱性，提供的功能也會更加智能。

智能座艙開發的技術挑戰

智能座艙之所以會遇到技術挑戰，是因為相對于傳統座艙和信息座艙，它需要大量新技術，尤其是 AI 技術支持。比如，對于年齡性別檢測，在現實生活中，年齡對一個人來講，有時候也很難判斷，那么，對于 AI ，相對精準的年齡識別可能會更難。對于疲勞檢測，疲勞因種族、年齡和個人的身體狀況不同都會表現出非常大的差異，目前全世界對疲勞的定義和疲勞檢測都還不統一。對于情緒識別，穩定精準的情緒識別也是一個很的挑戰，不同人的情緒存在著差異，不同文化、不同種族表現出來的情緒也有很大的區別。

不僅如此，智能座艙，除了要服務駕駛員，還要服務副駕和后排乘客，甚至物品（遺留），所以其服務的對象的廣度也是傳統座艙和信息座艙無法比擬的。

上述需求具體來說有哪些技術挑戰呢？

從圖像識別來看，就需要身份識別、狀態識別、行為識別、乘員識別這些功能；從語音識別來看，它需要語音控制、情感交互和聲紋識別。如何去實現這些功能？對于狀態識別，我們需要監測駕駛員頭部姿態，眼部狀態，嘴部狀態，情緒狀態。而識別這些狀態又需要進一步的細節化的特征監測，要對頻率特征、角度特征進行進一步識別。例如，我們可以通過感知眼睛的眨眼頻率來識別眼部狀態，進而感知一些隱性信息。

所以，我們可以看到，圖像和語音識別需要AI提供大量細節化的精準感知信息，而這些信息感知又會受到算力、客觀環境、人的姿態、配飾遮擋、假體攻擊和傳感器協同等多個因素限制，需要多種工程技術相互協同，這為智能座艙帶來了非常大的挑戰。汽車是一個大規模生產制造的產品，座艙智能化容易受到有限算力（廣義上還包括內存/Flash）的約束。如何在有限的算力、有限的內存，有限的 Flash 上實現準確可靠的AI功能，成本和性能的考驗非常大。

對于客觀環境，夜晚、順光、逆光等復雜環境會造成圖像過曝、過暗，清晰度、對比度不足等光學和圖像問題；智能座艙需要克服上述困難，實現駕駛員精準感知，也是挑戰重重。

同時，多傳感器融合對智能座艙，也是一個較大的挑戰。當前，很多智能座艙會配備智能語音系統和圖像識別系統，但是更多的是以單模態的形式工作，與駕乘人員單獨交互，座艙智能化能力有待提高。例如，以智能語音系統為例，語音系統會受到各種噪聲的影響，如車內的娛樂系統，艙外的風噪和胎噪等，都會對其產生干擾，語音系統被干擾激活后，就可能會產生錯誤推送。如果遇到駕駛員心情不好，給他推送了一首非常不適合的歌曲，就會導致用戶體驗進一步的惡化；對于圖像識別系統，反之亦然。

CPU， GPU，FPGA， SoC，誰更適合智能座艙？

對于上述挑戰，目前比較有效的關鍵技術和解決方案之一還是嵌入式的 AI 技術和構建在嵌入式 AI 技術之上的解決方案，尤其深度學習技術，它是智能座艙內智能化的應用具有魯棒性和相當強泛化能力的重要保障。除了 AI 技術以外，座艙還需要多傳感器的融合技術，如 Camera 和 TOF 傳感器融合去對抗假體攻擊，語音系統與圖像系統的融合彌補單模交互和單模 AI 感知的缺陷。

那我們先看一下嵌入式 AI 的主流開發過程。

以硬件芯片（計算資源）是否可編程可重構為標準，大致分為兩類，一類是 GPU、CPU 和通用的 SoC，它的硬件可編程能力比較弱；而另一類是 FPGA ，則具備比較強的硬件可編程能力，這是它們的主要差別。但是，在整個 AI 的開發過程當中，它們都需要完成浮點型的模型訓練、模型壓縮、定點化，進而生成AI模型和具體的 AI 應用。對于 GPU、CPU 和 SoC，用戶可獨立開發或者是借助半導體廠商提供的 AI 引擎，來加速或者簡化開發過程。例如，高通、安霸，他們都提供了一些便于用戶使用的 AI 開發工具，在許多 SoC 里面，也有相應的 AI 加速引擎。

FPGA 相對于 GPU 和 CPU 來講，效率會有一定的優勢，性價比也更高。因為FPGA 內部的 PL 部分能提供非常靈活的硬件可編程可重構能力，對于AI網絡會有更好的適配性。例如，FPGA 和 SoC（SoC就是指含有AI加速引擎的）相比，FPGA 在超低比特的量化，例如1比特或2比特方面會有非常強的優勢；而對于SoC，可能當前主流的量化主要集中在8 比特，它最底層計算單元可能是浮點型或者是長比特定點型，很難去支撐1比特或者是2比特的量化，效率不高。

從剪枝層面來講，不管是對稱剪枝還是非對稱剪枝，規則剪枝還是非規則剪枝，兩類器件可能會表現出類似的性能。而對新型網絡的支持，FPGA 會具有更強的優勢。大家都知道，芯片從流片到上市應用需要一個非常長期的開發過程，硬件可編程可重構能力弱的芯片很難匹配新型AI網絡的快速發展，存在一定的代差。

FPGA 如何解決智能座艙技術挑戰？

自行科技在 FPGA 開發積累了豐富的經驗，我們會把深度學習的底層網絡模塊化，通過 CNN 網絡結構解釋器，快速支持新型AI網絡模型。同時，在 FPGA 內部做了大量的并行優化，最終實現小芯片大網絡的計算效能。這就為智能座艙眾多 AI 技術應用需要的海量運算，提供了低成本和低功耗的可能。

智能座艙的快速發展，要求我們必須具備完整的 AI（深度學習）開發工具鏈，才能快速滿足各種智能化的需求。從算法層、軟件層到硬件層，自行科技開發了非常多的工具，去實現或加速整個 AI 的開發過程，目前主要是操作系統等，自行科技是借助第三方，其他的我們都是自己去開發，因此形成了一套高效的開發流程。

對于智能座艙解決方案，艙內多傳感器融合是智能座艙非常重要的一個支點，前面我也提到，最需要融合的就是聽覺和視覺。對于智能座艙，聽覺傳感器和視覺傳感器成本較低，相對可靠，具備大規模量產的可能性。而觸覺和生物智能感知傳感器，在汽車上大量應用裝配可能還需要更長時間。對于語音和圖像，融合需要貫穿整個語音和圖像的處理流程中來。喚醒、識別、語義、TTS 和業務，這是智能語音的主要的處理過程，每個過程都可能和圖像感知的某一個功能形成交互，提升感知置信度和準確度，最終從整體上提高智能座艙服務能力和質量。

例如，在做語義解析時，我們需要考慮當前駕駛員或乘員的狀態，甚至習慣；向其推送業務或進行智能交互時，需要考慮他的性格，表情，甚至身份，這種深度的圖像和語音融合，對于未來智能座艙發展將會起到至關重要的作用。

這是我們開發的一個聽覺和視覺融合的模型，它遵循語音和圖像自然處理的過程。例如，語音經常會因車外的胎躁和風噪產生誤喚醒和誤觸發，給客戶帶來不好的體驗。當語音喚醒被觸發后，我們可以考慮通過圖像人臉檢測技術來檢測是否有人臉？分析其觸發是駕駛員觸發，還是副駕或后排乘客觸發？甚至還可結合駕乘人員的分布情況。在識別到駕駛員或乘員語音時，我們會要求同步圖像檢測結果，包括嘴部檢測、眼部檢測、頭部檢測，甚至對視線檢測等。在進行智能人機交互時，我們會結合當前駕乘人員的情緒狀態、行為狀態、性別等來判斷其心理狀態和情景，以便做出更合適的智能交互。這種多模態交互，勢必會比單模態交互，給駕乘人員帶來更好的體驗。

但是，聽覺視覺融合難度和復雜度也不小，除了策略問題，還表現在同步問題。如果你在錯誤的時間，錯誤的語境下面去提取的另一種傳感器的結果，反而可能會造成更不好的結果。所以，多傳感器的融合，關鍵在于數據采集同步和后續的AI處理同步。

同步模型最關鍵的問題就是時序問題。我們需要去準確控制每個傳感器的識別過程、模塊處理時長，讓兩種傳感器相應的模塊得最佳匹配。這一方面需要算力的支持，也需要控制邏輯的支持，從這個角度來看，FPGA 和非 FPGA 器件同步方面存在的一定的差異。因為有硬件可編程部分，FPGA 的基礎數據采集同步精度會更高，AI 處理的同步性也會更高。AI 處理過程中的每一個任務、子任務、子模塊，例如人臉檢測、特征點抽取、頭部狀態檢測，都能被精確地控制和調度。

非 FPGA 器件，因為存在著操作系統，哪怕是實時操作系統，也會對 AI 的處理過程的控制精度造成影響，導致 AI 處理流程對操作系統依賴度比較大。當然這也不是說這類器件不能解決 AI 的處理同步性問題，只是說在大數據量、大 AI 算法或者大AI 任務面前，FPGA 的服務性會可能更好一些。因為隨著傳感器的增加，隨著每一種傳感器采集的數據量和處理需要算力的增加，那么它們會受到不同調度任務、不同區域、不同進程之間的沖突和競爭，導致時間可控性難度增大，而 FPGA的時序控制性會更好。

智能座艙及ADAS 方案與案例

目前，自行科技 DMS 產品在宇通客車已經前裝量產，而且在宇通客車上還提供了人臉開車門（Face-ID）的智能化功能；在卡車領域，公司今年會率先在重卡上量產DMS （Driver Monitor System，），現在也在積極與北美 ACS 公司聯合開發DMS和ADAS。在乘用車方面，我們是 Bosch 中國的 DMS 軟件合作商；在日本市場，公司是豐田通商的戰略合作伙伴，同時，公司與科大訊飛合作完成了多模態智能座艙的開發，在芯片和 IP 層面，我們也跟紫光和 Xilinx 深度合作，向他們提供 AI 的 IP 。在去年年底，廣汽資本戰略投資了自行科技，這也將促進自行在未來的快速發展。

同時，自行科技是中國國家 DMS 標準制定成員單位，這個國標將對智能座艙（乘用車與商用車）產生重要影響，最快2021年將會發布。對于商用車智能座艙，主要功能包括標準的 DMS 和 Face-ID；而在乘用車里面，除了 DMS 和 Face-ID以外，還需要 OMS 以及相應的手勢識別等功能。這是我們針對乘用車智能座艙開發的功能：左上角是一個比較全面的 DMS 功能，包含了駕駛員疲勞檢測，身份識別，視線追蹤、注意力檢測和情緒識別，左下角是一個基于乘員狀態檢測功能，包括后排兒童遺留提醒以及駕乘人員分布情況分析。右側4個應用主要展示乘用車的手勢識別和姿態識別功能，例如，點頭搖頭，結合座艙娛樂系統與語音系統對“噓”動作的識別，以及大面積遮擋下（墨鏡口罩）的表現。這個是智能座艙關于人臉識別和假體攻擊驗證 demo。對于活體檢測，如果是真正的活體，檢測結果是一個綠框；如果用照片去欺騙車內視覺系統，那就會被檢測出一個紅框。

自行科技除了提供智能座艙，還會提供相應的 ADAS 功能。我們支持 L0-L2+的道路感知功能，例如，基于 L0-L1的車輛/行人/車道線的預警功能以及 LKA/AEB等主動干預功能。這是綜合場景下的行人檢測、車輛檢測以及道路目標的檢測。這是支持 L2+ADAS 應用（例如 TJA、HWA 等）的感知融合技術，在夜晚的實際場景下我們實現了道路目標（車輛和行人）的識別，實現了基于道路目標的語義分割，同時基于單目視覺技術提取了圖像的深度信息，并且做了視覺里程計。

這些功能在不同的場景下都有獨特的應用，在不同的工況下都會產生獨特的價值。例如，在夜晚，光線光照度會受到影響，精準的視覺目標檢測有一定的困難，因此，需要基于一個更大計算量的AI網絡去做語義分割。當然，即使基于目標檢測和語義分割，也很難穩定地對道路上所有目標進行全工況的精準感知。此時，單目視覺深度信息提取，就是一個很好的補充措施。無論是否曾經被訓練過，是否被語義分割網絡分割過，它都能通過目標的深度視覺信息，對 L2+功能進行可靠地避障，或者是可靠地主動干預提供感知支持。當然這個視覺信息還是要跟其他傳感器，例如毫米波雷達、激光雷達做進一步的融合。視覺里程計也能對車輛的姿態進行預測，不管是前車還是本車，亦或是對道路趨勢的判斷。它大大增強了對道路目標的感知能力。

除此之外，我們也把前向 ADAS 技術用在了側向，例如，視覺 BSD 功能。目前在這類功能在商用車領域發展很快。

結 語

未來智能座艙的應用將是多模態感知和多模態的交互，而且首先需要實現的是視覺、聽覺的感知融合和交互融合，最終實現擬人化的感知和擬人化的交互。未來智能座艙將會集成 ADAS、IoT 和 V2X 等新興技術，是整車實現信息化、安全化、智能化和舒適化的重要部件。智能座艙的演進和發展，必將以 AI 技術為驅動力，汽車座艙必將成為一個更加智能的人類活動空間。