NVIDIA DRIVE IX 駕駛艙感知軟件可提供高級駕駛員監控、個性化、艙內情景理解和直觀的 AI 助手。

編者注：這是我們 NVIDIA DRIVE Labs 系列的新發布文章，它從工程學的角度探討了自動駕駛汽車所面臨的個別挑戰，以及 NVIDIA DRIVE 如何應對這些挑戰。單擊此處，閱讀我們的所有自動駕駛相關文章。

即使高級駕駛員輔助系統能夠自動執行更多駕駛功能，人類駕駛員也必須集中精力管控好方向盤，并建立對 AI 系統的信任。

傳統的駕駛員監控系統通常不了解駕駛員的認知狀態、行為或其他活動等微妙線索，而這些線索可以指明駕駛員是否已準備好接管駕駛控制。

NVIDIA DRIVE IX 是一個可擴展的開放式駕駛艙軟件平臺，提供 AI 功能，可實現全方位的艙內體驗，包括采用增強現實和虛擬現實的智能可視化、對話式 AI 和內部感知。

駕駛員感知是該平臺的一個關鍵要素，它使 AV 系統能夠確保駕駛員保持警覺并關注路況。它還使 AI 系統能夠執行更直觀、更智能的駕駛艙功能。

在本期的 DRIVE Labs 專題中， NVIDIA 專家展示了 DRIVE IX 如何借助各種檢測功能感知駕駛員注意力、活動、情緒、行為、姿勢、語音、手勢和情緒。

多 DNN 方法

面部表情是需要進行解讀的復雜信號。一個簡單的皺眉動作或眼神變化可能具有多種含義。

DRIVE IX 使用多個 DNN 來識別人臉，并解讀車輛乘客的表情。第一個 DNN 會檢測面部本身，第二個 DNN 則識別基準點或參考標記，例如眼睛位置、鼻子等。

基于這些基礎網絡，各種 DNN 發揮作用，確定駕駛員是否正在關注路況，或者是否需要 AI 系統執行其他操作。

GazeNet DNN 通過檢測駕駛員眼睛的矢量并將其映射到道路上來追蹤視線，從而檢查他們是否能夠看到前方的障礙物。SleepNet 用于監測疲勞程度，區分眼睛是睜開還是閉著，通過狀態機確定疲勞程度。最后，ActivityNet 用于追蹤駕駛員的活動，例如手機使用情況、雙手是否離開方向盤以及駕駛員是否關注路況。 DRIVE IX 還可以檢測駕駛員是否正確坐在駕駛座上，以專注路況。

除了駕駛員注意力之外，單獨的 DNN 還可以確定駕駛員的情緒，這是衡量駕駛員能否安全駕駛汽車的關鍵指標。從基本人臉檢測和基準點網絡接收數據后， DRIVE IX 可以將駕駛員的狀態分類為快樂、驚訝、平和、厭煩或生氣。

它還可以判斷駕駛員是在瞇眼還是在尖叫，指明駕駛員的可見度或警覺性以及精神狀態。

可定制的解決方案

汽車制造商可以利用 DRIVE IX 中的駕駛員監控功能，開發基于 AI 的高級駕駛員理解功能，以個性化汽車駕駛艙。

汽車可以進行編程，在駕駛員的注意力從道路上移開時提醒駕駛員；如果駕駛員的情緒高度緊張，駕駛艙可以通過調整設置來緩解駕駛員的情緒。

除了駕駛員監控，還有更多其他功能。上述 DNN 與手勢 DNN 和語音功能共同支持多模態對話式 AI 服務，例如自動語音識別、自然語言處理和語音合成。

這些網絡可用于艙內個性化和虛擬助理應用程序。此外，基本人臉識別和人臉關鍵點模型可用于基于 AI 的視頻會議平臺。

隨著自動駕駛技術的發展， DRIVE IX 的駕駛員監控功能有助于在駕駛員和 AI 系統之間建立信任，從而打造更安全、更愉快的智能汽車體驗。