隨著汽車自動駕駛功能的日益普及，對駕駛員或車輛操作員的依賴越來越少，這意味著具有更高自主性的產品將需要復制駕駛員或操作員將執行的所有各種活動。車輛和機器人技術必須利用人類駕駛員或操作員使用的所有感官，不僅是視覺或觸覺，還包括聲音和嗅覺。

Kurt Dekoski

Business Development Manager

根據SAE的說法：

L2級自動駕駛意味著駕駛員必須監控環境。

L3級自動駕駛意味著不需要駕駛員監控環境。

當我們達到L4級自動駕駛時，車輛能夠自行監控環境。

瑞薩的Reality AI軟件已經在幫助監控當今的這種環境。不僅需要產品或車輛外部的環境才能實現高級駕駛或操作能力，還包括產品本身，以促進防御性駕駛和預測性維護。利用先進的信號處理技術來分析環境產生的不同信號，Reality AI工具可以促進更高水平的自動駕駛，使車輛或產品更加安全。

對于自動駕駛的各個行業，瑞薩提供Seeing with Sound解決方案，該解決方案通過包含聲音的傳感模態來增強當前的ADAS/AD傳感器套件。當我們開車時，我們不僅要利用我們的視覺，還要依靠聽覺甚至振動來導航周圍的環境。我們從周圍的環境中聽到了很多聲音，我們可能無法立即看到或根本看不到它們的來源。

借助SWS，我們使用車輛的麥克風或振動聲學傳感器來監聽緊急車輛、道路上的其他車輛、行人，甚至騎自行車的人，并結合RH850/U2A等瑞薩MCU。

Seeing with Sound（SWS）應用程序是《紐約時報》最近一篇文章中報道的一個問題的完美解決方案，當時機器人車輛從一輛拉著警報器的應急車輛前經過，從而延遲了其到達緊急情況。機器人車輛對迎面而來的消防車有清晰的視線，但是無法識別它，但如果采用了我們的SWS解決方案，它肯定會聽到警報聲。該車輛周圍的聽覺環境將提供視覺環境遺漏的信息，從而提供更好的整體環境圖像。

瑞薩的Seeing with Sound解決方案使車輛能夠聽到周圍環境，并根據感興趣的噪音（如緊急警報聲）做出決策。有時，我們會忽略開車時對聽覺的利用程度。即使在當前的車輛中，我們也看到分心駕駛會將注意力從道路上轉移開，并且隨著被動和主動降噪技術的應用，人類駕駛員更難識別來自環境的所有輸入。隨著SWS被納入車輛，這將使它們更安全，并且更少地依賴警覺的駕駛員。緊急車輛或自動緊急制動的法規和Move Over法律正在推動 SWS等各種技術的實施。

隨著各行各業繼續朝著自動駕駛方向發展，人工智能在車輛或產品運行狀態狀態監測以及防御性駕駛和預測性維護中的應用將繼續增加。作為駕駛員和操作員，我們通常會監控產品或車輛的健康狀況并安排必要的維護，或將車輛移動到安全的位置以便更好地觀察。瑞薩的Reality AI 工具可以分析來自各種傳感器（如加速度計、陀螺儀、IMU和麥克風等）的數據，以利用頻率/幅度或時域信號指標開發ML模型，以根據數學、統計和對數公式計算特征集。甚至可以使用壓力和溫度傳感器。為各種應用生成健康狀態和剩余使用壽命指標等結果，從過濾器到水或清洗泵到輪胎磨損等等。

考慮一下我們在開車時監控的所有不同變量，甚至是可以感覺到和聽到的小碰撞、碰撞、叮當聲和劃痕等異常情況。Reality AI Tools軟件可以分析這些不同的信號以對它們可能代表的內容進行分類。如果石頭或巖石撞到您的擋風玻璃怎么辦？在最初的電擊之后，駕駛員能夠確定應該采取哪些預防措施。未來的汽車如何知道發生了撞擊？在許多不同的情況下，包含聲音甚至觸摸或感覺可以提高自主能力。隨著各行各業都在努力實現自動駕駛，自動駕駛產品將如何適應不同的條件，以確保駕駛員和乘客的安全和舒適？

瑞薩電子(TSE: 6723)

科技讓生活更輕松，致力于打造更安全、更智能、可持續發展的未來。作為全球微控制器供應商，瑞薩電子融合了在嵌入式處理、模擬、電源及連接方面的專業知識，提供完整的半導體解決方案。成功產品組合加速汽車、工業、基礎設施及物聯網應用上市，賦能數十億聯網智能設備改善人們的工作和生活方式。