困駕存在巨大的安全隱患。據(jù)美國國家公路交通安全管理局估計，2017 年，美國約有 90，000 起車禍由困駕司機所致，造成約 50，000 人受傷和 800 人死亡。雖然汽車制造商致力于研發(fā)自動駕駛汽車，但他們尚不能將駕駛員從駕駛?cè)蝿罩袕氐捉夥懦鰜怼Ｔ谶@個不可預知的世界里，充斥著漫不經(jīng)心的行人、惡劣的天氣和糟糕的路況。在這種場景中導航車輛，即使最先進的人工智能 （AI） 技術也會捉襟見肘。在可預見的未來，大多數(shù)車輛都不會超越 3 級自動駕駛水平，這就要求駕駛員時刻保持警覺并在車輛發(fā)出請求時立即接管。困駕一直是個問題。汽車必須確定駕駛員的意識狀態(tài)。對此，潛在的解決方案不盡相同。一些解決方案是利用系統(tǒng)跟蹤駕駛員的眼皮，但這些系統(tǒng)在某些照明條件下或當駕駛員轉(zhuǎn)頭看向別處時會出現(xiàn)問題。另一些解決方案是評估駕駛員的駕駛動作，例如轉(zhuǎn)動方向盤。但是，在自動駕駛汽車中，當駕駛員沒有轉(zhuǎn)動方向盤時，這種評估則不起作用。不過，格拉茨科技大學的一項新研究發(fā)現(xiàn)了一種新方法，可通過巧妙應用人工智能從心臟電活動中確定犯困情況。

數(shù)據(jù)中的模式

訓練強大的機器學習分類算法需要大量經(jīng)過標注的示例。為了生成經(jīng)過標注的訓練示例，奧地利團隊使用了定制的駕駛模擬器。這可不是某種電子游戲或您在電子游戲廳內(nèi)看到的賽車座椅。格拉茨自動駕駛模擬器 （ADSG） 基于的是 MINI Countryman 整車。八個液晶面板將駕駛員環(huán)繞，音響系統(tǒng)發(fā)出風噪和發(fā)動機噪音，低音揚聲器使整個裝置都在振動。格拉茨科技大學工程系教授兼團隊負責人 Arno Eichberger 說道，“這個想法非常切實可行。這對于文中提及的困駕專項研究尤為適用，因為這種單調(diào)的駕駛場景仿真起來沒那么難。”他們于是重現(xiàn)了夜間在無任何其他車輛的高速公路上駕駛的場景。“對于一些司機來說，他們獲得了完整的微睡眠，”他說道。該團隊收集了 92 位司機的數(shù)據(jù)。每位參與測試的司機要來實驗室兩次：一次是在充分休息后，一次是在感覺疲勞時。在疲勞狀態(tài)下受試時，他們至少需要有 16 個小時處于清醒狀態(tài)，或者他們前一天晚上的睡眠時間不超過 4 個小時。每次前來受試時，他們都參與了手動駕駛和自動駕駛兩種場景。“我們的基本想法是建立一個獨一無二的困駕司機大型數(shù)據(jù)庫，該數(shù)據(jù)庫也可以供公眾使用，”Eichberger 表示。雖然研究人員收集了駕駛員的各種數(shù)據(jù)，包括眼球運動、呼吸、出汗、注視方向和瞳孔擴張情況，但這項研究完全依賴于通過心電圖 （ECG） 電極測量的心臟活動。客觀地衡量犯困程度仍然是一項研究挑戰(zhàn)。但格拉茨科技大學的研究人員在進行相關研究時，邀請交通心理學家觀看駕駛員的錄像，并根據(jù)駕駛員打哈欠、打瞌睡和長時間眨眼給出他們的最佳評估，從而創(chuàng)建了真實值標簽。這些心理學家提供了以下四個標簽之一：警覺、中度犯困、極度犯困和入睡。這項研究將后兩者合并為極度犯困。Eichberger 表示，應至少有三個類別的犯困程度，因為如果只有兩個類別（警覺和極度犯困），則當汽車發(fā)出警告，提醒您處于極度犯困狀態(tài)時，您已經(jīng)處于危險之中了。

深度睡眠

Eichberger 團隊使用了一種稱為深度學習的機器學習方法。該方法涉及多層神經(jīng)網(wǎng)絡。他們構建了卷積神經(jīng)網(wǎng)絡，這是一個專用于處理空間輸入的網(wǎng)絡。這類算法可用來查看貓的照片，辨別其中復雜的模式，并將該圖像識別為貓。以往的困意檢測方法使用手動編碼規(guī)則來處理 ECG 信號，這些信號以復雜的波形形式傳播而來。每次心臟跳動時，心電圖中就會生成波形 R 峰。程序員以編程方式讓軟件尋找這些 R 峰，測量它們之間的時間長度，并計算這些時間跨度的變化程度，從而生成與困意相關的心率變異性統(tǒng)計數(shù)據(jù)。但這些方法可能會遺漏隱藏在 ECG 信號中的其他重要信息，而研究人員并不知道要尋找這些信息。深度學習的強大之處在于，它能夠找到那些微妙的模式，這是人類憑經(jīng)驗產(chǎn)生直覺的方式。那么，如何將專為圖像設計的卷積神經(jīng)網(wǎng)絡應用于只是一系列電振幅的 ECG 信號呢？為什么要這樣做呢？第一個問題的答案是，將波轉(zhuǎn)換為圖像。Sadegh Arefnezhad 以第一作者的身份在 Energies 上發(fā)表過一篇有關該新方法的論文。他使用 MATLAB 中的 Wavelet Toolbox 創(chuàng)建了小波尺度圖。時間序列數(shù)據(jù)可以被視為許多不同頻率的短時“小波”的總和。MATLAB 將波分解成這些更簡單的小波。x 軸表示時間，y 軸表示頻率。在小波尺度圖中，每個點的亮度代表該頻率的小波當時的振幅。為什么要在將波饋送入神經(jīng)網(wǎng)絡之前將其轉(zhuǎn)換為著色圖像？MathWorks 首席軟件工程師 Wayne King 說道，“這一思路是，信號的時頻視圖可以使相關特性比原始時域數(shù)據(jù)更明顯。重要的是，通過創(chuàng)建圖像，研究人員能夠充分利用卷積神經(jīng)網(wǎng)絡，這是計算機科學家們多年來精心打磨的成果。”Arefnezhad 將這些圖像連同真實值困意標簽一同饋送入一個神經(jīng)網(wǎng)絡中。該神經(jīng)網(wǎng)絡是他在 MATLAB 中使用 Deep Learning Toolbox 構建的。Arefnezhad 表示，“這款工具使用起來非常方便。我可以添加不同類型的層，并輕松創(chuàng)建自己的神經(jīng)網(wǎng)絡。”他訓練該神經(jīng)網(wǎng)絡將 ECG 信號分類為警覺、中度犯困或極度犯困。該網(wǎng)絡會根據(jù)對錯進行自我調(diào)整。

夜晚，一位參與者坐在測試車內(nèi)，佩戴著 ECG 和其他設備，正接受心臟活動、眼球運動、注視方向和瞳孔擴張情況監(jiān)測。（圖片所有權：Eichberger et al.，格拉茨科技大學）

三張圖顯示 ECG 信號頻率如何隨著受試者逐漸犯困而增加。對于警覺的駕駛員，其頻率為 0.5 赫茲或更低，而對于極度犯困的駕駛員，其頻率則達到 1 赫茲。例如，在處于 （a） 警覺、（b） 中度犯困以及 （c） 極度犯困這三種狀態(tài)下，駕駛員的 ECG 信號片段及其相應的小波。（圖片所有權：Arefnezhad et al.，格拉茨科技大學）

使不均衡的數(shù)據(jù)均衡

網(wǎng)絡的末端是一個重要層，它會考慮到數(shù)據(jù)不均衡這一現(xiàn)實問題。例如，在人工駕駛測試中，只有 6% 的樣本來自極度犯困的駕駛員。如果算法只是猜測其他兩個標簽，那么它幾乎每次都是正確的。因此，Arefnezhad 增加了一個層，以在訓練過程中對極度犯困的樣本給予更多的關注。他說道，其他一些研究人員饋送的算法數(shù)據(jù)是在犯困和不犯困之間平均分配的數(shù)據(jù)。神經(jīng)網(wǎng)絡包含由定義虛擬神經(jīng)元之間的連接強度的參數(shù)。這些參數(shù)在訓練過程中會發(fā)生變化。研究人員還在訓練期間使用了超參數(shù)。他們設置這些值來控制學習率（參數(shù)為響應反饋而發(fā)生變化的程度）以及在訓練期間添加的噪音量（這會影響網(wǎng)絡的穩(wěn)健性）。有些人憑經(jīng)驗選擇超參數(shù)，有些人則使用窮舉搜索法來進行多次嘗試。Arefnezhad 采用了貝葉斯優(yōu)化。這種優(yōu)化方法運用概率論隨著時間的推移縮小搜索范圍。該團隊基于前所未見的圖像測試了該網(wǎng)絡，并將其表現(xiàn)與其他兩種機器學習方法進行了比較，這兩種方法都依賴于從 ECG 數(shù)據(jù)中手動提取的特征。首先，他們收集了 R 峰之間的所有區(qū)間。然后，他們計算了 11 個值，如一組區(qū)間內(nèi)的標準差。他們將這些值饋送到以下兩個分類器之一：k 最近鄰 （KNN） 模型和隨機森林。在這些基線方法中，最佳的方法莫過于隨機森林。采用該方法在手動和自動駕駛模式下對困意進行分類時，其精度分別達到了 62% 和 64%。深度學習神經(jīng)網(wǎng)絡又比該方法略勝一籌。其精度分別達到了 77% 和 79%。讓 Arefnezhad 感到驚訝的是，它竟然能夠在尺度圖中找到正確的線索。他看著這些圖像說道，“您看不出警覺的司機和中度犯困的司機之間有太大區(qū)別，但神經(jīng)網(wǎng)絡很容易識別出來”。

使用 ECG 信號對駕駛員犯困程度進行分類的兩種不同方法：小波尺度圖或衍生的心率變異性特征。使用貝葉斯優(yōu)化方法對 KNN、隨機森林和 CNN 模型的超參數(shù)進行了優(yōu)化。（圖片所有權：Arefnezhad et al.，格拉茨科技大學）

展望前路

Eichberger 和 Arefnezhad 期待未來有許多方法可用于此項研究。在實際應用中遇到的明顯障礙是，他們使用胸部電極收集 ECG 數(shù)據(jù)，但駕駛員日常并不會佩戴這種電極。其他傳感器，例如智能手表，可能會取代胸部電極。研究人員還在開發(fā)能夠從膚色變化中檢測出脈沖的攝像系統(tǒng)。Eichberger 說道，“研發(fā)推向市場的解決方案并非我們的本意。我們旨在證明，可行技術使我們以目前所知的方法無法企及的方式對駕駛員犯困程度進行更有效的分類成為了可能。”他們還希望將得到的 ECG 數(shù)據(jù)與其他數(shù)據(jù)相結合，使整個系統(tǒng)更加穩(wěn)健，以防其中一個信號失效。他們想要創(chuàng)建個性化的分類器，因為信號可能因人而異。如果對分類器進行微調(diào)，則駕駛員可能需要在模擬器中花些時間提供數(shù)據(jù)。Eichberger 和 Arefnezhad 計劃從固定模擬器轉(zhuǎn)向測試軌道。這樣做可能有助于他們解決另一個問題：“目前，應該如何設計車輛發(fā)生故障時啟動的接管程序尚不得而知，”Eichberger 說道。“它該如何告知駕駛員接管車輛？它應該允許駕駛員在多長時間內(nèi)做出響應？”如果汽車能使駕駛員遠離中度犯困的狀態(tài)，則接管車輛會順利得多。Eichberger 說道，“因此，知道駕駛員何時剛進入中度犯困狀態(tài)，甚至在此之前可能就已知道，這不啻為巨大的進步。”

編輯：黃飛