波音737max客機墜毀事件給人們啟示，盡管自動化系統給人們帶來便利，但是過度依賴系統可能會產生嚴重的后果。

最近，我問我的同事他們是否曾被自動駕駛功能所嚇到，有人和我說英菲尼迪Q50混合動力車的自動制動令人十分不快，因為當她在緊急轉彎前，自動制動會讓她的車突然放慢速度，結果她就被后方的車追尾了；另一個人則非常煩他的現代汽車的嘟嘟聲，因為他偏離附近的車道時它就會發出警報；三分之一的父親常常用他家里的鑰匙扣啟動他的豐田凱美瑞，開車去上班，當他開車回家時他發現無法啟動汽車。根據愛荷華大學全國高級駕駛模擬器主任 Daniel McGehee 的調查，大約40％的美國司機表示ADAS經常做出令超出他們預期的行為。

近四十年來一直與自動駕駛軟件密切合作的飛機駕駛員對此類事件總結為8個字：自動化帶來的意外（autonomous surprises）。

其中一個特別悲慘的例子大約發生在10月份，當時獅航公司737 Max在印度尼西亞海岸墜毀，造成189人死亡。墜機事件仍在調查之中，但很快就有人猜測是事故發生的原因來自于波音導航軟件MCAS，該軟件設計用于將飛機指向下方。作為該型號重型前置發動機的修正裝置，MCAS故障可能導致飛機急速俯沖。

然后，就在上周日，一架埃塞俄比亞航空公司的737 Max從亞的斯亞貝巴起飛后墜毀，機上人員全部遇難。再一次，所有的目光都集中在MCAS上。周二，達拉斯晨報登載了一系列關于飛機自動駕駛功能的飛行員投訴。歐盟、中國和其他公司已將所有737 Max飛機停飛以應對墜機事故，波音公司表示將更新該飛機的飛行控制軟件。

波音公司在2017年推出的所有新型號737上安裝了MCAS，但是他們認為這些變化非常小，無需重新培訓飛行員，甚至不需要對新軟件提出警告 - 包括新的覆蓋控制，并且該觀點被美國和歐盟監管機構所支持。

墜機事件提醒人們，即使商業航班變得高度自動化，飛行員仍然需要很大程度上了解飛行飛機的導航系統，并知道如何以及何時應該覆蓋控制飛機。737 Max的墜毀可能是對此的最好證明。一般來說，這種人機生態使得航空旅行非常安全：美國十年來沒有一家航空公司消亡。

但美國宇航局艾姆斯研究中心的飛行員和研究心理學家史蒂夫卡斯納說，自動化并沒有讓飛行員的工作變得更容易：“你認為這會使飛行員變成一個愚蠢的角色，但事實上是，你必須比以往任何時候都更加了解才行。”

卡斯納是許多飛行員和分析師之一，他覺得30多年前在飛機上引入自動化與今天的自動駕駛汽車非常類似，因為司機們都準備把駕駛負擔交給自動駕駛。

“歷史總是驚人的相似，這一切就像1983年一樣，”卡斯納說，在大多數航空公司將自動化成功部署之后，他認為汽車制造商可能會過度使用不熟悉的技術解放人們的雙手，“我非常擔心即使航空已經向我們展示了如何做到這一點，我們也可能在汽車方面犯很大的錯誤，在車里等車自己到達目的地可不是我們的強項。”

卡斯納與認知心理學家埃德溫哈欽斯一起撰寫了一篇新論文“ 我們需要讓司機了解什么？制定部分自動駕駛汽車的駕駛員最低培訓標準”，他們的一個主要觀點是，如果沒有了解系統運行方式的飛行員，自動化就不會像現在這樣安全。

“無論737 Max墜機事件的調查出來的結果如何，人機界面都將是一個重要的因素，”前戰斗機飛行員兼杜克大學人類和自動化實驗室負責人米西卡明思說。多年來，她一直擔心自動駕駛汽車的問題，駕駛員不僅會被自動駕駛技術分散注意力，不了解其能力而忽視其警報，它也逐漸削弱了他們的駕駛技能，使他們無法在恰當的時機做出正確的操作。（使用自動化的飛行員很大程度上保留了他們的駕駛技能，但他們的決策技能受到了影響。）

“他們讓人們陷入虛假的安全感，這是我們在航空領域學到的一個教訓，”卡明思解釋道，“只要是活人一般都可以拿到駕駛證，你可以強制人們接受某種標準化培訓，但其實并不會不會這樣做，因為大家都很懶。這就是我反對Level 3級自動駕駛的原因，你甚至不能保證所有人都接受被美國聯邦航空局的年度檢查，那你怎么能指望機器永不出問題呢？”

這就是在空中和汽車之間的重大差異，飛行比走路更安全。對于司機和行人來說，汽車出行仍然是非常危險的，因為對汽車危險的界定條件實在是太低了，比如，在密閉的車庫啟動汽車，因為一氧化碳中毒死了二十幾個人，那不是將車召回的理由；同樣的，兩名車主在“自動駕駛”功能開啟時撞上一輛卡車當場車毀人亡也不是召回所有特斯拉的理由。

McGehee表示，2019年的大多數汽車型號中廣泛引入的自動駕駛技術比如緊急制動，車道變換警報，自適應巡航控制等等，可能會減少車禍的總體數量。（聯邦法規不要求將關于高級駕駛輔助技術的數據包含在碰撞記錄中，因此很難確定它的作用。）這些數據可能存在欺騙性，但也許你必須打破這些誤解，才能創造出一個自動駕駛的烏托邦。

大多數自動駕駛汽車學者都說，如果自動駕駛研究的最終結果是完全不需要人類控制（正如谷歌的Waymo所做的那樣），那將非常有利于安全。隨著人類適應各種技術，這將是一個艱難的過渡時期。這些自動駕駛技術很少是完美的，有些需要監督，有些則需要訓練。

“機器人為人類提供了出色的備用驅動力，人類為機器人制造了可怕的備用驅動器，“卡內基梅隆的自動駕駛專家Costa Samaras說。但是，每年有成千上萬的人死于酒后駕車，還有數千人死于沒有系安全帶，因此很難看到駕駛員考試將學習自動化技術作為首要任務。

在某種程度上，這也是非常矛盾的，比如，克萊斯勒于1958年推出了“自動駕駛儀”，這項技術很快將作為“無腳駕駛”廣告給女司機。今天我們知道它是巡航控制，它的作用是什么呢？只需按一下按鈕，你的車就可以以70英里/小時行駛。巡航控制聽起來就像一個死亡陷阱，實際上，很難想象如果沒有了這個技術，應該如何去開長途高速公路。

但是過了六十年之后，還會有人知道這個技術嗎？