2017年12月，瑞士洛桑聯邦理工學院（EPFL）的科研人員提出了一種旨在避免人工智能系統失控的方法。

在人工智能中，機器執行具體的動作，觀察結果，相應地調整其行為，然后觀察新的結果，再一次調整行為，如此循環往復，從這種迭代過程中進行學習。但是這個過程會失控嗎？可能會。“人工智能總是嘗試避免人類干預，創造不可被停止的情形?！边M行這項研究的瑞士洛桑聯邦理工學院（EPFL）分布式編程實驗室（Distributed Programming Laboratory）教授表示。這意味著人工智能工程師必須防止機器最終學會規避人類的指令。研究該問題的瑞士洛桑聯邦理工學院研究人員已經發現了一種方式，供人類操作者控制一組人工智能機器人；2017年12月4日周一，他們將在美國加州舉行的神經信息處理系統大會（Neural Information Processing Systems, NIPS）上展示其發現。他們的工作極大地促進了自動駕駛車輛和無人機等的發展，讓這種設備能以群為單位安全地運行。

人工智能中所用的一種機器學習方法是強化學習，代理進行某些動作而得到回報。這是從行為心理學借鑒的一種技術。工程師將這種技術應用到人工智能，采用得分制，機器學習采取了正確的動作就得分。例如，機器人將一組盒子正確地堆起來就得一分，從外面取出一個盒子又得一分。但是，如果譬如雨天，機器人到外面去拿盒子的時候被人類操作員中斷，機器人就會學到最好待在室內堆盒子，盡可能多得分?！疤魬鸩辉谟谧柚箼C器人，而在于對它編程，讓中斷不會改變它的學習過程——也不會促使其優化自己的行為來避免被阻止?！毖芯咳藛T表示。

01

從單獨的機器到整個人工智能網絡

2016年，谷歌DeepMind和牛津大學人類未來研究所（Future of Humanity Institute）的研究人員聯合開發了一種學習策略，防止機器從受到的中斷學習從而變得不可控。例如，在上個例子中，機器人的回報——所得分數——與下雨的概率有關，更鼓勵機器人去取外面的盒子。“這種情況下，解決方案很簡單，因為我們討論的只是一個機器人?！毖芯咳藛T說。

但是，人工智能被越來越多地用于涉及了數個機器的應用，例如路上的無人駕駛車輛，或者空中的無人機。“這會讓事情復雜得多，因為機器開始相互學習——在受中斷的情況下尤為如此。它們不僅會學習自己如何被中斷，還會學習其他機器如何被中斷。”另一位研究人員指出。

研究人員舉了一例：在狹窄道路上行駛的兩輛無人駕駛汽車無法超過對方，它們就互相跟隨。它們必須盡快到達目的地而不違反任何交通規則，車上的人隨時能接管車輛的控制權。如果在第一輛車中的人經常剎車，那么第二輛車每次都會調整自己的行為，最終就搞不清楚何時剎車了，可能是離第一輛車太近或者開得太慢。

02

讓人類具有最終決定權

瑞士洛桑聯邦理工學院的研究人員致力于通過“安全的可中斷性”來解決這種復雜問題。他們的突破性方法讓人類在必要時中斷人工智能的學習過程，同時確保這種中斷不會改變機器的學習方法?！昂唵蝸碚f，我們將‘遺忘’機制加入了學習算法，本質上是刪除機器內存的一些位。這有點像電影《黑衣人》（Men in Black）中的那種閃存設備?！毖芯咳藛T表示。換言之，研究人員改變了機器的學習和回報體系，讓其不受中斷的影響，就像是如果父母懲罰一個孩子，但不會影響到家中其他孩子的學習過程。

“我們研究了現有算法，展示了無論人工智能系統多復雜、涉及的機器人有多少、中斷的類型如何，安全的可中斷性都能成功。如果我們將其用于‘終結者’（Terminator），仍然可以取得成功。”研究人員說。

目前，運用強化學習的自動駕駛汽車還不常見。“如果犯錯的后果微不足道，那這個系統真的工作得很不錯?！毖芯咳藛T說，“在沒有人類監督的完全自主情況下，因為安全原因該系統就不能用于城市的無人駕駛穿梭巴士中。但是，我們可以模擬穿梭巴士和該城市，運行人工智能算法，讓穿梭巴士系統在學習過程中得分和扣分。例如，無人駕駛汽車特斯拉（Tesla）正在進行的就是這種模擬。一旦系統已經進行了足夠的這種學習，我們就可以在低探索率的無人駕駛汽車上安裝這種預訓練的算法，這能使應用更廣泛?！碑斎涣耍矔_保人類仍然具有最終決定權。