隨著監管者、保險公司和醫療賬單服務公司開始在其軟件系統中使用人工智能，一些企業可能會學著利用基本算法的漏洞鉆空子。

去年，美國食品藥品監督管理局（Food and Drug Administration）批準了一種醫療設備上市。通過拍攝用戶視網膜的圖像，它就能自動篩查糖尿病患者因視網膜病變而失明的征兆。

這種新型的人工智能技術正在醫學領域刮起一陣迅猛的旋風。利用新技術，科學家開發了不同的系統，能夠通過各種各樣的影像來識別疾病的征兆，這些影像包括肺部 X 光片和 C.A.T.（又稱計算機 X 射線軸向分層造影掃描儀）大腦掃描圖像等。這些系統承諾，醫生能通過它們以更低成本且更有效地評估病情。

類似的人工智能系統很有可能“走出”醫院，為醫療保健監管者、醫療賬單服務公司和保險公司的計算機系統提供幫助。人工智能有助于醫生檢查病人的眼睛、肺部和其他器官；同理，它也能夠幫助保險公司確定賠付金額和保費。

理想的情況下，這些系統將有助于提高醫療保健系統的效率。但美國哈佛大學和麻省理工學院的一組研究人員警告說，這些系統可能會產生意想不到的后果。

本周四（當地時間 3 月 21 日），上述研究人員在《科學》（Science）雜志上發表了一篇論文，提出了發生“對抗攻擊”（adversarial attacks）的可能性。對抗攻擊是指通過操縱小塊的數字數據，達到改變人工智能系統行為的目的。例如，如果有人篡改了肺部掃描影像的一些像素，就會誤導人工智能，把沒病的判斷成有病，或者把有病的誤判成沒病。

論文的作者指出，未來幾年，軟件開發商和監管者在構建人工智能系統和進行相應的技術評估時，必須把上述可能發生的情況考慮在內。黑客可能入侵系統，造成病人誤診，但這還不是最讓人擔心的問題。更讓人感到關切的是，醫生、醫院和其他組織可能會操縱醫療賬單或保險軟件上的人工智能系統，想方設法獲得盡可能多的收入。

塞繆爾·芬利森（Samuel Finlayson）是哈佛大學醫學院和麻省理工學院的一名研究人員，也是上述論文的作者之一。他提出警告的原因是：醫療保健行業有大量的資金往來，其計算機系統中存有醫療保健的跟蹤訪問記錄，利益相關者只需稍微改動系統的醫療賬單編碼和其他數據，便可從系統中騙到錢。而人工智能可能會使該問題變得更嚴重。

芬利森稱：“醫療信息本身就很不明確，再加上財務激勵政策經常相互矛盾，使得高風險決策因一點點信息變動就會出現搖擺。”

這篇新發表的論文，對所謂“對抗攻擊”發生的可能性，表示了更多的關切。從人臉識別服務和無人駕駛汽車到虹膜掃描儀與指紋識別器，這類攻擊的目標可謂包羅萬象。

很多人工智能系統在設計和構建時都會采用某種方式，其中包含一個基本層面；而對抗攻擊正是充分利用此處的缺陷實施的。人工智能越來越多地受到神經網絡的驅動；神經網絡是一種復雜的數學系統，主要通過分析海量數據自主學習如何完成任務。

例如，神經網絡可通過分析成千上萬的眼部掃描圖，學會如何篩查糖尿病患者因視網膜病變而失明的征兆。這種“機器學習”是建立在巨大規模的基礎上的，因為人類的行為可通過無數不同的數據塊定義；但機器學習也可能產生自己意想不到的行為。

2016 年，美國卡耐基梅隆大學的一組研究人員在眼鏡框架上印出各種圖案，成功騙過了人臉識別系統，讓其誤以為戴眼鏡的是名人。當研究人員戴上這些眼鏡時，系統把他們錯誤識別成米拉·喬沃維奇（Milla Jovovich）和約翰·馬爾科維奇（John Malkovich）等名人。

一個由中國研究人員組成的團隊也設計了類似的騙局。他們讓人戴著帽子，把紅外光從帽沿下方投射到這些人的臉上。紅外光是人眼不可見的，但它可以欺騙人臉識別系統。戴帽子的人是亞洲的科學家，但系統會誤認為他是另外一個人，比如說白人音樂家 Moby。

研究人員也發出警告：對抗攻擊能欺騙無人駕駛汽車，讓它們看錯東西。只需對路標做較小的改動，就可導致汽車把停車標志錯誤地識別為避讓標志。

去年年底，美國紐約大學坦登工程學院（Tandon School of Engineering）的研究團隊設計了虛擬指紋，騙過了 22% 的指紋識別器。也就是說，使用這些指紋識別器的所有手機或個人電腦，其中 22% 可能被解鎖。

這項研究產生了深遠的影響，因為生物識別安全設備和其他人工智能系統得到了越來越普遍的應用。印度已經實施了全球最大的基于指紋的身份識別系統，用于分發政府補貼和分派服務。各大銀行正在給自動取款機加上人臉識別技術；與 Google 同屬一家母公司的 Waymo 目前正在對無人駕駛汽車進行上路測試。

現在，芬利森及其同事已經在醫學領域發出了同樣的警告：隨著監管者、保險公司和醫療賬單服務公司開始在其軟件系統中使用人工智能，一些企業可能會學著利用基本算法的漏洞鉆空子。

例如，如果保險公司使用人工智能評估醫學掃描影像，醫院可通過操控掃描結果，盡量增加賠付金額。如果監管者建立了人工智能系統，以對新技術進行評估，設備制造商可通過改變圖像和其他數據，以欺騙該系統同意監管批準。

在上述論文中，研究人員已經對以下對抗攻擊進行了論證：通過篡改良性皮膚病損影像上的少量像素，可以欺騙診斷用人工智能系統，導致其誤判為惡性。他們也發現，僅僅通過旋轉影像，也能達到同樣的目的。

如果對病人病情的書面描述作少量改動，也可改變人工智能的診斷：“酗酒”的診斷結果與“酒精依賴”的不同，“腰痛”（lumbago）和“背痛”的診斷結果也會有所區別。

反過來，以某種方式改變診斷結果很容易讓保險公司和醫療保健機構受益，它們最終會從中牟利。研究人員指出，一旦人工智能深深植根于醫療保健系統，各個公司將逐漸利用人工智能的行為，為其帶來最大利潤。

芬利森稱，最終的結果可能會傷及患者。醫生對醫學掃描影像或病人的其他數據做出了改動，成為了保險公司使用人工智能牟利的工具；但這些改動最終會成為病人的永久記錄，將對以后的一系列診斷產生影響。

其實，這種情況有時候也會發生。人們已經發現，某些醫生、醫院和其他組織在操控軟件系統，以控制醫療保健行業數十億美元的資金往來。例如，有的醫生為了提高賠付金額，只需稍微改動一下醫療賬單編碼。比如說，把簡單的 X 光片變成了更加復雜的掃描影像。

哈姆莎·巴斯塔尼（Hamsa Bastani）是美國賓夕法尼亞大學沃頓商學院的一名助理教授，對醫療保健系統的操縱有深入的研究。她認為，這是個重大的問題。她指出：“一些行為是無意識的，但并不是所有的行為都如此。”

作為一名機器學習系統專家，巴斯塔尼提出質疑：引入人工智能是否會讓問題變得更加嚴重？在現實生活中想要實現對抗攻擊是很困難的；目前還不確定監管者和保險公司是否打算采用容易受到對抗攻擊的這類機器學習算法。

她補充道，我們需要留意監管者和保險公司。她說：“無心之舉總會帶來意想不到的后果，尤其是在醫療保健領域。”