科學家們擔心，只要對數據進行微小的調整，神經網絡就可能被愚弄進行“對抗攻擊”而非幫助。

去年，美國食品和藥物管理局（FDA）批準了一種可以捕捉視網膜圖像并自動檢測糖尿病性失明病變的設備。

這種新型的人工智能技術正在醫學領域迅速蔓延?？茖W家們正在開發一種系統，這種系統可以識別各種疾病的跡象，以及各種圖像中的疾病跡象，從肺部的X射線到腦部的計算機輔助測試掃描（CAT）。與過去相比，這些系統有望幫助醫生更高效、更經濟地評估病人。

類似形式的人工智能可能會從醫院進入醫療監管機構、計費公司和保險公司使用的計算機系統。正如人工智能將幫助醫生檢查你的眼睛、肺和其他器官一樣，它也將幫助保險公司確定賠付金額和保單費用。

理想情況下，這樣的系統將提高衛生保健系統的效率。但哈佛大學和麻省理工學院的一組研究人員警告稱，它們可能會帶來意想不到的后果。

周四在《科學》雜志上發表的一篇論文中，研究人員提出了“對抗性攻擊”的可能性。對抗性攻擊是指利用微小的數字數據改變人工智能系統行為的操作。例如，通過改變肺部掃描上的一些像素點，就可以騙過人工智能系統，讓它看到一種實際上并不存在的疾病，或者看不到一種真正存在的疾病。

作者認為，軟件開發人員和監管機構在未來幾年構建和評估人工智能技術時，必須考慮這些場景。更令人擔心的是，黑客可能會導致病人被誤診，盡管只是存在這種可能性。更有可能的情況是，醫生、醫院和其他組織可以操縱人工智能在賬單或保險軟件方面的操作，以最大限度地增加他們的收入。

Samuel Finlayson是哈佛醫學院和麻省理工學院的一名研究員，也是論文的作者之一。他警告說，因為這么多錢在醫療保健行業流動交易，利益相關者誘騙系統已經通過巧妙地改變計費代碼和其他數據在計算機系統，跟蹤保健次數。人工智能可能會加劇這個問題。

他說：“醫療信息本身的模糊性，再加上常常相互競爭的財務激勵，使得高風險的決策能夠在非常細微的信息上搖擺不定?！?/p>

這篇新論文加劇了人們對此類攻擊可能性的日益擔憂，這些攻擊可能針對從人臉識別服務、無人駕駛汽車到虹膜掃描儀和指紋識別器的所有領域。

對抗性攻擊利用了許多人工智能系統設計和構建的一個基本方面。人工智能越來越多地受到神經網絡的驅動。神經網絡是一種復雜的數學系統，通過分析大量數據，在很大程度上獨立地研究任務。

例如，通過分析成千上萬的眼部掃描，神經網絡可以學會檢測糖尿病失明的跡象。這種“機器學習”的規模是如此之大——人類的行為是由無數互不相關的數據定義的——以至于它可以產生自己意想不到的行為。

2016年，卡內基梅隆大學的一個研究小組使用了印在鏡框上的圖案來欺騙面部識別系統，讓它們誤以為佩戴者是名人。當研究人員戴上這些鏡框時，系統會把它們誤認為名人，包括Milla Jovovich和John Malkovich。

一組中國研究人員也做了類似的實驗，他們將紅外光從帽檐下方投射到戴帽子的人的臉上。這種光線對佩戴者來說是看不見的，但它可以欺騙面部識別系統，讓它誤以為佩戴者是音樂家Moby，他是白人，而不是亞洲科學家。

研究人員還警告稱，對抗性攻擊可能會欺騙自動駕駛汽車，讓它們看到不存在的東西。通過對路標做一些小的改動，他們騙過了汽車，使其檢測到的是讓路標志而不是停車標志。

去年年底，紐約大學的一個團隊該公司的坦頓工程學院創造了一種虛擬指紋，這種指紋能夠在22%的情況下欺騙指紋識別器。換句話說，在所有使用這種閱讀器的手機或個人電腦中，有22%的概率是可以被解鎖的。

考慮到生物特征安全設備和其他人工智能系統的日益普及，這其中的意義深遠。印度實施了世界上最大的基于指紋的身份識別系統，用于發放政府津貼和服務。銀行正在向自動取款機引入人臉識別功能。以與谷歌同屬一家母公司的Waymo為例的一些公司正在公共道路上測試自動駕駛汽車。

現在，Finlayson先生和他的同事在醫療領域發出了同樣的警告：隨著監管機構、保險公司和計費公司開始在軟件系統中使用人工智能，企業可以學會利用底層算法。

例如，如果一家保險公司使用人工智能來評估醫療掃描結果，那么一家醫院就可以操縱掃描結果，以提高醫療支出。如果監管機構建立人工智能系統來評估新技術，設備制造商可能會改變圖像和其他數據，試圖欺騙該系統，使其獲得監管部門的批準。

研究人員證明，在他們的論文中，通過改變一幅良性皮膚病變圖像中的少量像素，一種診斷人工智能系統可能被欺騙，以確定病變為惡性。他們發現，簡單地旋轉圖像也能產生同樣的效果。

對患者病情的書面描述做一些小改動也可能改變人工智能的診斷：“酒精濫用”可能產生與“酒精依賴”不同的診斷結果，而“腰痛”可能產生與“背痛”不同的診斷結果。

反過來，以這樣或那樣的方式改變這樣的診斷很容易使保險公司和最終從中獲利的醫療機構受益。研究人員認為，一旦人工智能深深扎根于醫療體系，企業將逐漸采取能帶來最多收入的行為。

Finlayson先生說，最終的結果可能會對患者造成傷害。為了滿足保險公司使用的人工智能，醫生對醫療掃描或其他患者數據所做的改變，最終可能會成為患者的永久記錄，并影響未來的決策。

醫生、醫院和其他組織有時已經在操縱軟件系統，這些系統控制著整個行業數十億美元的資金流動。例如，為了提高醫療支出，醫生們巧妙地修改了賬單代碼——例如，將簡單的X射線描述為更復雜的掃描。

賓夕法尼亞大學沃頓商學院助理教授Hamsa Bastani研究過醫療體系的操縱，他認為這是一個重大問題?！坝行┬袨槭菬o意的，但并不是所有的，”她說。

作為機器學習系統的專家，她質疑引入人工智能是否會讓問題變得更糟。在現實世界中實施對抗性攻擊是困難的，而且目前還不清楚監管機構和保險公司是否會采用容易受到此類攻擊的機器學習算法。