現有的計算機視覺算法并不完美。在2018年7月，谷歌的研究人員證明了一種流行的物體檢測應用程序接口（API）可能會被欺騙，以至于將貓識別為“瘋狂的被子（由各色布料拼制成的被面）”和“玻璃紙”。不幸的是，這還不是最糟糕的：它們也可能被迫對圖像中的方塊進行計數，對數字進行分類，并執行預定任務之外的其他任務。

谷歌的研究人員在Arxiv.org發表了一篇題為“神經網絡的對抗性重編程”的論文，描述了一種能夠對機器學習系統進行重新編程的對抗性方法。轉移學習（transfer learning）的新形式甚至不需要攻擊者指定輸出。

研究人員寫道：“我們的結果首次證明 ......可能會發生對神經網絡進行重新編程的對抗性攻擊......。這些結果證明了深度神經網絡存在令人驚訝的靈活性和脆弱性。”它的工作原理如下：惡意行為者獲得了正在執行任務的敵手神經網絡的參數，然后以轉換的形式引入擾動或對抗數據，并借以輸入圖像。隨著對抗性輸入被饋送到網絡中，它們會將網絡學習到的特征應用于執行新的任務。

科學家在六種模型中測試了該方法。通過嵌入來自MNIST計算機視覺數據集的操縱輸入圖像（大小在1到10之間的黑色幀和白色方塊），他們成功使得所有六種算法將計算目標改為計算圖像中的方塊數，而不是識別像“白鯊”和“鴕鳥”這樣的對象。在第二個實驗中，他們強迫上述算法對數字進行分類。在第三次也是最后一次測試中，他們讓模型識別來自CIFAR-10（一個物體識別數據庫）的圖像，而不是當初訓練它們的ImageNet語料庫。

惡意行為者可以通過攻擊來竊取計算資源，例如，通過重新編程云托管照片服務中的計算機視覺分類器來解決圖像驗證碼或挖掘加密貨幣。盡管該論文的作者沒有在反饋神經網絡（一種常用于語音識別的神經網絡）中測試該方法，但據他們設想，成功的攻擊可能會導致這類算法執行“一系列非常大的任務”。

研究人員寫道：“對抗性程序也可以被用做一種新方法，以實施更傳統的計算機黑客行為。例如，隨著手機被越來越多地用做人工智能驅動的數字助理，對某些人的手機進行重新編程的可能性將會增加，方式是用對抗性圖像或音頻文件對這些手機進行攻擊。由于這些數字助理可以訪問用戶的電子郵件、日歷、社交媒體帳戶和信用卡，因而此類攻擊的后果也會變得更大?！?/p>

幸運的是，并不只有壞消息。研究人員指出，隨機神經網絡似乎比其他神經網絡更不容易受到攻擊，并且對抗性攻擊可以使機器學習系統更易于調整用途、更靈活、更高效。盡管如此，研究人員寫道，“未來應該調查如何解決對抗性編程的性質和局限性，以及防范的可能方法。”