人們通常會派出最強大的選手和場景訓練人工智能，但是，智能體如何應對訓練中故意碰瓷兒的“弱”對手呢？

來看看下邊的兩個場景：兩個AI智能體正在“訓練場“進行一場激烈的足球賽，一個守門、一個射門。當守門員忽然自己摔倒，攻方沒有選擇乘勝追擊，也忽然不知所措了起來。

在相撲的規則下也一樣，當其中一個隊員開始不按套路出牌時，另一個對手也亂作一團，雙方立刻開始毫無規則扭打在一起。

這樣“人工智障”的場景可不是隨意配置的游戲，而是一項對AI對抗訓練的研究。

我們知道，通常情況下，智能體都是通過相互對抗來訓練的，無論是下圍棋的阿法狗還是玩星際爭霸的AlphaStar，都是通過海量的對局來訓練自己的模型，從而探索出獲勝之道。

但是試想一下，如果給阿法狗的訓練數據都是圍棋小白亂下的對局，給AlphaStar提供的是小學生局，結果會是如何？

近期，來自伯克利的研究人員就進行了這樣的實驗。紅色機器人與已經是專家級別的藍色機器人進行對抗訓練，紅色機器人采取一定的對抗策略攻擊藍色機器人進行的深度學習。這項研究的論文作者也在NIPS大會上對該研究進行了展示。

論文鏈接：

https://arxiv.org/pdf/1905.10615.pdf

在實驗中，紅色機器人為了不讓藍色機器人繼續從對抗中學習，沒有按照應有的方式玩游戲，而是開始“亂舞”起來，結果，藍色機器人開始玩得很糟糕，像喝醉了的海盜一樣來回搖晃，輸掉的游戲數量是正常情況下的兩倍。

研究發現，在采取對抗性政策的對局中，獲勝不是努力成為一般意義上的強者，而是采取迷惑對手的行動。研究人員通過對對手行為的定性觀察來驗證這一點，并發現當被欺騙的AI在對對手視而不見時，其表現會有所改善。

我們都知道，讓人工智能變得更聰明的一個方法是讓它從環境中學習，例如，未來的自動駕駛可能比人類更善于識別街道標志和避開行人，因為它們可以通過海量的視頻獲得更多的經驗。

但是如果有人利用這一方式進行研究中所示的“對抗性攻擊” ——通過巧妙而精確地修改圖像，那么你就可以愚弄人工智能，讓它對圖像產生錯誤的理解。例如，在一個停車標志上貼上幾個貼紙可能被視為限速標志，同時這項新的研究也表明，人工智能不僅會被愚弄，看到不該看到的東西，還會以不該看到的方式行事。

這給基于深度學習的人工智能應用敲響了一個警鐘，這種對抗性的攻擊可能會給自動駕駛、金融交易或產品推薦系統帶來現實問題。

論文指出，在這些安全關鍵型的系統中，像這樣的攻擊最受關注，標準做法是驗證模型，然后凍結它，以確保部署的模型不會因再訓練而產生任何新問題。

因此，這項研究中的攻擊行為也真實地反映了在現實環境中，例如在自動駕駛車輛中看到的深度學習訓練策略，此外，即使被攻擊目標使用持續學習，也會有針對固定攻擊目標進行訓練的策略，攻擊者可以對目標使用模擬學習來生成攻擊模型。

或者，在自動駕駛車輛，攻擊者可以通過購買系統的副本并定期在工廠重置它，一旦針對目標訓練出了敵對策略，攻擊者就可以將此策略傳輸到目標，并利用它直到攻擊成功為止。

研究也對今后的工作提出了一些方向：深度學習策略容易受到攻擊，這突出了有效防御的必要性，因此在系統激活時可以使用密度模型檢測到可能的對抗性攻擊，在這種情況下，還可以及時退回到保守策略。