人工智能安全專家Dawn Song警告稱，“對抗性機器學習”可用于逆向工程系統 – 包括用于防御的系統。

這是來自加州大學伯克利分校的教授Dawn Song的警告，他專門研究人工智能和機器學習所涉及的安全風險。

在麻省理工學院技術評論團在舊金山舉辦的EmTech Digital演講中，Song警告說，探測和操縱機器學習系統的新技術 – 在該領域被稱為“對抗機器學習”方法 – 可能會給任何想要的人造成大問題。在商業中利用AI的力量。

宋說，對抗機器學習可以用來攻擊任何基于該技術的系統。

“這是一個大問題，”她告訴觀眾。 “我們需要齊心協力解決問題。”

對抗性機器學習涉及實驗性地將輸入饋送到算法中以揭示其已經訓練的信息，或者以導致系統行為不當的方式扭曲輸入。例如，通過將大量圖像輸入到計算機視覺算法中，可以對其功能進行逆向工程并確保某些類型的輸出，包括不正確的輸出。

宋提出了她的研究小組探討的幾個對抗學習技巧的例子。

與谷歌合作開展的一個項目涉及探測機器學習算法，這些算法經過培訓，可以從電子郵件消息中生成自動響應（在本例中為安然電子郵件數據集）。努力表明，通過創建正確的消息，可以讓機器模型吐出敏感數據，如信用卡號。谷歌使用這些調查結果阻止Smart Compose（一種在Gmail中自動生成文本的工具）被利用。

另一個項目涉及用一些看似無害的貼紙修改道路標志，以欺騙許多車輛中使用的計算機視覺系統。在視頻演示中，Song展示了汽車如何被欺騙，以為停車標志實際上說速度限制是每小時45英里。對于依賴于此類信息的自動駕駛系統而言，這可能是一個巨大的問題。

對抗機器學習是機器學習研究人員日益關注的領域。在過去幾年中，其他研究小組已經展示了如何探索和利用在線機器學習API來設計欺騙它們或揭示敏感信息的方法。

不出所料，對抗性機器學習對國防界也非常感興趣。隨著越來越多的軍事系統 – 包括傳感和武器系統 – 利用機器學習，這些技術在防御性和進攻性方面都有巨大的潛力。

今年，五角大樓的研究機構DARPA啟動了一項名為“保證人工智能反對欺騙行為（GARD）”的重大項目，旨在研究對抗機器學習。 GARD項目主任Hava Siegelmann最近告訴麻省理工學院技術評論，該項目的目標是開發面對各種對抗性攻擊時強大的AI模型，而不是簡單地能夠抵御特定的攻擊。