美國智庫安全和新興技術中心（CSET）4月發表了題為《對抗性機器學習和網絡安全-----風險、挑戰和法律影響》的報告。該報告基于去年7月CSET和斯坦福大學網絡政策中心召開的一次關于地緣政治、技術和治理項目的專家研討會，研究人工智能（AI）系統中的漏洞和更傳統類型的軟件漏洞之間的關系。討論的主題包括在標準網絡安全流程下可以處理AI漏洞的程度，目前阻止準確共享AI漏洞信息的障礙，與對AI系統的惡意攻擊相關的法律問題，以及政府支持可以改善AI漏洞管理和緩解的潛在領域。

概述

研討會與會者包括網絡安全和AI紅隊角色的行業代表；有開展對抗性機器學習研究經驗的學者；網絡安全監管、AI責任和計算機相關刑法方面的法律專家；以及負有AI重大監督責任的政府代表。本報告總結了研討會關于對抗性機器學習的普遍共識，并提供了改進未來響應的建議。這些建議分為四個部分：

（1）關于在現有網絡安全流程下可以處理AI漏洞的程度的建議。

（2）關于組織文化和信息轉變的建議。分享給積極參與AI模型建設的組織和個人，在商業產品中集成模型并使用AI系統。

（3）關于AI漏洞的法律問題的建議。

（4）關于未來研究領域和政府支持的建議，可以導致更安全的AI系統的發展。

人工智能(AI)技術，特別是機器學習，正在廣泛的商業和政府背景下迅速部署。這些技術容易受到一系列廣泛的操縱，這些操縱可能會觸發錯誤、從訓練數據集推斷私人數據、降低性能或泄露模型參數。研究人員已經證明了許多AI模型中的主要漏洞，包括許多已經部署在面向公眾的環境中的模型。正如安德魯·摩爾(Andrew Moore)2022年5月在美國參議院武裝部隊委員會作證時所說，保護AI系統免受敵對攻擊“絕對是目前正在進行的戰斗。”

然而，AI漏洞可能不會直接映射到傳統的補丁修復網絡安全漏洞的定義上。AI漏洞和更標準的補丁修復漏洞之間的差異已經產生了關于AI漏洞和AI攻擊狀態的模糊性。這反過來提出了一系列企業責任和公共政策問題：AI漏洞可以用傳統的網絡風險補救或緩解方法來解決嗎？開發和使用機器學習產品的公司是否做好了充分保護它們的準備？AI系統的開發者或破壞它們的攻擊者需要承擔什么法律責任？政策制定者如何支持創建更安全的AI生態系統？

該報告旨在完成兩件事。首先，它提供了對AI漏洞的高級別討論，包括它們與其他類型漏洞的不同之處，以及關于AI漏洞的信息共享和法律監督的當前狀態。第二，它試圖闡明研討會大多數與會者贊同的廣泛建議。這些建議分為以下四個主題:

主題1:針對AI漏洞擴展傳統網絡安全

對AI系統的攻擊從許多意義上講并不新鮮。幾十年來，惡意行為者一直試圖逃避基于算法的垃圾郵件過濾器或操縱推薦算法。但在過去十年中，機器學習模型的流行程度急劇上升，包括越來越多的高風險環境。與此同時，研究人員已經多次證明，機器學習算法和訓練過程中的漏洞是普遍存在的，并且難以修復。基于機器學習的圖像和語音識別系統受到了人類察覺不到的干擾，數據集受到了毒害，導致系統輸出失真或變得不可靠，原本應該保密的敏感數據被重新構建。

迄今為止，這些攻擊大多發生在研究環境中，盡管有一些證據表明現實世界的黑客利用了深度學習系統的漏洞。此外，人們普遍預期，隨著AI模型不斷融入更廣泛的用例，基于深度學習的攻擊頻率將會增長。研討會參與者懷疑，只要擊敗機器學習模型會帶來明顯的經濟利益（這會激發私人黑客）或戰略優勢（會激發民族國家），這些攻擊就可能最常見。

建議1：構建或部署人工智能模型的組織應該使用一個風險管理框架來解決整個人工智能系統生命周期中的安全問題。

建議2：敵對的機器學習研究人員、網絡安全從業者和人工智能組織應該積極嘗試擴展現有的網絡安全流程，以覆蓋AI漏洞。

建議3：對抗性機器學習領域的研究人員和從業者應該咨詢那些解決AI偏見和魯棒性的人，以及其他具有相關專業知識的社區。

主題2:改善信息共享和組織安全意識

有幾個結構特征使得精確評估對AI系統的攻擊威脅有多大變得困難。首先，關于現有AI漏洞的大部分信息來自理論或學術研究機構，來自網絡安全公司或來自內部研究人員，他們將組織的AI系統紅隊化。其次，缺乏一種系統化和標準化的手段來跟蹤AI資產（如數據集和模型）及其相應的漏洞，這使得很難知道易受攻擊的系統有多普遍。第三，對于AI系統的某些類型攻擊，攻擊檢測可能需要有意義的機器學習或數據科學專業知識來實現，或者至少熟悉可能預示基于AI的攻擊的行為模式。由于許多網絡安全團隊可能不具備檢測此類攻擊的所有相關專業知識，因此組織可能缺乏識別和披露確實發生的AI攻擊的能力，或許也缺乏動機。

即使發現漏洞或觀察到惡意攻擊，這些信息也很少會傳遞給其他人，無論是同行組織、供應鏈中的其他公司、最終用戶，還是政府或民間社會觀察員。雖然存在一些傳播信息的潛在機制，但缺乏一個在受保護的基礎上共享事故信息的可信的專門論壇。來自行業和政府組織的一些研討會與會者指出，他們將受益于定期的信息交流，但目前不存在信息共享網絡，官僚、政策和文化障礙目前阻礙了這種共享。

建議1：部署AI系統的組織應該尋求信息共享安排計劃，以促進對威脅的理解。

建議2：AI部署者應該強調在產品生命周期的每個階段建立嵌入人工智能開發的安全文化。

建議3：高風險AI系統的開發者和部署者必須優先考慮透明度。

主題3：澄清AI漏洞的法律地位

這些條件意味著，在當前的安排下，問題很可能會一直不被注意，直到攻擊者成功利用漏洞很久以后。為了避免這種結果，我們建議開發AI模型的組織采取重要措施來規范或利用信息共享安排，以監控對人工智能系統的潛在攻擊，并提高透明度。

美國沒有全面的人工智能立法（也不太可能很快出臺）。然而，許多法律領域——包括刑法、消費者保護法規、隱私法、民權法、政府采購要求、普通法合同規則、過失和產品責任，甚至美國證券交易委員會關于上市公司披露義務的規則——都與AI的不同方面相關。正如人工智能雖然不太適合傳統的網絡安全風險框架，但也適用于現有法律，但法院和監管機構尚未完全澄清其方式和程度。迄今為止，對人工智能的政策關注主要集中在偏見和歧視方面。美國聯邦貿易委員會（FTC）、美國平等就業機會委員會和消費者金融保護局等都發布了自己的指導意見，涉及在可能違反聯邦民權法、反歧視法和消費者保護法的情況下使用AI模型。

建議1：有權管理網絡安全的美國政府機構應該澄清基于AI的安全問題如何融入他們的監管結構。

建議2：目前沒有必要修改反黑客法律來專門解決攻擊AI系統的問題。

主題4:支持提高人工智能安全性的有效研究

開發安全AI系統的許多障礙本質上是社會和文化層面的，而不是技術層面的。學術界、行業專業人士和政府研究人員面臨的激勵都在某種程度上鼓勵將匯總績效指標的邊際改善作為進步的主要標志。雖然對抗性機器學習是一個快速發展的領域，但根據一些統計，它占所有AI學術研究的不到1%——而且現有的研究主要集中在攻擊類型的一小部分，如對抗性示例，這些示例可能不代表真實世界的攻擊場景。對于希望部署機器學習模型的組織來說，安全性通常是次要的考慮因素。只要這一點保持不變，技術干預充其量只能在總體上有限地提高人工智能系統的安全性。

與此同時，研究界關于對抗性機器學習的知識水平仍然很低。雖然研究人員探索的成功攻擊策略數量激增，但從技術上消除這些漏洞的可行性尚不確定；特別是，目前還不清楚針對多種類型攻擊的通用防御能力有多大。我們在本報告中多次提到安全性和性能之間的潛在權衡。盡管權衡的存在是顯而易見的，但很難評估它們的程度，建立應對方案，讓所有相關的利益攸關方參與風險管理，以及描述不同目標之間相互權衡的程度。我們不知道這些權衡考慮的既定過程。

雖然這種情況要求在AI安全研究方面進行更多投資，但它特別代表了政府決策者產生相當大影響的地方。安全是一個行業可能投資不足的領域，這為公共資助的研究創造了機會。研討會參與者認為，資助AI安全的額外研究應該是一個重要的優先事項，政策制定者可以采取一些具體行動來最有效地推動這一領域的研究。

建議1：對立的機器學習研究人員和網絡安全從業者應該尋求比過去更緊密的合作。

建議2：推動AI研究的公共努力應該更加重視AI安全，包括通過資助可以促進更安全的AI開發的開源工具。

建議3：政府決策者應該超越編寫標準，為評估AI模型的安全性提供測試平臺或進行審計。

在高層次上講，我們強調——盡管對抗性機器學習是一個具有高度技術性工具的復雜領域——AI漏洞帶來的問題可能既是技術性的，也是社會性的。我們的一些建議強調了行業和政府決策者通過投資技術研究來促進人工智能安全的機會。然而，我們的大部分建議集中在過程、機構文化和人工智能開發者和用戶意識的改變上。雖然我們希望這些建議將促使使用人工智能的組織主動思考圍繞AI系統的安全問題，但我們也強調，個別作者持有廣泛的觀點，不一定孤立地贊同每個特定的建議。

編輯：黃飛

?