人工智能 (AI) 的進步促進了各種自動化服務和自主系統；與此同時，針對人工智能的安全威脅也在迅速演變。為了幫助開發基于 AI 的安全服務和系統，歐洲電信標準協會 (ETSI) 保護人工智能行業規范組 (ISG SAI) 分析了保護 AI的問題和相應的緩解措施；最近發布了兩個小組報告。

ML 的生命周期在 ETSI ISG SAI GR-004報告中捕獲，如圖 1 所示。積極研究實施和部署的安全影響。該報告還確定并描述了四種攻擊類型，以提高人們對潛在安全威脅的認識。ETSI ISG SAI GR-005報告中也對現有緩解措施進行了分析和總結。根據所解決的 AI 模型是否被部署的緩解措施修改，它們被分類為模型增強和模型無關。因此，服務開發者或系統部署者可以根據具體的應用場景來定義他們的緩解策略。

圖 1：典型的機器學習生命周期，ETSI SAI GR-004。（來源：ETSI）

中毒攻擊

一種特定類型的已識別攻擊稱為中毒攻擊，它會操縱訓練數據以降低基于 AI 的服務的性能。此外，此類攻擊可能會降低系統的整體性能或允許某些預期的錯誤分類。中毒攻擊的歷史可以追溯到早期的垃圾郵件過濾服務。啟用人工智能的反垃圾郵件過濾器不斷從電子郵件收件人的反應中學習，以改進過濾功能。電子郵件收件人可以將正常電子郵件標記為垃圾郵件或將錯誤分類的垃圾郵件恢復正常。

攻擊者通過修改電子郵件內容來利用學習過程。例如，在垃圾郵件中小心添加一些精心制作的正常內容會誤導反垃圾郵件過濾器將這些正常內容誤認為是潛在的垃圾郵件。稍后，帶有這些精心制作內容的電子郵件可能會被歸類為垃圾郵件。過濾性能會下降到用戶禁用反垃圾郵件過濾服務的程度。

為了減輕這種攻擊，數據質量是關鍵。如圖 2 所示（來自 ETSI ISG SAI GR-005報告），針對中毒攻擊的可用緩解方法包括提高數據供應鏈的數據質量、訓練數據集的數據清理以及在訓練過程中通過使用以下技術阻止中毒作為漸變整形。

點擊查看完整大小的圖片

圖 2：針對中毒攻擊的緩解方法，ETSI ISG GR-005。（來源：ETSI）

在垃圾郵件過濾服務的例子中，兩種緩解方法，數據清理和塊中毒，可以一起應用來緩解中毒攻擊。收到的電子郵件和收件人的反應，不是在到達時輸入到學習過程中，而是被保存并定期批量輸入到學習過程中。它是通過減慢過程來阻止中毒的一種變體。同時，對于每個時期收到的一批郵件，可以采用數據清理技術，將可疑內容從學習中過濾掉。

閃避攻擊

在另一種類型的攻擊中，逃避攻擊，惡意軟件混淆是網絡安全社區眾所周知的。在這種類型的攻擊中，對手在推理時使用操縱的輸入來逃避部署的模型，從而導致模型產生錯誤的分類。

多年來，惡意軟件作者一直試圖通過主要通過使用加密來混淆他們的惡意軟件來避免基于簽名的病毒引擎的檢測。由于基于靜態分析的自動惡意軟件檢測器已經從簡單的基于簽名的方法發展到使用機器學習的更復雜的啟發式技術，因此對檢測器的魯棒性混淆的需求從未如此強烈。

谷歌的 Android 使用統計數據顯示，全球每月有超過 20 億臺活躍設備在使用，每年下載 820 億次應用和游戲。隨著其在物聯網連接設備和車輛中的使用勢頭不斷增強，Android 實施成為惡意軟件攻擊的常見目標，并且越來越多。

對于當前的檢測系統來說，混淆是一個具有挑戰性的問題，Android 惡意軟件作者經常使用加密、反射和引用重命名等技術。這些旨在偽裝和偽裝應用程序中的惡意功能，誘使模型將其歸類為良性。例如，混淆幾乎普遍用于隱藏 API 的使用，惡意應用程序中加密算法的使用率是良性應用程序的五倍。此外，對 76 個惡意軟件家族的分析發現，幾乎 80% 的應用程序使用至少一種混淆技術。

許多良性應用程序被混淆以保護知識產權，這一事實進一步加劇了這個問題。最近，越來越多的研究關注使用對抗性學習來創建更復雜的混淆技術，例如變形混淆，其中被混淆的惡意軟件的功能與原始惡意軟件的功能相同。

有幾種方法可以減輕混淆攻擊。首先，可以通過使用相同惡意和良性應用程序的混淆版本來增強原始訓練數據，使用兩個標簽來注釋每個樣本來進行對抗訓練；惡意或良性，混淆或未混淆。對抗性訓練的一個問題是模型在部署期間泛化到看不見的未混淆樣本的能力降低了。克服這個問題的一種方法是使用包含兩個具有不同成本函數的分類分支的判別對抗網絡 (DAN)，如圖 3 所示。

圖 3：在上層分類分支上進行常規學習的判別對抗架構，用于惡意軟件檢測和對抗性學習混淆。（來源：第十屆 ACM 數據和應用程序安全和隱私會議論文集，第 353-364 頁）。

DAN 采用生成對抗網絡 (GAN) 的對抗學習方面，但不是訓練生成模型，而是訓練兩個鑒別器，一個用于惡意軟件，另一個用于混淆。使用標準梯度下降算法最小化惡意軟件檢測的成本函數，以最大限度地提高分類精度。然而，相比之下，混淆分支使用隨機梯度上升使成本函數最小化，從而導致分類器的分類準確度是偶然的。這樣做的動機是 DAN 確保學習對惡意軟件檢測固有有用的特征，同時不知道混淆。這樣的特征可以導致看不見的未混淆樣本的更大泛化。

最后，盡管最近對對抗性攻擊和緩解措施進行了大量研究，但實際用例的數量很少，許多人將該領域視為一項學術活動，可以更深入地了解深度學習的工作原理（或休息）。另一方面，機器學習在反病毒引擎、軟件和 Web 應用程序漏洞檢測以及主機和網絡入侵檢測等網絡安全工具中的使用越來越多，這將網絡安全置于人工智能的敵對攻擊者和防御者的前線.

由于保護 AI 是確保基于 AI 的服務和系統開發和部署的重要課題，因此需要做更多的研究。作為第一步，ETSI ISG SAI 于 2019 年開始工作，并提交了兩份關于保護 AI 問題陳述和緩解策略報告的小組報告。ETSI ISG SAI 有望在不久的將來獲得更多結果。

審核編輯 黃昊宇