從網絡安全的角度來看，在工廠車間使用人工智能和機器學習既有優點也有缺點。兩者都可以幫助改進對威脅和攻擊的監控、檢測和預防，尤其是對于工業 4.0 端點。但是依賴這些技術的智能制造系統可能會被不法分子探測和操縱。

人工智能驅動系統漏洞的一個眾所周知的例子是深度偽造：由深度學習技術創建的偽造圖像、視頻和文本。在人眼看來，它們與原件一模一樣；只有人工智能可以檢測差異。

McAfee Labs 在討論其 2020 年威脅預測報告的博客中指出，威脅行為者已使用該技術試圖操縱公眾輿論，但面部識別安全系統也很容易受到攻擊。偽造的圖像可以成功地欺騙這些人工智能驅動的系統解鎖智能手機或允許入侵者使用偽造的 ID 進入建筑物。

當機器模型受到損害時，它可能會錯誤分類與通常正確分類的圖像只有最細微差別的示例，而人眼看不到差異。（來源：IBM）

所謂的“對抗性機器學習”或 AML 通常是由不良行為者實施的，但它也是網絡安全研究人員和供應商與他們作斗爭的工具。當攻擊者使用時，AML 可能包括毒化用于模型訓練的數據。圖像識別和自然語言處理 (NLP) 系統都容易受到攻擊。或者可以透露訓練數據并推測工業或公司機密。

AML 還可以包括通過多種方法模仿有效的用戶配置文件，包括通過產生與現有實際聲音剪輯 99% 相同的音頻波形來欺騙自動語音識別系統。相反，它們包含偽造的短語。

Rensselaer-IBM AI Research Collaboration 的首席科學家 Pin-Yu Chen 告訴EE Times，白帽黑客和研究人員可以使用 AML 來對抗對手，并通過使模型更加健壯來改進基于 AI 的技術。“例如，在計算機視覺中，它可以幫助改進基于神經網絡的深度學習模型，以生成更好的數據并獲得非常高質量的圖像，”他說。

智能制造系統的漏洞

智能制造的網絡安全挑戰很多。

ARC 咨詢集團網絡安全服務副總裁 Sid Snitkin 告訴EE Times，在工業 4.0（也稱為數字化轉型）中，“每個人都希望訪問一切：設備、數據存儲和云中的應用程序” 。“整個想法是利用設備的這種連接性來做你甚至還沒有想到的新事情。但所有這些連接都打開了新的安全漏洞，這可能意味著操作受到威脅，因為從安全角度來看，你不知道數據來自哪里或另一端的去向。”

根據 Darktrace 網絡情報和分析主管 Justin Fier 的說法，可見性是工廠車間智能制造和 AI/ML 面臨的最大網絡安全挑戰，因為無法保護你看不到的東西。“在實施工業 4.0 技術之前，您需要了解安全后果是什么。但我們傾向于先部署工業 4.0 技術，然后才考慮安全性。”

缺乏可見性對于供應鏈中的環節尤其重要。Snitkin 說，英特爾公司等公司正在將安全性構建到他們的硬件模塊中。“但設備最大的問題是軟件供應鏈，這是一個非常重要的問題。您正在開發的軟件包使用其他來源的軟件，但只有在主軟件包需要補丁時才會收到警報。”

趨勢科技的 Federico Maggi

由于工業制造系統仍被設計為封閉系統，因此它們被分配了與分配給高價值企業目標的不同類型的保護。“設計人員假設攻擊者永遠無法直接連接或直接破壞這些系統，”趨勢科技高級威脅研究員 Federico Maggi 指出。“這可能是真的，但攻擊者可以通過間接方式找到方法并進入目標系統。”

趨勢科技 5 月份發布的一份報告顯示，即使是孤立的智能制造系統也可能包括由外部顧問和員工定制設計的工業物聯網設備。這些反過來又包含定制設計的軟件，其中包括第三方組件。“從設計和編程 IIoT 設備的人到最終包含該部分的機器的關系鏈非常長，很容易失去對鏈中所有環節的控制，”Maggi 說。“攻擊者可以通過利用最薄弱的鏈接輕松注入惡意組件并導致機器發生故障。”

這份名為“智能制造系統攻擊”的報告是對意大利工業 4.0 實驗室中模擬商品生產的安全分析，包括威脅和防御。該實驗室制造玩具手機的基本原理與成熟的智能制造車間所用的基本原理相同。這些供應鏈弱點是該報告的主要發現之一。

工廠車間的 AML

Darktrace 的 Fier 表示，AML 的目標要么是用于制造和其他系統的人工智能，要么是模仿人類操作員的行為，然后進行大規模攻擊。“例如，魚叉式網絡釣魚活動可能會使用 NLP 來模擬和偽造電子郵件，使它們看起來是由真人發送的。”

趨勢科技威脅研究經理 Rainer Vosseler 表示，在智能制造中，機器學習被用于多個領域，包括異常檢測。“即使你在 AML 假設下進行操作，你的數據也必須足夠好和足夠可信，以便在某個時候將其提供給模型。由于流入系統的數據可以被操縱，攻擊者也可以操縱模型。”

根據IBM 博客，一些機器學習模型容易受到 AML 的攻擊，甚至最先進的神經網絡也是如此。受損的模型錯誤地分類了與通常正確分類的圖像僅有微小差異的示例。

Fortinet 的 FortiGuard 實驗室的安全洞察和全球威脅聯盟負責人 Derek Manky 解釋說，特別是在運營技術 (OT) 方面，ML 對分配的任務非常具體。例如，基于 Windows/X86/PC 的界面以及許多基于 ARM 的威脅仍然存在多種特定于 OT 的威脅。“因此，機器學習模型必須學習和理解從 Linux 代碼到 ARM 代碼到 RISC 代碼以及許多其他代碼的所有內容，”Manky 說。“現在一個固有的問題是，我們如何根據不同的 OT 協議和系統或環境連接這些不同的模型？這是下一代：聯合機器學習，一個分析所有這些協議和系統或環境的系統。”

IBM 陳品宇

IBM 的 Chen 表示，對抗性 AI 在現實世界中已經發生了一些損害。“一個典型的例子是自動駕駛，很容易修改停車標志并欺騙系統，這樣自動駕駛汽車就不會停在需要停下的地方。”

他說，由于人工智能的開發和實施速度如此之快，用戶無法及時了解已開發的內容，以及可以做什么和不可以做什么。“我們的工作是確定這一點，以便用戶可以對技術抱有現實的期望，并對部署的影響更加謹慎。” 由于用戶可能對實施 AI 過于樂觀，IBM 創建了新的情況說明書，告訴他們部署它的風險是什么。

用人工智能對抗人工智能

在網絡安全中使用機器學習的主要原因很簡單：它可以異常快速地處理數據，至少從人類的角度來看是這樣。它也是動態的，而不是像更傳統的網絡安全方法那樣基于規則，因此算法可以更容易地自動化并更快地重新訓練。例如，云服務提供商正在將 ML 技術整合到他們自己的網絡安全防御中。

一些公司正在合作生產為特定工業部門量身定制的人工智能驅動的網絡安全解決方案。例如，西門子去年表示，它正在將 OT 安全方面的專業知識與 SparkCognition 在DeepArmor Industrial人工智能方面的專業知識相結合。該網絡安全工具為發電、石油和天然氣以及輸配電中的遠程能源端點提供防病毒、威脅檢測、應用程序控制和零日攻擊防護。

對抗 ALM 的大部分工作是由網絡安全公司基于使用人工智能和機器學習的產品來完成的，以幫助改進對威脅和攻擊的監控、檢測和預防，特別是對于 IoT 和 IIoT 設備等端點。例如，Darktrace 的與協議無關的工業免疫系統可以了解跨 OT、IT 和 IIoT 環境的“正常”情況。據該網站稱，其基于機器學習的 Antigena 網絡“可以以機器速度和外科手術精度中斷攻擊，即使威脅是有針對性的或完全未知的” 。

Fier 說，由于對手肯定在進行自己的 AML 研究，因此公司必須投資于 AI 防御。“它不再是最前沿的——它是堆棧中的必備品。檢測和緩解的時間過去是 200 天，但現在不是了。” 由于人工智能的處理速度非常快，“如果人工智能對你不利，你很可能永遠看不到它，或者你玩得太晚了，你永遠無法恢復，”他說。“這就是為什么我認為AI對抗AI是最好的對決。”

Fortinet 的網絡安全也是人工智能驅動的。Manky 說，需要三件事來防范 AML 攻擊和攻擊者。“首先，你需要處理能力，這已經不是什么挑戰了。接下來，您需要數據——以及新的可靠數據，來自不同來源的大量數據，包括我們從全球部署的近 600 萬臺安全設備中獲得的數據。第三個要素是時間。你真的需要走在曲線的前面，尤其是在處理新興或已經存在的垂直行業時，比如 OT。”

Fortinet 的 Derek Manky

陳說，像 IBM 這樣的公司正在開發更好的人工智能技術，以根據數據收集缺陷了解導致漏洞的原因。“我們扮演著與白帽黑客類似的角色：我們在產品推出之前識別漏洞并了解對市場的道德影響。”

對抗性攻擊可能發生在模型開發的三個階段中的任何一個階段：收集數據、訓練模型或在現場部署模型。有不同的對策和技術來解決每個問題。IBM 的模型清理服務描述了好的模型，然后返回一個干凈的模型。另一項服務為穩健模型提供基準。

即將推出：人工智能驅動的惡意軟件？

不幸的是，使模型對攻擊更健壯通常意味著犧牲性能，因為更健壯的模型也不太靈活。此外，深度學習模型復雜且難以集成。“我們不知道模型如何解決任務這一事實使得我們更難知道它是否安全，”Chen 說。“我們怎么知道它真的學會了如何解決問題？”

另一個障礙是試圖跟上簡單的攻擊量。與安全研究一樣，“如何才能使補丁足夠可靠、足夠安全，以應對未來的攻擊？” 陳問。一個答案可能是一個認證過程，例如 IBM 正在開發的一個。它可以對 AI 系統的安全區域或操作區域進行分類，這對于用于關鍵工作的 AI 尤其重要。

Darktrace 的 Fier 警告說，基于人工智能的惡意軟件可能很快就會出現。“雖然人工智能驅動的惡意軟件還沒有完全發揮作用，但我們開始看到它出現了——它即將出現，”他說。“據我們所知，對抗性 AI 或 ML 在 [工業控制系統] 領域還沒有出現。但我設想在你的 ICS 環境中存在一個惡意軟件，在采取下一步行動之前從中學習。對工業領域影響最大的可能是擴大損害。”

但到目前為止，大多數攻擊都使用自動化，而不是機器學習，Fortinet 的 Manky 說。“這是個好消息，因為自動化比 ML 更容易擊敗。我們每天看到 200 萬個病毒進入我們的實驗室，其中大部分是微不足道的自動化。但我們開始看到一些 ML 和 AI 逃避安全的跡象，所以它肯定會到來。”

審核編輯 黃昊宇