AI研究集團(tuán)OpenAI上個(gè)月發(fā)表了一項(xiàng)不同尋常的聲明： 它表示自己已經(jīng)構(gòu)建了一個(gè)基于AI的內(nèi)容創(chuàng)作引擎，其功能非常復(fù)雜，而OpenAI也不會(huì)向開(kāi)發(fā)者公布完整的模型。

究其原因，任何在網(wǎng)絡(luò)安全領(lǐng)域工作的人都應(yīng)該知道一二。Cofense Inc.的一項(xiàng)研究顯示，2016年，91%的網(wǎng)絡(luò)攻擊都是由釣魚(yú)郵件引發(fā)的。TruSTAR Technology LLC首席數(shù)據(jù)科學(xué)家Nicolas Kseib說(shuō)，利用軟件機(jī)器人從社交網(wǎng)絡(luò)和公共數(shù)據(jù)庫(kù)中提取個(gè)人信息，并與強(qiáng)大的內(nèi)容生成引擎結(jié)合起來(lái)，可能會(huì)產(chǎn)生更有說(shuō)服力的釣魚(yú)電子郵件，甚至可能模仿某個(gè)人的寫(xiě)作風(fēng)格。

潛在的結(jié)果是：網(wǎng)絡(luò)犯罪分子可以以更快的速度和前所未有的規(guī)模發(fā)起網(wǎng)絡(luò)釣魚(yú)攻擊。

這種危險(xiǎn)巧妙地總結(jié)了網(wǎng)絡(luò)安全目前所處的無(wú)休止的戰(zhàn)爭(zhēng)狀態(tài)，在這場(chǎng)戰(zhàn)爭(zhēng)中，還沒(méi)有人能夠回答一個(gè)核心問(wèn)題：AI到底是會(huì)為犯罪分子提供更多幫助，還是會(huì)為網(wǎng)絡(luò)攻擊防御人員提供更多幫助？在一些人看來(lái)，AI是一種新武器，最終可能讓安全人員領(lǐng)先于對(duì)手。但與此同時(shí)，專家們擔(dān)心，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等人AI技術(shù)存在被非法濫用的可能性，從而帶來(lái)很嚴(yán)重的后果。

不過(guò)，這種爭(zhēng)議并沒(méi)有阻止網(wǎng)絡(luò)安全市場(chǎng)參與者繼續(xù)將AI作為一種營(yíng)銷噱頭。本周，當(dāng)網(wǎng)絡(luò)安全行業(yè)從業(yè)者們聚集在舊金山參加一年一度的RSA大會(huì)（RSA Conference）時(shí)，這一點(diǎn)將顯而易見(jiàn)。RSA大會(huì)是今年網(wǎng)絡(luò)安全行業(yè)中規(guī)模最大的會(huì)議之一。但在這個(gè)過(guò)程中，他們可能會(huì)對(duì)這項(xiàng)技術(shù)能帶來(lái)什么產(chǎn)生錯(cuò)誤的期望。

MapR Technologies Inc.的著名技術(shù)專家、銀行業(yè)資深安全官員John Omernik表示說(shuō)，如今被吹捧為AI的大多數(shù)技術(shù)不過(guò)是建立在單一數(shù)據(jù)類型基礎(chǔ)上的分類算法。國(guó)際數(shù)據(jù)公司（IDC）安全部門的研究主管Rob Westervelt也認(rèn)為，“貓捉老鼠的游戲?qū)⒗^續(xù)下去，因?yàn)楣粽邔⒛軌蚴褂霉ぞ叨惚芊烙！?/p>

智能攻擊

事實(shí)上，很多攻擊者已經(jīng)在利用各類工具了。盡管到目前為止，還沒(méi)有明確的主要由機(jī)器學(xué)習(xí)引發(fā)攻擊的記錄案例，但越來(lái)越多的證據(jù)表明，網(wǎng)絡(luò)犯罪工具正變得越來(lái)越智能。例如，去年7月b爆發(fā)的Rakhni木馬病毒的一個(gè)新版本就包含一個(gè)上下文感知功能，該功能安裝最適合它所感染的系統(tǒng)的惡意軟件。安裝了加密貨幣錢包的計(jì)算機(jī)也受到了勒索病毒的感染，而其他計(jì)算機(jī)則選擇了加密貨幣挖掘。Bitglass Inc.的產(chǎn)品營(yíng)銷經(jīng)理Jacob Serpa說(shuō)：“這只是未來(lái)可能面臨的威脅的一個(gè)小例子。”

硅谷科技媒體SiliconANGLE聯(lián)系的大多數(shù)專家表示，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)工具可以提高那些急需技能的從業(yè)者識(shí)別入侵和響應(yīng)目標(biāo)的能力，并加強(qiáng)對(duì)入侵的防御。但他們也指出，AI技術(shù)仍處于相對(duì)初級(jí)階段，犯罪分子還尚未充分挖掘其潛力。

隨著網(wǎng)絡(luò)犯罪日益猖獗，以及在暗網(wǎng)上提供的惡意培訓(xùn)數(shù)據(jù)，這些因素都有可能推波助瀾。現(xiàn)在重要的是，組織開(kāi)始理解AI在增強(qiáng)防御能力的同時(shí)，對(duì)局限性仍認(rèn)識(shí)不清。

尋找模式

許多安全專家嘲笑用“智能”一詞來(lái)描述如今幾乎連兩歲兒童認(rèn)知能力都沒(méi)有的技術(shù)。但他們也一致認(rèn)為，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等領(lǐng)域可以為組織安全帶來(lái)價(jià)值。機(jī)器學(xué)習(xí)在跨非常大的數(shù)據(jù)集檢測(cè)模式方面很有用，而深度學(xué)習(xí)在圖像和語(yǔ)音識(shí)別等領(lǐng)域表現(xiàn)出色。

例如，安全操作中心要應(yīng)對(duì)來(lái)自入侵檢測(cè)系統(tǒng)的大量錯(cuò)誤警報(bào)。由于缺乏近200萬(wàn)網(wǎng)絡(luò)安全專業(yè)人員，企業(yè)無(wú)法承受這些浪費(fèi)的時(shí)間。IBM首席信息安全官Koos Lodewijkx說(shuō)，企業(yè)安全數(shù)據(jù)中心（SOC）中近60%的活動(dòng)是重復(fù)的：“檢測(cè)速度加快了，但響應(yīng)仍然是人類的速度。”

機(jī)器學(xué)習(xí)算法可以通過(guò)訓(xùn)練來(lái)發(fā)現(xiàn)日志數(shù)據(jù)中與惡意活動(dòng)關(guān)聯(lián)可能性較高的模式，從而使網(wǎng)絡(luò)安全人員能夠更好地集中精力應(yīng)對(duì)問(wèn)題。對(duì)人類無(wú)法處理的海量數(shù)據(jù)進(jìn)行梳理是機(jī)器擅長(zhǎng)的一個(gè)領(lǐng)域，尤其是當(dāng)它們具備機(jī)器學(xué)習(xí)和深度學(xué)習(xí)能力時(shí)，這使它們無(wú)需顯式編程就能學(xué)習(xí)。

網(wǎng)絡(luò)安全公司Arkose Labs的高級(jí)工程總監(jiān)Anna Westelius說(shuō)：“人類善于發(fā)現(xiàn)模式，但在處理檢測(cè)中看到的快速類型數(shù)據(jù)時(shí)，不可能將屬性和模式牢記在心。”“這就是大規(guī)模機(jī)器學(xué)習(xí)模型允許我們做的。”

機(jī)器學(xué)習(xí)的根源在于預(yù)測(cè)分析，它有助于提高人類操作員的工作效率。Balbix Inc.的數(shù)據(jù)顯示，《財(cái)富》（Fortune） 1000強(qiáng)企業(yè)目前平均擁有260多個(gè)潛在攻擊點(diǎn)，包括云服務(wù)、移動(dòng)電話、“物聯(lián)網(wǎng)”設(shè)備和合作伙伴賬戶。

TruSTAR的Kseib說(shuō)，模式檢測(cè)還可以通過(guò)將行為綁定到已知的用戶配置文件來(lái)檢測(cè)異常。他說(shuō)：“當(dāng)你與公司以外的人分享敏感信息時(shí)，你的系統(tǒng)可以檢測(cè)到，并觸發(fā)一系列防御行為，比如阻止這種行為。”

此外，機(jī)器學(xué)習(xí)可以應(yīng)用于用戶和行為分析，這是一門為用戶活動(dòng)建立基線并檢測(cè)偏離標(biāo)準(zhǔn)的學(xué)科。Experian Corp.去年進(jìn)行的一項(xiàng)調(diào)查顯示，三分之二的受訪者認(rèn)為這是他們的安全架構(gòu)中最薄弱的一環(huán)。

DivvyCloud工程VP Scott Totman說(shuō)：“大多數(shù)用戶不知道他們犯了錯(cuò)誤，并從未被告知，從未指導(dǎo)如何糾正錯(cuò)誤，也從未學(xué)會(huì)如何避免錯(cuò)誤。”機(jī)器學(xué)習(xí)可用于識(shí)別不一致性并“創(chuàng)建一個(gè)教育最終用戶的反饋循環(huán)”。

深度學(xué)習(xí)（Deep learning）是人工智能的一個(gè)分支，近年來(lái)在語(yǔ)音和圖像識(shí)別方面取得了突破性進(jìn)展，目前也正在成為網(wǎng)絡(luò)安全領(lǐng)域的一個(gè)關(guān)鍵武器。它可以提高對(duì)超定向“釣魚(yú)型”電子郵件的檢測(cè)，并加強(qiáng)生物識(shí)別等領(lǐng)域的訪問(wèn)控制。

例如，Jumio Corp.就可以使用深度學(xué)習(xí)將圖像和文檔識(shí)別結(jié)合起來(lái)進(jìn)行用戶身份驗(yàn)證。該公司的技術(shù)將現(xiàn)場(chǎng)拍攝的自拍照片與政府頒發(fā)的身份證件進(jìn)行對(duì)比，以驗(yàn)證用戶的身份。該軟件可以根據(jù)圖像質(zhì)量的變化以及用戶體重變化、面部毛發(fā)的增加或減少等因素進(jìn)行調(diào)整。它還可以檢測(cè)表明ID被篡改的細(xì)微因素，比如字體的微小變化等。

供應(yīng)商的奮起

公司很快就接受了AI的術(shù)語(yǔ)而，用戶也開(kāi)始了對(duì)各類產(chǎn)品的購(gòu)買。最近，受云端網(wǎng)絡(luò)探知及回應(yīng)（Network Detection&Response）廠商ProtectWise Inc.委托，最近針對(duì)400多名安全專業(yè)人士進(jìn)行的一項(xiàng)調(diào)查發(fā)現(xiàn)，73%的受訪者表示，他們已經(jīng)實(shí)現(xiàn)了至少包含人工智能某些方面的安全產(chǎn)品。

然而，46%的受訪者表示規(guī)則創(chuàng)建和實(shí)施是一件苦差事，以及還有四分之一的受訪者表示他們不打算在未來(lái)實(shí)現(xiàn)對(duì)更多AI產(chǎn)品的支持，這種技術(shù)的相對(duì)不成熟是顯而易見(jiàn)的。

所以AI前景光明，但在某些領(lǐng)域，它幾乎沒(méi)有什么價(jià)值，甚至可能帶來(lái)新的漏洞。當(dāng)問(wèn)題領(lǐng)域是眾所周知的，并且變量變化不大時(shí)，機(jī)器和深度學(xué)習(xí)效果最好。算法擅長(zhǎng)于檢測(cè)模式的變化，但不擅長(zhǎng)識(shí)別新模式。Fidelis Cybersecurity Inc.的高級(jí)產(chǎn)品營(yíng)銷經(jīng)理Tom Clare說(shuō)：“你發(fā)現(xiàn)未知情況真的很困難。”該公司專門從事威脅檢測(cè)和應(yīng)對(duì)工作。

安全檢測(cè)網(wǎng)站SafetyDetective.com的數(shù)據(jù)顯示，自2013年以來(lái)，惡意軟件的發(fā)生率已經(jīng)上升了5倍。改變變量可能會(huì)讓機(jī)器學(xué)習(xí)算法變得混亂，這也是迄今為止它們?cè)诖驌魫阂廛浖矫鎯r(jià)值有限的原因之一。機(jī)器學(xué)習(xí)算法存在“固有的失敗，因?yàn)閻阂廛浖挠?xùn)練集變化太快” Malwarebytes 公司CTO Doug Swanson說(shuō)道，“未來(lái)惡意軟件模型看起來(lái)會(huì)跟今天幾乎完全不一樣”。

AI模型依賴于大量高質(zhì)量的源數(shù)據(jù)進(jìn)行訓(xùn)練，這可能會(huì)限制它們對(duì)已知威脅模式以外的所有威脅模式做出快速反應(yīng)的能力。“說(shuō)到底，（模型）可能又大又慢，”Jumio的首席科學(xué)家Labhesh Patel說(shuō)。

這樣，結(jié)果的價(jià)值也只取決于用于培訓(xùn)的數(shù)據(jù)。這就是為什么MapR的Omernik建議組織在供應(yīng)商聲宣稱他們有一種全面的AI安全方法時(shí)要保持懷疑。

他回憶了自己在兩家不同銀行工作的經(jīng)歷，一家是客戶主要在當(dāng)?shù)兀硪患铱蛻舯椴际澜绺鞯亍！叭藗儠?huì)從非洲或俄羅斯的電腦上登錄，這很正常，”他說(shuō)，這類活動(dòng)會(huì)發(fā)送一個(gè)入侵檢測(cè)系統(tǒng)，該系統(tǒng)是硬連接的，可以考慮脫軌位置。

必須解決的黑箱

如果機(jī)器學(xué)習(xí)在對(duì)抗網(wǎng)絡(luò)威脅方面有用，它也不可能像通常那樣是一個(gè)黑箱（black box）。人們需要對(duì)模型進(jìn)行持續(xù)的關(guān)注，以確保訓(xùn)練數(shù)據(jù)是完整的、相關(guān)的，并且不受攻擊者的影響。引入錯(cuò)誤或誤導(dǎo)性數(shù)據(jù)會(huì)導(dǎo)致結(jié)果退化或更糟。Arkose Labs的Westelius說(shuō)：“如果人們對(duì)這項(xiàng)技術(shù)過(guò)于依賴，它最終會(huì)自我學(xué)習(xí)。”“但機(jī)器學(xué)習(xí)可以重新訓(xùn)練自己，讓自己認(rèn)為正常的行為不再是正常的。”

此外，計(jì)算機(jī)的工作原理也有一些細(xì)微的差別，這與人類的邏輯相悖。例如，研究人員已經(jīng)演示了通過(guò)在普通人類語(yǔ)言甚至音樂(lè)中嵌入隱藏的命令來(lái)愚弄語(yǔ)音助手的方法，比如亞馬遜的Alexa和蘋果的Siri。自動(dòng)駕駛汽車系統(tǒng)可能會(huì)認(rèn)錯(cuò)道路標(biāo)志，因?yàn)橹皇菍?shí)驗(yàn)人員貼上了一些幾乎不會(huì)引起注意的小貼紙。

其結(jié)果是：強(qiáng)化企業(yè)防御的工具也可以被用來(lái)以新穎的方式攻破它們。以XEvil為例，它是一種可以用來(lái)破譯扭曲和模糊字符的驗(yàn)證碼，準(zhǔn)確率高達(dá)90%。其是一種基于深度學(xué)習(xí)的機(jī)器視覺(jué)軟件的副產(chǎn)品，該軟件是用來(lái)指導(dǎo)自動(dòng)駕駛汽車的，并還可以用來(lái)?yè)魯∶艽a身份驗(yàn)證系統(tǒng)中常見(jiàn)的第二道防線。

對(duì)一切開(kāi)放？

像許多AI模型一樣，XEvil是開(kāi)源的，使得“好家伙”和“壞家伙”都可以在其基礎(chǔ)上進(jìn)行簡(jiǎn)單的構(gòu)建。無(wú)論是好是壞，大多數(shù)流行的機(jī)器學(xué)習(xí)模型都已發(fā)布到開(kāi)源軟件中，這意味著無(wú)法知道誰(shuí)在使用它們。

這一事實(shí)引發(fā)了IBM Lodewijkx的不祥警告。“知識(shí)和技能正在民主化，”他指出。編程技能歷來(lái)都是基于數(shù)據(jù)庫(kù)的，但是機(jī)器學(xué)習(xí)中常見(jiàn)的基于模型的方法正迅速成為主流。“我們從大學(xué)雇傭的孩子們已經(jīng)改變了他們的編程技能，”他說(shuō)。“這也會(huì)影響犯罪方面。”

機(jī)器學(xué)習(xí)擅長(zhǎng)檢測(cè)模式的變化，但這種技術(shù)也可以用于覆蓋軌跡。DivvyCloud的Totman說(shuō)：“目前，許多罪犯的簽名都是基于他們一貫的犯罪行為。”“罪犯可以利用機(jī)器學(xué)習(xí)隨機(jī)化他們的模式，混入其中以避免被發(fā)現(xiàn)。”

反惡意軟件制造商擔(dān)心AI可能會(huì)制造出自變異的惡意軟件，“這種軟件可以調(diào)整檢測(cè)到的惡意軟件的代碼，編譯并重新部署，以避免進(jìn)一步的檢測(cè)，”Malwarebytes實(shí)驗(yàn)室主任Adam Kujawa說(shuō)。“這可能發(fā)生在眨眼之間，大大增加了我們經(jīng)常處理的惡意軟件的數(shù)量。”

大規(guī)模假新聞

隨著網(wǎng)絡(luò)犯罪日益成為專業(yè)人士和“網(wǎng)絡(luò)流氓”的領(lǐng)地，AI的潛在濫用問(wèn)題變得更加令人不安。2016年美國(guó)總統(tǒng)大選期間出現(xiàn)的虛假新聞現(xiàn)象，由于“深假（deep-fake）”技術(shù)的出現(xiàn)而變得更加嚴(yán)重。“深假”技術(shù)通過(guò)對(duì)圖像、視頻和聲音文件的處理，使事件和行為看似從未真正發(fā)生過(guò)。到目前為止，這些應(yīng)用僅限于讓名人處于尷尬之中，但同樣的技術(shù)同樣能應(yīng)用于損害高管和政治人物的聲譽(yù)。

這又回到了誰(shuí)將從AI中獲益更多的問(wèn)題：白帽子（white hats， “白客”）還是黑帽子（black hats， “黑客”）？

目前還沒(méi)有達(dá)成共識(shí)。幾乎所有人都同意的一點(diǎn)是，新工具將提高正在進(jìn)行的軍備競(jìng)賽的利害關(guān)系。IDC的Westervelt表示：“攻擊者將利用AI來(lái)創(chuàng)建更好的釣魚(yú)郵件，但安全公司也將更善于發(fā)現(xiàn)它們。”

以同樣的方式，云計(jì)算使強(qiáng)大的計(jì)算機(jī)和軟件可為一般公司與群眾所用，而收益于AI民主化安全工的受組織卻往往防御薄弱，Mark Weiner，Balbix的CMO說(shuō)道。“我認(rèn)為它會(huì)幫助支持很多不那么成熟的組織，其好處大于它會(huì)帶給壞家伙的機(jī)會(huì)”，他補(bǔ)充到。

網(wǎng)絡(luò)安全類風(fēng)投公司Allegis Cyber管理總監(jiān)Robert Ackerman認(rèn)為，攻擊者日益成熟，將迫使組織更多地集中精力保護(hù)數(shù)據(jù)，而不是防止?jié)B透。他說(shuō)，如今的網(wǎng)絡(luò)安全實(shí)踐是“一道有1000個(gè)漏洞的堤壩，而我們正四處奔走，試圖將它們?nèi)慷伦　薄?/p>

有一些希望。Ackerman繼續(xù)說(shuō)到，同態(tài)加密（ homomorphic encryption）等技術(shù)將受到青睞。同態(tài)加密技術(shù)使數(shù)據(jù)能夠在加密狀態(tài)下進(jìn)行處理。還有另一些人則看到了對(duì)抗性機(jī)器學(xué)習(xí)的潛力，它讓模型相互競(jìng)爭(zhēng)，以試圖加強(qiáng)防御。

但所有這些活動(dòng)都是在多云、移動(dòng)設(shè)備和無(wú)數(shù)物聯(lián)網(wǎng)設(shè)備的使用帶來(lái)的復(fù)雜性日益增加的背景下進(jìn)行的。這可不是好兆頭。Westervelt說(shuō)：“連CIO都想對(duì)他們的數(shù)據(jù)進(jìn)行更精細(xì)地控制，更不用說(shuō)人們?nèi)绾喂蚕砗褪褂眠@些數(shù)據(jù)了，這變得非常復(fù)雜。”

在網(wǎng)絡(luò)安全領(lǐng)域，復(fù)雜性是罪犯?jìng)冏詈玫呐笥选?/p>