人工智能發展到當下階段，對于倫理和安全的思考已經逐漸從幕后走向臺前。

2019年5月22日，經濟合作與發展組織（OCED）批準了《負責任地管理可信賴AI的原則》，該倫理原則總共有五項，包括包容性增長、可持續發展及福祉，以人為本的價值觀及公平性，透明度和可解釋性，穩健性、安全性和保障性，問責制。

其中更為顯性的安全問題，在“換臉”風波、人臉信息泄漏等一系列事件的曝光下，為人工智能技術的應用前景蒙上了一層陰影，提高人工智能技術的安全性與可靠性迫在眉睫。

Deepfake的世界里，眼見不再為實

Deepfake將人工智能話題推上了輿論的風口。

圖：演員Jordan Peele模仿奧巴馬聲音制作的虛假演講視頻利用Deepfake造假技術，艾瑪·沃森等一眾歐美女明星被“換臉”在了不可描述的小電影上，混跡政壇的大佬虛假演講“互相攻訐”，一時轟動全網。作為國內首家致力于推廣安全、可靠、可解釋第三代人工智能的研究團隊，RealAI表示，目前AI換臉的技術難度正大幅降低，團隊成功將近期人氣火熱的雷佳音換臉成著名相聲演員郭德綱，整個過程僅花費數小時。

圖：雷佳音（左）換臉郭德綱（右）現今，基于人臉的信息傳遞已經成為人類社會溝通的主要媒介之一，比如社交平臺的照片、網絡上的演講和表演視頻。換臉技術的出現則極大地影響公眾對圖片和視頻的解讀，比如誰該為這段言論負責，以及這段言論的可信度有多大，甚至可能淪為色情復仇的工具、擾亂政界的武器，導致前所未有的社會影響。目前Deepfake主要以公眾人物為受害目標，但隨著AI技術的飛速發展，可能在不遠的將來，普通民眾也會被波及。為了保證AI應用的安全性，目前RealAI團隊研發出“反AI變臉檢測”工具，專用于檢測AI換臉造假技術。

圖：RealAI“反AI變臉檢測”技術 ，綠框為正常視頻幀，紅框為檢測出的造假視頻幀RealAI研究人員表示，Deepfake生成的造假視頻畫面會有不“自然”的紋理存在。為此，他們通過海量視頻訓練神經網絡，讓其學習正常情況中的紋理特征，再以此檢測造假視頻中不一致的紋理。利用該技術，可以對造假視頻實現逐幀檢測，準確率高達90%以上。據媒體報道，目前已經出現犯罪團伙利用AI換臉進行詐騙，希望“反AI變臉檢測”技術可以遏制此類惡性事件的發生，不要讓病態化的“換臉”趨勢愈演愈烈。

“隱身衣”成為可能，犯罪行為“有處遁形”

如果說，“換臉”是技術濫用引發的社會安全威脅，那還有另一個不容忽視的問題：AI算法本身也不夠安全。比如，深度神經網絡（CNN）存在的大量的安全盲點，可以被特定構造的輸入樣本欺騙。在原始圖片上增加人眼看上去無關緊要的噪聲，可以惡意地誤導AI系統輸出非預期的結果。

圖：一張貼紙“騙”過AI攝像頭來自比利時魯汶大學 (KU Leuven) 研究人員曾在身上貼一張打印出來的貼紙，就成功“欺騙”AI，讓檢測系統無法看到自己，如同穿了哈利波特中的“隱身斗篷”。目前，RealAI團隊也成功開展類似的“隱身”研究，在3D車輛模型的車身上貼上特制的“紙片”，使得模型成功逃逸識別。從具體效果來看，該“隱身”可在高度運動、光線變化等復雜環境中保持較高的魯棒性，技術優勢明顯。

圖：3D車輛模型“隱身”試驗

圖：遠距離、近距離、穩定、動態拍攝下的“隱身”效果如上圖所示，試驗中最右車輛未加噪音處理，最左車輛車身添加了白噪音，中間的車輛車身添加了RealAI基于對抗樣本特制的噪音圖像。可以看到，無論是遠距離、近距離，穩定拍攝還是運動拍攝中導致失焦，添加了對抗樣本噪音的車輛在絕大部分情況下都沒有被識別出，“隱身”最為成功。

圖：關燈瞬間以及昏暗光線下的“隱身”效果即便外界光線發生變化，在關燈瞬間“隱身”效果依舊穩定。值得指出的是，目前國際上發布的相關研究更趨于“靜態”環境中的隱身，比如過度的大幅度動作可能會導致“隱身”失效，RealAI團隊的“隱身”試驗則可以適應高難度的動態環境，比如高頻抖動、角度變換、失焦等，而且隱身效果更為突出。目前目標檢測技術已經大規模的應用到商業場景中，例如公共場所動態監控、安防布控以及自動駕駛汽車...... 而上文的“隱身”技術可能用于現實的視頻監控系統或干擾自動駕駛汽車的感知系統。設想一下，當監控系統失去監管效力、自動駕駛汽車失控，將引發怎樣的后果？警方過度信任AI監控導致罪犯輕松利用“隱身”技術逃脫、自動駕駛汽車被路邊的某個“圖案”誤導而引發車禍....公眾的人身安全、社會安全乃至國家安全都將面臨挑戰，政府、企業和社會都應該重新評估AI算法的可靠性。

刷臉時代，你的“臉”正在出賣你

隨著AI在人臉識別上越來越精通，人臉解鎖已經成為智能手機的標配。但是，我們的臉真的安全嗎？最近，RealAI的AI安全研究團隊利用一副基于“對抗樣本”生成的“眼鏡”成功破解智能手機的面部解鎖，是國際上首個從算法層面對商用手機高復雜識別模型實現黑盒攻擊的團隊。

圖：正常情況下無法解鎖他人手機

圖：帶上道具瞬間完成解鎖，破解成功圖片中可以看到，“攻擊者”戴上眼鏡識別的瞬間便可成功解鎖，無需特定的角度和光線，無需暴力嘗試。與照片解鎖、造假視頻、3D建模等傳統方法相比，該方法成本更低、成功率更高。深度神經網絡（CNN）容易受到“對抗樣本”的攻擊影響。此前就有研究團隊提出，通過帶有干擾的“配飾”來欺騙模型逃逸識別。但該想法只停留于研究層面，僅在實驗場景中結構較簡單的模型上進行過驗證，而且是基于對模型內部參數已知的情況下實現的“白盒”攻擊。RealAI研究團隊則將其成功應用到物理世界和黑盒場景，對內部參數未知的情況下，破解商用手機中復雜度、精準度更高的識別模型。

圖：基于對抗樣本生成的“眼鏡”道具RealAI進行該項研究，目的是為了從算法層面找到當前主流人臉識別模型的安全漏洞，從而針對性的進行防御。目前團隊也已經研發出相應的防御技術，可能很大程度上檢測并防御當前的對抗樣本攻擊。通過對手機識別系統進行防火墻升級，在解鎖的過程中可以識別出“攻擊者”，并對其拒絕訪問。圖：RealAI的AI防火墻技術可檢測并防御“對抗樣本”攻擊在正在到來的“刷臉”時代，我們似乎一再追求“好不好用”，對“安不安全”卻專注甚少。當我們沉浸在“技術進步”的喜悅中時，也該思考下，我們寫在“臉”上的密碼或許正在出賣我們。

保護AI安全發展，我們可以做什么？

人工智能在許多場景的應用都與人身安全息息相關，如自動駕駛、身份認證、監控安防等。如果在這些領域，一旦AI技術被濫用或者AI算法出現漏洞，將直接侵害人身權益，后果難以挽回。監控部門也已經注意到AI安全問題的嚴重性。今年4月全國人大常委會審議的《民法典人格權編(草案)》里，正式加了一條：任何組織和個人不得以利用信息技術手段偽造的方式侵害他人的肖像權。5月，國家網信辦會同有關部門發布《數據安全管理辦法（征求意見稿）》，其中表示，網絡運營者不得以謀取利益或損害他人利益為目的利用大數據、人工智能等技術自動合成信息。除了加強監管力度，確保人工智能安全、可控發展，也需要從安全對抗的本質上出發，鑄造更高門檻的防御技術，以AI應對AI。作為清華大學AI研究院的重點孵化企業，RealAI與清華大學AI研究院聯合開發出人工智能安全平臺—RealSafe平臺。RealSafe作為深度學習攻擊防御算法與評測的統一平臺，提供多種攻擊與防御算法，并融合白盒、黑盒等不同場景，可以提供全面、細致的攻擊防御算法的評測與比較。此外，RealSafe安全技術也可以應用至金融領域的身份驗證、安防領域的監控識別等具體場景，提高AI應用的安全性，避免不法之徒鉆空子。最后，AI安全問題已經不再只是學術談論，社會各界都應該提高對AI安全的意識，畢竟，AI已來，而解決AI安全問題已經迫在眉睫！