只需要打印一張彩色貼紙，然后將其粘貼到帽子上，頂級 Face ID 系統瞬間 “失靈” 了。來自華為莫斯科研究中心的新研究，破解了當前最好的公共 Face ID 系統。

一張貼紙能讓你在面部識別軟件面前“隱身”！

今天，Reddit 上一條帖子火了：

我們使用對抗攻擊技術攻破了目前最好的公共 Face ID 系統——ArcFace。

攻擊一個 AI 系統不是什么新鮮事，但我們成功地在現實世界中做到了：只需要打印一張彩色貼紙，然后將其粘貼到帽子上，就能使人臉與真值的相似性顯著下降！甚至這種攻擊方法還可以遷移去攻擊其他頂級的 Face ID 模型。

這個研究的兩位作者 Stepan Komkov 和 Aleksandr Petiushko，來自莫斯科國立大學和華為莫斯科研究中心，他們公開了 demo，并開源了他們的方法。

正常使用的情況下，ArcFace 系統輕易識別出人臉：Person_1

接著，把一張普通的打印出來的彩色貼紙，貼到腦門上，看看會怎樣？

出人意料的是，ArcFace 系統識別不出這是一張“人臉”了。一個先進的人臉識別模型如此輕易就被“攻破”了！

只需一張貼紙，人臉識別系統瞬間“失靈”

不僅如此，研究人員嘗試了不同光照方向對系統的影響，包括關燈、側面打光和正面打光，ArcFace 系統均識別不出人臉。

關燈：認不出

側面打光：認不出

正面打光：認不出

直到把“貼紙”摘下，人臉識別系統馬上恢復了正常。

摘下貼紙，人臉識別系統恢復正常

看到這里，很容易想起另一個近期的“欺騙 AI 系統”的研究：來自比利時魯汶大學幾位研究人員借助一張簡單打印出來的圖案，完美欺騙了 YOLO (v2)開源對象識別系統。

如上圖所示，AI 系統成功檢測到左邊的人，而右邊的人被忽略了。右邊的人身上掛著一塊彩色紙板，在論文中被稱為“對抗性補丁”(adversarial patch)，正是這塊補丁“欺騙”了 AI 系統，讓系統無法發現畫面中還有一個人。

研究人員表示，他們設計的圖像可以將整個人隱藏起來，不會讓計算機視覺系統發現。但這個“補丁”并非萬無一失，即使它的角度發生了變化，AI 系統也能迅速“發現”畫面中的人類。

相比之下，莫斯科兩位研究人員的方法更“穩健”，他們稱這種對抗攻擊為AdvHat，相比其他方法的優勢有：

利用帽子上的貼紙，對最先進的公共人臉識別系統進行了現實世界的對抗性攻擊。

這種攻擊很容易重現，只需打印一張彩色貼紙；

攻擊可以在不同的光照條件下工作；

提出了一種新穎的粘貼投影技術，使攻擊過程中的圖像具有真實感；

此外，同樣的攻擊還可以轉移到其他面部識別模型。

看了演示，Reddit 網友紛紛表示“很酷”、“非常有趣”，有人說：“感謝你們花時間和精力把這個已知概念從數字空間帶到現實世界。該領域內的大多數人都知道這是可以做到的，我已經知道并嘗試用對抗方法‘愚弄’AI 系統 4 年了，但這可能是我看到的第一個有人在現實世界對抗 Face ID 的視頻！”

接下來，新智元帶來對 AdvHat 方法的詳細解讀，以及實驗和結果數據。

四步攻擊，兩種轉換，誘導 Face ID 系統決策失靈

圖 1：一種攻擊人臉識別系統的新方法。帽子上的貼紙顯著降低了與 ground truth 類的相似性。左邊的對中，與 ground truth 的相似度下降了0.592，右邊對下降了0.429。

在 Face ID 系統的實際使用場景中，并不是每個被捕獲的人都是已知的。這就是為什么與 top-1 class 的預測相似性應該超過某個預定義的閾值，才能認為面孔被識別出來了。

我們目標是創建一個可以粘貼在帽子上的矩形圖像，并誘導 Face ID 系統將人臉與ground truth 類的相似性降低到決策閾值以下。

為了達到這個目的，我們使用了一個攻擊 pipeline，它的描述如下：

1)我們對矩形圖像應用一個新的平面外變換(off-plane transformation)，從而在貼在帽子上之后模仿矩形圖像的樣子。

2)我們將得到的圖像投影到高質量的人臉圖像上，投影參數的擾動較小，使我們的攻擊更加穩健。

3)將得到的圖像轉換為 ArcFace 輸入的標準模板。

4)減少了兩個參數的和：初始矩形圖像的 TV loss，得到的圖像的嵌入與 ArcFace 計算的錨點嵌入之間的余弦相似度。

整個的 pipeline 如圖 2 所示。

圖 2：攻擊的整個流程架構。首先，我們將貼紙改造成真實的形狀。其次，我們把它投射到面部圖像上。第三，我們使用稍微不同的參數將圖像轉換為 ArcFace 輸入模板。最后，我們將模板輸入 ArcFace，評估余弦相似度和 TV loss。這樣，我們可以得到梯度信號，用于修改貼紙圖像。

非平面貼紙轉換：

我們將在帽子上放置貼紙時發生的轉換分為兩個步驟：貼紙的平面外彎曲和貼紙的俯仰旋轉。圖 3 顯示了這兩個轉換。

圖 3：當在帽子上放一個矩形貼紙時，它會發生彎曲和旋轉。

實驗和結果

我們在實驗中使用 400×900像素的圖像作為貼紙圖像。然后，將貼紙圖像投影到600x600像素的人臉圖像上，然后將其轉換為 112x112 的圖像。

攻擊方法

如前所述，我們在將圖像輸入 ArcFace 之前隨機修改了圖像。我們構建了一批生成的圖像，并使用整個 pipeline 計算初始貼紙的平均梯度。我們可以直接計算梯度，因為每個變換都是可微的。

我們把攻擊分為兩個階段。在第一階段，我們使用的 step value 等于，動量等于0.9。在第二階段，我們使用 step value 等于，動量等于?0.995。TV loss 總是等于 1e - 4。

對抗性貼紙

圖4：兩個對抗貼紙的示例

典型的對抗貼紙的示例在圖 4，看起來貼紙上畫了一個凸起的眉毛。根據前人研究，眉毛是人類識別人臉的最重要特征。

固定條件下的實驗

所有照片和真實世界的測試都在相同的條件下進行。我們評估了 10 個不同年齡和性別的人：年齡分別為 40 歲，23 歲，16 歲，5 歲（男性）和 36 歲，32 歲，29 歲，24 歲，24 歲，8 歲（女性）。每個人使用 3 張照片創建攻擊：我們需要計算真實的嵌入圖像中的簡單照片，計算基線相似度并獲得對抗性的圖像貼紙。我們要找到這個人的貼紙轉換參數。然后打印每個人的對抗貼紙，并用這些貼紙制作第四張照片以獲得最終結果。

我們使用 boxplot 來顯示所獲得值的分布（參見圖 5）。可以看出，對抗性貼紙明顯降低了與實際圖像的相似性。值得注意的是，在大多數情況下，對抗性貼紙在 0.5 以上時會降低與基礎事實的相似性。兩次降低相似度小于 0.5 的攻擊都與 10 歲以下的兒童有關。兒童的基線相似度初始值較低。

圖 6：我們為一些人額外制作了 11 張照片，以檢測多種條件下貼紙攻擊的威力

圖 7：各種拍攝條件的基線結果和最終相似度。不同的人以不同的顏色表示

變化條件下的實驗

為了檢驗我們針對不同拍攝條件的方法的穩健性，我們從前 10 張照片中選出 4 個人，又為他們制作了 22 張照片。這些照片分為 11 對。每對都是在相同的條件下照的。每對中的第一張照片是戴帽子的照片，用于評估基線相似度。第二張是帶有對抗性貼紙的戴帽子的照片，用于評估最終的相似度。8 對照片對應于頭部傾斜的不同組合和形式（向前傾，向后傾，向左轉，向右轉），3 對照片對應于不同的照明條件。拍攝條件示例如圖 6 所示。值得注意的是，我們繼續使用之前的貼紙，而不進行新的攻擊。

結果如圖 7 所示。盡管最終的相似性增加，但攻擊仍然有效。這里不想給出什么結論，因為測試裝置非常小，但我們認為，實驗結果對于頭部的不同旋轉形式和組合是穩健的。

我們發現照片上貼紙的較大區域會導致相似性較低。當頭部向前傾斜時，最終的相似性仍然小于 0.2。當頭部逐步抬起，相似度會逐漸增加。使用更好的投射和渲染技術以及更大的對抗配飾（比如使用帽子部分的全部區域進行攻擊）可以讓監控攝像機完全無法識別。

圖 8：不同模型上一次攻擊的基線和最終相似性之間的差異

可轉移性的實驗

最后，我們檢查了對其他 Face ID 模型的攻擊的穩健性。這些模型取自 InsightFace Model Zoo 。這些網絡具有不同的體系結構，與 LResNet100E-IR，ArcFace @ ms1m-refine-v2 相比，這些網絡使用不同的損失函數和數據集進行訓練。

我們使用第一個實驗中的照片來評估相似度：全臉照片，戴帽子的照片，帽子上帶有對抗貼紙的照片。我們計算了 10 個人中每個人的基線結果和最終相似度。使用箱線圖在圖 8 中描繪了每種模型的基線和最終相似度之間的差異。

結果顯示，我們的真實世界的攻擊行為就像數字域中的常見對抗性攻擊一樣。盡管攻擊的強度降低，但人仍然很難識別出來。