對于未經(jīng)過特殊訓(xùn)練的人來說，很難分辨出深度假視頻（Deepfake），因為它們可能非常逼真。無論是作為一種新型的“調(diào)侃”方式，還是用于其他目的，描述人們從未做過或說過事情的虛假視頻都是對“眼見為實”這一長期理念的根本威脅。

大多數(shù)深度假視頻是通過向計算機(jī)算法顯示某個人的許多圖像，然后讓它使用其所看到的信息生成新的人臉圖像。同時，這些人的聲音也是合成的，所以看起來和聽起來都像是這個人說了某些新東西。

我（本文作者，紐約州立大學(xué)奧爾巴尼分校計算機(jī)視覺和機(jī)器學(xué)習(xí)實驗室主任Siwei Lyu）的研究小組早期的一些工作，讓我們能夠檢測出不包括人眼正常眨眼次數(shù)的深度假視頻，但最新一代的深度假視頻技術(shù)已經(jīng)適應(yīng)了這種趨勢，因此我們的研究繼續(xù)推進(jìn)。

現(xiàn)在，我們的研究可以通過仔細(xì)觀察特定幀的像素來識別視頻的真?zhèn)?。更進(jìn)一步，我們還推出了積極的措施，以保護(hù)個人不成為深度假視頻的受害者。

發(fā)現(xiàn)缺陷

在最近的兩篇研究論文中，我們描述了檢測有缺陷深度假視頻的方法，而這些缺陷是偽造者無法輕易修復(fù)的。

當(dāng)深度假視頻合成算法生成新的面部表情時，新圖像并不總是能與人的頭部位置、光照條件或到攝像頭的距離完美匹配。為了使這些假臉融入周圍環(huán)境，必須對它們進(jìn)行幾何變形——旋轉(zhuǎn)、調(diào)整大小或以其他方式進(jìn)行扭曲。這個過程在生成的圖像中會留下數(shù)字痕跡。

我們已經(jīng)注意到，有些深度假視頻有很明顯的數(shù)字痕跡。這些痕跡可以讓照片看起來明顯經(jīng)過了修改，比如模糊的邊框和人為修訂的光滑皮膚。更細(xì)微的改變?nèi)匀粫粝伦C據(jù)，我們已經(jīng)教會了一種算法來檢測它，即使人眼看不出區(qū)別。

如果深度假視頻中有個人沒有直視攝像頭，這些偽影就會發(fā)生變化。拍攝真人的視頻顯示他們的臉會在三維空間中移動，但深度假視頻的算法還不能在三維空間中偽造人臉。相反，它們會生成一張常規(guī)的二維人臉圖像，然后嘗試旋轉(zhuǎn)、調(diào)整和扭曲該圖像，使其符合人們想要看到的方向。

這類算法還沒有很好地做到這一點，這就為發(fā)現(xiàn)它們提供了機(jī)會。我們設(shè)計了一種算法來計算人的鼻子在圖像中的指向，它還可以通過人臉輪廓計算出頭部指向的方向。在一個真實的人的頭部視頻中，這些應(yīng)該是可以預(yù)見的。然而，在深度假視頻中，它們往往是錯位的。

圖2：當(dāng)電腦把尼古拉斯·凱奇（Nicolas Cage）的臉放在埃隆·馬斯克（Elon Musk）的頭上時，它可能無法將臉和頭正確對齊

檢測深度假視頻

從技術(shù)上說，檢測深度假視頻的科學(xué)就像軍備競賽，因為偽造者們也在不斷改進(jìn)自己的技術(shù)，所以我們的研究總是要努力跟上，甚至需要保持超前。

如果有一種方法可以影響創(chuàng)建深度假視頻的算法，使它們的效果變得更差，這將使我們更好地檢測偽造視頻。我的團(tuán)隊最近找到了一種方法來實現(xiàn)這個目標(biāo)。

圖3：左側(cè)圖片中，在我們處理之前很容易在圖像中檢測到人臉。在中間圖片中，我們添加了些干擾，使算法能夠檢測到其他人臉，但不能檢測到真實的人臉。右邊圖像中，我們修改了圖像，增強(qiáng)了30倍使其可見

人臉圖像庫是由算法組合而成的，這些算法處理數(shù)千張在線照片和視頻，并使用機(jī)器學(xué)習(xí)來檢測和提取人臉。計算機(jī)可能會查看一張班級照片，發(fā)現(xiàn)所有學(xué)生和老師的面孔，然后將這些面孔添加到庫中。當(dāng)生成的庫中有大量高質(zhì)量的人臉圖像時，生成的深度假視頻更有可能成功地欺騙過用戶。

我們發(fā)現(xiàn)了一種方法，可以在人眼看不到的數(shù)碼照片或視頻中添加特殊設(shè)計的噪音，但卻可以欺騙人臉檢測算法。它可以隱藏人臉探測器用來定位人臉的像素模式，并創(chuàng)建一些假信號，表明在沒有人臉的地方有一張臉，比如某塊背景或某人衣服的正方形。由于真臉更少，非真臉更多，訓(xùn)練數(shù)據(jù)受到“污染”，深度偽造視頻算法生成假臉的能力就越差。這不僅減慢了制作深度假視頻的過程，而且使生成的深度假視頻暗藏更大缺陷，更容易檢測出來。

當(dāng)我們開發(fā)這個算法時，我們希望能夠?qū)⑺鼞?yīng)用到任何人上傳到社交媒體或其他在線站點的任何圖像上。在上傳過程中，他們可能會被問到：“你想保護(hù)視頻或圖像中的人臉不被用于深度偽造嗎?”如果用戶選擇‘是’，那么該算法可以添加數(shù)字噪音，讓人們依然能在網(wǎng)上看到人臉，但同時也能將其有效地隱藏起來，不讓算法試圖模仿它們。