AI造假技術(shù)終究還是被濫用了。美聯(lián)社報(bào)道稱，一名間諜使用 AI 生成的個(gè)人資料和圖片在知名全球職場社交平臺(tái)LinkedIn上欺騙聯(lián)系人，包括政治專家和政府內(nèi)部人士。目前在網(wǎng)絡(luò)引發(fā)了激烈的討論。

科技是把雙刃劍：令人擔(dān)心的事情還是發(fā)生了。

自DeepFakes技術(shù)誕生以來，造假臉、假視頻的惡搞消息不斷，而基于GAN的相關(guān)技術(shù)讓這種惡搞“更上一層樓”——真人？假人？傻傻分不清。

先來看下兩個(gè)例子。

2015年，教皇方濟(jì)各 (Pope Francis) 訪美期間，“一個(gè)出人意料之舉”震驚了世界：只見他在向圣壇禮拜后，轉(zhuǎn)身順手將桌布一抽，上演了一出絕妙的“抽桌布”戲法，動(dòng)作之行云流水，令人膜拜。

相關(guān)視頻很快火遍了全美乃至全世界。但是，這是一個(gè)假視頻。

2015年現(xiàn)任教皇訪美，上演絕妙“抽桌布”戲法，美國主教看后表示不爽。當(dāng)然，這段視頻是假造的，但這并不影響其流行。來源：CNN

今年2月，英偉達(dá)StyleGAN開源，而后一波“造假熱潮”來了——假貓、假人、假房源網(wǎng)站如“雨后春筍般”崛起。人們不禁感嘆：實(shí)在太逼真了！

StyleGAN生成的假房源

但在驚嘆之余，人們不禁對諸如此類的AI技術(shù)表示擔(dān)憂：若是被濫用，會(huì)嚴(yán)重影響人們的安全和隱私。

事情還是發(fā)生了。

根據(jù)美聯(lián)社報(bào)道，一名間諜使用 AI 生成的個(gè)人資料和圖片在知名全球職場社交平臺(tái)LinkedIn上欺騙聯(lián)系人！

文章地址：

https://apnews.com/bc2f19097a4c4fffaa00de6770b8a60d

Katie Jones在LinkedIn中的虛假信息

據(jù)稱，凱蒂·瓊斯(Katie Jones)在一個(gè)高級智庫工作, 與政治專家和政府內(nèi)部人士聯(lián)系在一起。其中包括一些零散的政府人物，如參議員的助手、副助理國務(wù)卿，以及目前正在考慮加入美聯(lián)儲(chǔ)的經(jīng)濟(jì)學(xué)家保羅?溫弗里(Paul Winfree)。

但其實(shí)，她并不存在。

圖靈獎(jiǎng)得主、Facebook首席科學(xué)家Yann Lecun對此發(fā)推表示：

顯然，GAN在LinkedIn上被用來創(chuàng)建虛假的個(gè)人資料照片，并用于國際工業(yè)間諜活動(dòng)。

人類被戲謔：這個(gè)AI間諜堪比007，釣到不少“大V”

Katie Jones似乎很關(guān)注華盛頓的政治局勢。

這位30歲的紅發(fā)女郎聲稱在一個(gè)頂級智庫工作，是美國國際戰(zhàn)略研究中心（CSIS）的研究員。她與美國的一位副助理國務(wù)卿、一位參議員的高級助理以及正在考慮就職美聯(lián)儲(chǔ)席位的經(jīng)濟(jì)學(xué)家Paul Winfree均有聯(lián)系。

但是美聯(lián)社已經(jīng)確定，Katie Jones并不存在。

相反，這個(gè)人是隱藏在專業(yè)社交網(wǎng)站LinkedIn上的大量幻影資料之一。美聯(lián)社聯(lián)系的幾位專家表示，Jones的個(gè)人資料照片似乎是由一個(gè)計(jì)算機(jī)程序創(chuàng)建的。

CSIS航空安全項(xiàng)目和國防預(yù)算分析主任Todd Harrison發(fā)推表示：

現(xiàn)在我開始懷疑我的 CSIS 同事中有多少是真正的人類, 而不是 AI 產(chǎn)生的。

他還調(diào)侃道：“Sam，你是真人嗎？”

“我相信這是一張假臉，”Mario Klingemann表示。Mario是一位德國藝術(shù)家，多年來一直在試驗(yàn)人工生成的肖像，他說自己已經(jīng)審查了數(shù)萬張這樣的肖像圖。“這張頭像有所有的特征。”

看了Jones個(gè)人資料和活動(dòng)的LinkedIn專家表示，這是職業(yè)社交網(wǎng)站間諜活動(dòng)的典型表現(xiàn)。作為全球名片簿，LinkedIn成為吸引間諜的強(qiáng)大磁鐵。

丹麥民主聯(lián)盟基金會(huì)智囊團(tuán)的項(xiàng)目主任Jonas Parello Plesner說，“它看起來像某種國營業(yè)務(wù)。”幾年前，Jonas是LinkedIn上間諜活動(dòng)的目標(biāo)。

與Facebook的朋友和家庭聚焦點(diǎn)不同，LinkedIn面向求職者和獵頭，這些人通常會(huì)放出簡歷，建立龐大的聯(lián)系網(wǎng)，向陌生人推銷項(xiàng)目。這種“把他們都聯(lián)系起來”的方式有助于填補(bǔ)網(wǎng)站上數(shù)百萬個(gè)招聘職位的空缺，但它也為間諜提供了一個(gè)豐富的獵場。

過去幾年，英國、法國和德國官員都發(fā)出警告，詳細(xì)說明外國間諜如何利用LinkedIn與數(shù)千人取得聯(lián)系。

在一份聲明中，LinkedIn表示它經(jīng)常對假帳戶采取行動(dòng)，在2019年的前三個(gè)月中對其中數(shù)千個(gè)帳戶進(jìn)行了處理。它還說“我們建議您與您認(rèn)識(shí)和信任的人聯(lián)系，而非任何人。”

Katie Jones的個(gè)人資料規(guī)模不大，有52個(gè)聯(lián)系人。

但是這些聯(lián)系人具有足夠大的影響力，接受Jones邀請的一些人也會(huì)因此對她信任。美聯(lián)社在今年3月初至4月初期間與其他大約40名與Jones有聯(lián)系的人進(jìn)行了交談，其中許多人說他們經(jīng)常接受他們不認(rèn)識(shí)的人的邀請。

“我可能是LinkedIn歷史上最糟糕的用戶，”特朗普總統(tǒng)的國內(nèi)政策委員會(huì)前副主任Winfree說，他在3月28日確認(rèn)了與Jones的聯(lián)系。

上個(gè)月，聯(lián)邦儲(chǔ)備委員會(huì)理事會(huì)的一個(gè)職位空缺，Winfree的名字出現(xiàn)了，他表示，自己很少登錄LinkedIn并傾向于批準(zhǔn)他所有堆積的邀請。“我真的接受了我的每一個(gè)朋友邀請，”Winfree說。

在日內(nèi)瓦韋伯斯特大學(xué)教東亞事務(wù)的Lionel Fatton說，他不認(rèn)識(shí)Jones的事實(shí)讓他在3月份與她聯(lián)系時(shí)有短暫停頓。“我記得猶豫不決，”他說：“然后我想，'有什么害處？'”

Parello-Plesner指出，潛在的傷害可能是微妙的：連接到像Jones這樣的個(gè)人資料邀請意味著與背后的人進(jìn)行一對一的對話，網(wǎng)站上的其他用戶可以將連接視為一種認(rèn)可。他說：“你降低了自己的警惕，也讓別人放松警惕。”

Jones的個(gè)人資料首先由倫敦Chatham House智囊團(tuán)的俄羅斯專家Keir Giles舉報(bào)。Giles最近陷入了針對俄羅斯反病毒公司卡巴斯基實(shí)驗(yàn)室的批評者的完全獨(dú)立的間諜活動(dòng)。所以當(dāng)他收到Katie Jones在LinkedIn上的邀請時(shí)，他很懷疑。

Jones聲稱自己多年來一直在華盛頓戰(zhàn)略與國際研究中心擔(dān)任“俄羅斯和歐亞大陸研究員”，但Giles表示，如果這是真的，“我應(yīng)該聽說過她。”

CSIS發(fā)言人Andrew Schwartz告訴美聯(lián)社，“沒有一位名叫Katie Jones的人為我們工作。”

Jones還聲稱已獲得密歇根大學(xué)俄羅斯研究學(xué)位，但學(xué)校表示“無法找到任何一個(gè)以此名字從大學(xué)獲得這一學(xué)位的學(xué)生。”

在美聯(lián)社聯(lián)系網(wǎng)絡(luò)尋求評論后不久，Jones賬戶就從LinkedIn上消失了。通過LinkedIn和相關(guān)的AOL電子郵箱帳戶發(fā)送給Jones本人的郵件也沒有回復(fù)。

美聯(lián)社采訪的眾多專家表示，Katie Jones最吸引人的地方可能是她的臉，他們說這似乎是人為創(chuàng)造的。

Klingemann和其他專家說，這張照片——一張藍(lán)綠色眼睛、褐色頭發(fā)和神秘微笑的女人的肖像——似乎是使用稱為生成對抗網(wǎng)絡(luò)（GAN）的一系列計(jì)算機(jī)程序創(chuàng)建的，這可以創(chuàng)造出想象出來的人的逼真面孔。

GAN，有時(shí)被描述為一種人工智能形式，已經(jīng)受到越來越政策制定者的關(guān)注，盡管他們已經(jīng)在努力處理數(shù)字虛假信息了。周四，美國立法者舉行了他們的第一次聽證會(huì)，主要討論人為生成圖像的威脅。

南加利福尼亞大學(xué)創(chuàng)意技術(shù)研究所負(fù)責(zé)圖形實(shí)驗(yàn)室愿景的Hao Li發(fā)布了一份數(shù)字報(bào)告清單，他認(rèn)為Jones的照片是由計(jì)算機(jī)程序創(chuàng)建的，包括Jones眼周圍的不一致、她頭發(fā)周圍的光和左臉頰上留下污跡。

基于GAN生成的圖像：逼真到可怕，能生成世間萬物

這個(gè)造假技術(shù)到底有多厲害？

基于GAN的架構(gòu)一個(gè)又一個(gè)推出，英偉達(dá)StyleGAN就是其中一個(gè)，多上幾張圖有助于你回憶：

這個(gè)模型并不完美，但確實(shí)有效，而且不僅僅可用于人類，還能用于汽車、貓、風(fēng)景圖像的生成。

英偉達(dá)研究人員在論文中寫道，他們提出的新架構(gòu)可以完成自動(dòng)學(xué)習(xí)，無監(jiān)督地分離高級屬性（例如在人臉上訓(xùn)練時(shí)的姿勢和身份），以及生成圖像中的隨機(jī)變化，并且可以對合成進(jìn)行更直觀且特定于比例的控制。

換句話說，這種新一代GAN在生成和混合圖像，特別是人臉圖像時(shí)，可以更好地感知圖像之間有意義的變化，并且在各種尺度上針對這些變化做出引導(dǎo)。

例如，在上面的動(dòng)圖中，其實(shí)面部已經(jīng)完全變了，但“源”和“樣式”的明顯標(biāo)記顯然都得到了保留。為什么會(huì)這樣？請注意，所有這些都是完全可變的，這里說的變量不僅僅是A + B = C，而且A和B的所有方面都可以存在/不存在，具體取決于設(shè)置的調(diào)整方式。

而StyleGAN之所以強(qiáng)大，就在于它使用了基于風(fēng)格遷移的全新生成器架構(gòu)：

傳統(tǒng)生成器架構(gòu)和基于風(fēng)格的生成器架構(gòu)對比

在傳統(tǒng)方式中，隱碼(latent code)是通過輸入層提供給生成器的，即前饋網(wǎng)絡(luò)的第一層(上圖中的a部分)。而英偉達(dá)團(tuán)隊(duì)完全省略了輸入層，從一個(gè)學(xué)習(xí)的常量(learned constant)開始，從而脫離了傳統(tǒng)的設(shè)計(jì)(圖1b，右)。在輸入隱空間Z中，給定一個(gè)隱碼z，一個(gè)非線性網(wǎng)絡(luò) f：Z→W首先生成w∈W(圖1b，左)。

英偉達(dá)團(tuán)隊(duì)的生成器架構(gòu)可以通過對樣式進(jìn)行特定尺度的修改來控制圖像合成。可以將映射網(wǎng)絡(luò)和仿射變換看作是一種從學(xué)習(xí)分布(learned distribution)中為每種樣式繪制樣本的方法，而將合成網(wǎng)絡(luò)看作是一種基于樣式集合生成新圖像的方法。修改樣式的特定子集可能只會(huì)影響圖像的某些方面。

面對假臉生成算法，現(xiàn)有人臉識(shí)別系統(tǒng)幾乎束手無策

之前，大多數(shù)研究都集中在如何提高“換臉”技術(shù)上，也就是如何讓計(jì)算機(jī)生成超逼真的人臉。

誰料，這種技術(shù)發(fā)展的濫用造成了反效果，也即所謂的“DeepFake”。現(xiàn)在，DeepFake已被用于指代所有看起來或聽起來像真的一樣的假視頻或假音頻。

針對 Deepfake 視頻中人臉識(shí)別的漏洞，兩人在論文中對基于VGG和Facenet的人臉識(shí)別系統(tǒng)做了漏洞分析，還使用SVM方法評估了 DeepFake 的幾種檢測方法，包括嘴唇動(dòng)作同步法和圖像質(zhì)量指標(biāo)檢測等。

結(jié)果令人遺憾——

無論是基于VGG還是基于Facenet的系統(tǒng)，都不能有效區(qū)分GAN生成假臉與原始人臉。而且，越先進(jìn)的Facenet系統(tǒng)越容易受到攻擊。

VGG模型是2014年ILSVRC競賽的第二名，第一名是GoogLeNet。但是VGG模型在多個(gè)遷移學(xué)習(xí)任務(wù)中的表現(xiàn)要優(yōu)于googLeNet。而且，從圖像中提取CNN特征，VGG模型是首選算法。它的缺點(diǎn)在于，參數(shù)量有140M之多，需要更大的存儲(chǔ)空間。但是這個(gè)模型很有研究價(jià)值。

Facenet該模型沒有用傳統(tǒng)的softmax的方式去進(jìn)行分類學(xué)習(xí)，而是抽取其中某一層作為特征，學(xué)習(xí)一個(gè)從圖像到歐式空間的編碼方法，然后基于這個(gè)編碼再做人臉識(shí)別、人臉驗(yàn)證和人臉聚類等。

直方圖顯示了基于VGG和Facenet的人臉識(shí)別在高質(zhì)量人臉交換中的漏洞。

檢測Deepfake視頻

他們還考慮了幾種基線Deepfake檢測系統(tǒng)，包括使用視聽數(shù)據(jù)檢測唇動(dòng)和語音之間不一致的系統(tǒng)，以及幾種單獨(dú)基于圖像的系統(tǒng)變體。這種系統(tǒng)的各個(gè)階段包括從視頻和音頻模態(tài)中提取特征，處理這些特征，然后訓(xùn)練兩個(gè)分類器，將篡改的視頻與真實(shí)視頻分開。

所有檢測系統(tǒng)的檢測結(jié)果如下表所示。

說明一下表格中各種“符號”和數(shù)字的意思，你也可以直接跳過看本節(jié)最后結(jié)論：

在本系統(tǒng)中，使用MFCCs作為語音特征，以mouth landmarks之間的距離作為視覺特征。將主成分分析(PCA)應(yīng)用于聯(lián)合音視頻特征，降低特征塊的維數(shù)，訓(xùn)練長短期記憶(long short-term memory, LSTM)網(wǎng)絡(luò)，將篡改和非篡改視頻進(jìn)行分離。

作為基于圖像的系統(tǒng)，實(shí)現(xiàn)了以下功能:

Pixels+PCA+LDA：使用PCA-LDA分類器將原始人臉作為特征，保留99%的方差，得到446維變換矩陣。

IQM+PCA+LDA：IQM特征與PCA-LDA分類器結(jié)合，具有95％保留方差，導(dǎo)致2維變換矩陣。

IQM + SVM：具有SVM分類器的IQM功能，每個(gè)視頻具有20幀的平均分?jǐn)?shù)。

基于圖像質(zhì)量測度(IQM)的系統(tǒng)借鑒了表示域(domain of presentation)的攻擊檢測，表現(xiàn)出了較好的性能。作為IQM特征向量，使用129個(gè)圖像質(zhì)量度量，其中包括信噪比，鏡面反射率，模糊度等測量。

下圖為兩種不同換臉版本中性能最好的IQM+SVM系統(tǒng)的檢測誤差權(quán)衡(DET)曲線。

IQM + SVM Deepfake檢測

結(jié)果表明：

首先，基于唇部同步的算法不能檢測人臉交換，因?yàn)镚AN能夠生成與語音匹配的高質(zhì)量面部表情；因此，目前只有基于圖像的方法才能有效檢測Deepfake視頻。

其次，IQM+SVM系統(tǒng)對Deepfake視頻的檢測準(zhǔn)確率較高，但使用HQ模型生成的視頻具有更大的挑戰(zhàn)性，這意味著越先進(jìn)的人臉交換技術(shù)將愈發(fā)難以檢測。

AI研究發(fā)表和模型開源，真的該制定一個(gè)規(guī)范了

Yann LeCun于2月在Twitter上提問：

講真，要是當(dāng)初知道卷積神經(jīng)網(wǎng)絡(luò)(CNN)會(huì)催生DeepFake，我們還要不要發(fā)表CNN？

LeCun說：“問個(gè)嚴(yán)肅的問題：卷積神經(jīng)網(wǎng)絡(luò)(CNN)被用于(或開發(fā))各種各樣的應(yīng)用。很多這樣的應(yīng)用對世界起到了積極影響，例如，醫(yī)療影像、汽車安全、內(nèi)容過濾、環(huán)境監(jiān)控等等。

“但有的應(yīng)用則可能起到負(fù)面的效果，或者說侵犯隱私，例如，公眾場所的人臉識(shí)別系統(tǒng)、進(jìn)攻性武器，以及有偏見的“過濾”系統(tǒng)……

“那么，假設(shè)在上世紀(jì)80年代那時(shí)我們能夠預(yù)見CNN的這些負(fù)面影響，我們該不該把CNN模型保密不公開呢？“

幾點(diǎn)想法：

最終，CNN(或者類似的東西)還是會(huì)被其他人發(fā)明出來(實(shí)際上，有些人可以說差不多已經(jīng)做到了)。其實(shí)，福島邦彥就跟我說，他80年代末的時(shí)候正在研究一種用BP訓(xùn)練的新認(rèn)知機(jī)(Neocogitron)，但看到我們1898年發(fā)表的神經(jīng)計(jì)算論文“大感震驚”(shocked)，然后停止了他的項(xiàng)目。

開源CNN或深度學(xué)習(xí)軟件平臺(tái)直到2002年才出現(xiàn)(CNN是20世紀(jì)90年代早期商業(yè)軟件包SN和2002年開源的Lush軟件包的一項(xiàng)功能。20世紀(jì)90年代中后期才開始有OSS分發(fā))。因此，在某種程度上，CNN直到2002年才完全發(fā)表(released)。但那時(shí)基本沒有什么人關(guān)注CNN，或者想到用Lush來訓(xùn)練CNN。”

LeCun的這番話，可以說是為他此前的“表態(tài)”做出了完美的解釋。是的，這里說的還是關(guān)于OpenAI模型開源的那件事。

但是，通過此次事件來看，OpenAI覺得由于模型過于強(qiáng)大而不開源的擔(dān)憂興許是正確。

當(dāng)然，現(xiàn)在業(yè)界的重點(diǎn)已經(jīng)從最初的口水戰(zhàn)聚焦到AI研究發(fā)表和開源政策的討論上來。

現(xiàn)在能夠肯定的是，關(guān)于AI研究發(fā)表和模型開源，相關(guān)的政策真的需要制定了。OpenAI在擔(dān)心模型被濫用時(shí)舉了DeepFake為例，DeepFake是基于CNN構(gòu)建的圖像生成模型，由于強(qiáng)大的圖像生成能力，能夠生成以假亂真的人臉，甚至騙過先進(jìn)的人臉識(shí)別模型。

那么，還是回到那個(gè)嚴(yán)肅的問題：

你認(rèn)為強(qiáng)大的技術(shù)是否該開源呢？

歡迎留言給出你的意見。

PS：

你能辨別真臉和假臉嗎？不妨到這個(gè)網(wǎng)站測試一下：

http://www.whichfaceisreal.com/