如今，深度學(xué)習(xí)已經(jīng)貫穿于我們的生活，無論是汽車自動駕駛、AI 醫(yī)學(xué)診斷，還是面部、聲音識別技術(shù)，無一沒有 AI 的參與。然而，盡管人們早已明了深度學(xué)習(xí)的輸入和輸出，卻對其具體的學(xué)習(xí)過程一無所知。

近日，針對這一問題，奧本大學(xué)（Auburn university）計(jì)算機(jī)科學(xué)和軟件工程副教授 Anh Nguyen 對圖像識別的深度學(xué)習(xí)算法進(jìn)行了逐點(diǎn)剖析；無獨(dú)有偶，加州大學(xué)歐文分校（UC Irine） 計(jì)算機(jī)科學(xué)副教授 Sameer Singh 正在制作歸因圖（attribution maps），以幫助理解為何自然語言算法懂得與你交談，并說出一些涉及種族主義的話。

機(jī)器學(xué)習(xí)（machine learning）是人工智能的一種形式，它使用大量的數(shù)據(jù)來訓(xùn)練自己對某些問題形成算法。例如，向機(jī)器提供成千上萬張標(biāo)有“貓”的照片，它就能學(xué)會識別“貓”這一生物。

Nguyen 說，機(jī)器學(xué)習(xí)的想法可以追溯到 20 世紀(jì) 50 年代，但直到最近，計(jì)算機(jī)才能夠有效地處理大量數(shù)據(jù)，并得出精確結(jié)果。到 20 世紀(jì) 90 年代，機(jī)器學(xué)習(xí)算法僅使用簡單的概念，但很明顯，現(xiàn)實(shí)生活中存在各種復(fù)雜的問題，從而需要更復(fù)雜的算法，這就是深度學(xué)習(xí)的意義所在。

與機(jī)器學(xué)習(xí)不同，深度學(xué)習(xí)（deep learning）不需要結(jié)構(gòu)化數(shù)據(jù)作為基礎(chǔ)，利用人工神經(jīng)網(wǎng)絡(luò)（artificial neural net），即多個(gè)神經(jīng)元一起工作，通過這些“神經(jīng)元”來考慮數(shù)據(jù)并對數(shù)據(jù)進(jìn)行分類。

神經(jīng)網(wǎng)絡(luò)非常擅長圖像識別，當(dāng)向它們提供足夠的數(shù)據(jù)后，他們可以挑出人眼看不見的圖案或差異。利用這一點(diǎn)，深度學(xué)習(xí)可以實(shí)現(xiàn)自動駕駛汽車的行人偵查或腫瘤篩查。

但是， 當(dāng)出現(xiàn)超出其參數(shù)范圍的輸入時(shí)，神經(jīng)網(wǎng)絡(luò)也會崩潰。在特定的，狹窄定義的任務(wù)中，深度學(xué)習(xí)通常優(yōu)于人類，但是一旦神經(jīng)網(wǎng)絡(luò)失效時(shí)，往往會導(dǎo)致嚴(yán)重的后果。如果錯誤識別的圖像發(fā)生在腫瘤患者身上或自動駕駛車上時(shí)，后果可能是致命的。

但問題是這些系統(tǒng)是如此的密集和復(fù)雜，人類無法理解它們，對人類來說，深度學(xué)習(xí)如同一個(gè)科技黑箱。除了令人不安之外，我們無法理解的計(jì)算機(jī)程序還可以做出一些不可預(yù)測的事情，并且當(dāng)它們出錯時(shí)，很難對其進(jìn)行反向工程或糾正。

正如 Nguyen 所說， “歸根結(jié)底，我們要搞清楚為什么神經(jīng)網(wǎng)絡(luò)的行為是這樣，而不是相反。”

揭示神經(jīng)網(wǎng)絡(luò)的想法

能徹底搞亂人工智能的數(shù)據(jù)被稱為“對抗性數(shù)據(jù)”，它會導(dǎo)致一個(gè)通常可靠的神經(jīng)網(wǎng)絡(luò)犯下奇怪的錯誤。靜態(tài)的、波浪狀的人字紋，以及五顏六色的條紋，可能被 AI 自信地識別為“蜈蚣”或“熊貓”。

不僅如此，一些常見的圖像也會讓深度學(xué)習(xí)人工智能崩潰。把消防車圖片倒過來，AI 就會看到一個(gè)大雪橇；放大一輛公共汽車的窗戶，它在 AI 眼中就變成了一個(gè)出氣筒。

“令人震驚的是，我們發(fā)現(xiàn)這些網(wǎng)絡(luò)會在某種程度上被這些奇怪的圖案所愚弄，這是我們從未想象過的。”Nguyen 表示。

為了找出原因，Nguyen 創(chuàng)建了一個(gè)叫做 DeepVis 的工具來分析神經(jīng)網(wǎng)絡(luò)算法。該工具能夠?qū)⑸钊雽W(xué)習(xí) AI 的完整程序分離開來，并顯示出單個(gè)神經(jīng)元正在識別的內(nèi)容。從這里開始，Nguyen 能夠打破深入學(xué)習(xí)AI的連續(xù)工作進(jìn)程，從而理解它是如何一步步達(dá)到最終檢測結(jié)果的。

將識別對象簡單的隨機(jī)旋轉(zhuǎn)幾次，就足以將 AI 的分類精度從 77.5% 降到3%

由于神經(jīng)網(wǎng)絡(luò)這種復(fù)雜性，對其所做的“解剖”對于人工智能開發(fā)人員最有用，提供的大量細(xì)節(jié)可以幫助科學(xué)家們更深入地理解破解黑箱所需的神經(jīng)網(wǎng)絡(luò)訓(xùn)練，就好比醫(yī)生對于腫瘤的研究一樣。

但是，即使使用 DeepVis，黑箱的秘密可能也不會完全打開。神經(jīng)元群的絕對復(fù)雜性可能讓人類難以理解，畢竟它是一個(gè)黑箱。

2016 年，來自波士頓大學(xué)和微軟研究院的研究人員為一種算法提供了 300 多萬英文單詞的數(shù)據(jù)集，數(shù)據(jù)從谷歌新聞文章中提齲研究人員重點(diǎn)關(guān)注那些最常用的英文單詞，然后讓算法做完形填空。

“男人（Man）之于程序員（computer programmer），那么女人（woman）之于什么”，機(jī)器通過算法“思考”后，得出答案：“家庭主婦（homemaker）”。

很明顯， AI也會發(fā)出類似于人類社會的性別歧視和種族主義言論。為了找出其中的原因，專注于破解自然語言處理（NLP）算法黑箱并提出深度學(xué)習(xí)思維（deep learning thinking）這一概念的 Sameer Singh，使用了一種叫做歸因圖（attribution map）的工具：將語言插入到文本生成 NLP 算法中，歸因圖將突出顯示某些部分，展示什么在神經(jīng)網(wǎng)絡(luò)內(nèi)部“發(fā)光”也許是一個(gè)特定的字母組合。

Singh 的團(tuán)隊(duì)首先使用某些單詞，開發(fā)出特殊的觸發(fā)器，然后，他們按照歸因圖所說的算法最“感興趣”的模板來修改這些單詞，最終的結(jié)果是一連串的文字和半拼寫錯誤，從而引發(fā)了某些看起來像“種族主義”的言論。

“突出顯示的內(nèi)容對模型的預(yù)測或輸出有很大的影響，”Singh 說，利用這些信息，可以使用故意的對抗觸發(fā)器來嘗試發(fā)現(xiàn)問題，并理解深度學(xué)習(xí)算法中的聯(lián)系。這足以讓人們了解人工智能的想法。

雖然歸因圖也有缺點(diǎn)，不同的地圖生成器可能彼此不一致，但是大概的理解可能是我們所能獲得的最好的理解。

AI 黑箱 VS 人類黑箱

事實(shí)上，隨著算法變得更加復(fù)雜、更加強(qiáng)大和不透明化，圍繞黑箱的問題也進(jìn)一步深入到哲學(xué)上：當(dāng)我們?nèi)祟愖约旱纳窠?jīng)網(wǎng)絡(luò)仍然神秘時(shí)，要求 AI 神經(jīng)網(wǎng)絡(luò)完全透明是公平的嗎？

不得不承認(rèn)，人類本身的神經(jīng)網(wǎng)絡(luò)也是一個(gè)黑箱。我們雖然知道一些物理結(jié)構(gòu)，知道它們是如何工作，但對“思想”和“意識”的確切含義仍不清楚。

接下來我們是否應(yīng)該思考，機(jī)器模仿人腦并繼承其精確、靈活等優(yōu)點(diǎn)的同時(shí)，是否也繼承了人性中的偏見？

當(dāng)然，隨著未來科學(xué)家們在深度學(xué)習(xí)領(lǐng)域中不斷取得的突破，由人類創(chuàng)造的 AI 黑箱終將變成“灰色”。