本文經AI新媒體量子位（ID：QbitAI）授權轉載，轉載請聯系出處

蕭簫 發自 凹非寺

神經網絡就像“煉丹爐”一樣，投喂大量數據，或許能獲得神奇的效果。

“煉丹”成功后，神經網絡也能對沒見過的數據進行預測了~

然而，這種情況下，神經網絡其實成了“黑匣子”——具有一定的功能，但看不見是怎么起作用的。

如果只做簡單的圖像分類，其實還好；但如果用在醫學方向，對疾病進行預測，那么神經網絡下的“判斷”就不可輕信。

如果能了解它是怎么工作的，就更好了。

出于這種考慮，來自牛津大學的博士生Oana-Maria Camburu撰寫了畢業論文《解釋神經網絡（Explaining Deep Neural Networks）》。

在這篇論文中，她將這些“黑匣子”一個個打開，對神經網絡原理進行了詳細的解釋。

為什么要打開神經網絡“黑匣子”？

事實上，神經網絡之所以起作用，最直觀的原因就是，它由大量非線性函數組成。

這些非線性函數，使得網絡可以學習原始數據中各種抽象級特征。

然而，也正是因為神經網絡中的這些非線性函數，使得人類往往難以理解，它們是如何起作用的。

這就導致神經網絡在疾病預測、信用額度、刑法等方向上“不太受歡迎”。

醫生和法律相關的研究者往往更樂意采用可解釋模型，例如線性回歸、決策樹，因為神經網絡在疾病預測中的確出過問題：

人們利用神經網絡預測肺炎患者的病情發展，其中一項患者特征為是否有哮喘病史。

神經網絡經過訓練后預測，有哮喘病史的患者死于肺炎的可能性較低。

但其實結果恰好相反，哮喘本身會給肺炎帶來雪上加霜的效果。

之所以數據表明哮喘患者較少死于肺炎，往往是因為哮喘能被及早發現，所以患者得肺炎后能被及早治療。

如果這種神經網絡被應用于實踐中，將會帶來非常危險的結果。

此外，即使是神經網絡，也會對男女性別產生刻板印象、產生種族偏見。

例如，調查表明，有些語料庫和模型，在預測再犯時，會更“偏愛”男性。

除了錯誤的預測和種族、性別歧視以外，神經網絡還很脆弱。

無論是對圖像進行小改動欺騙分類算法、還是用語音識別瞞過NLP模型，神經網絡被“爆雷”的情況也不少。

為了讓神經網絡應用于更多的方向，也為了讓我們更好地學習它的原理，作者從兩個方向對神經網絡進行了解釋。

2種方法解釋神經網絡

“事后再解釋”

第一種方法，稱之為基于特征的解釋方法，又叫“事后再解釋”——因為這種方法，是在神經網絡訓練好后，才對其輸入特征進行解釋的。

這種方法針對文本的詞（token）、或是針對圖像的超像素（super pixels），進行“事后”解釋。

目前這種方法應用較為普遍，不容易出現解釋偏見，但需要驗證解釋方法的真實性。

這里的根本原理，是研究外部解釋方法給出的解釋、與模型本身生成的自然語言解釋之間，是否存在相關性，而相關性具體又是什么。

在論文中，作者引入了一種新的驗證方法，來判斷解釋方法的真實性。

讓神經網絡自己解釋

那么，如果能讓神經網絡一邊訓練、一邊“解釋自己”呢？

這是論文提到的第二種方法，即在模型中植入一個生成預測解釋的模塊，對預測的結果進行解釋。

至于神經網絡對自己的解釋是否正確，還需要人為進行判斷。

在這里面，作者同樣引入了一種判斷方法，對模型自己生成的解釋進行判斷，從而得出神經網絡解釋的結果。

對神經網絡詳細結構、具體解釋方法感興趣的小伙伴，可以戳下方論文地址查看~

作者介紹

Oana-Maria Camburu，來自羅馬尼亞，目前是牛津大學的博士生，主修機器學習、人工智能等方向。

高中時期，Oana-Maria Camburu曾獲IMO（國際奧數競賽）銀牌。她曾經在馬普所、谷歌實習，讀博期間，論文被ACL、EMNLP、IJCNLP等頂會收錄。

原文標題：神經網絡“煉丹爐”內部構造長啥樣？牛津大學博士小姐姐用論文解讀

文章出處：【微信公眾號：人工智能與大數據技術】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq