近期，來自麻省理工學(xué)院計算機科學(xué)人工智能實驗室（CSAIL）和卡塔爾計算研究所的研究人員已經(jīng)通過新的解釋技術(shù)，來分析神經(jīng)網(wǎng)絡(luò)做機器翻譯和語音識別的訓(xùn)練過程。

神經(jīng)網(wǎng)絡(luò)通過分析大量的訓(xùn)練數(shù)據(jù)來學(xué)習(xí)并執(zhí)行任務(wù)，這是近期人工智能領(lǐng)域最令人印象深刻的進展，包括語音識別和自動翻譯系統(tǒng)。

然而，在訓(xùn)練過程中，神經(jīng)網(wǎng)絡(luò)以甚至其創(chuàng)造者都無法解釋的方式來不斷調(diào)整其內(nèi)部設(shè)置。計算機科學(xué)最近的許多工作都聚焦于千方百計的弄清楚神經(jīng)網(wǎng)絡(luò)的工作原理。

在最近的幾篇論文，來自麻省理工學(xué)院計算機科學(xué)人工智能實驗室（CSAIL）和卡塔爾計算研究所的研究人員已經(jīng)使用了新開發(fā)的解釋技術(shù)，來分析神經(jīng)網(wǎng)絡(luò)做機器翻譯和語音識別的訓(xùn)練過程，該新技術(shù)已被應(yīng)用于其他領(lǐng)域。

他們對神經(jīng)網(wǎng)絡(luò)的工作原理有了基本認知。例如，這些系統(tǒng)似乎專注于較低級別的任務(wù)，如聲音識別或部分語音識別，然后再轉(zhuǎn)到更高級別的任務(wù)，如轉(zhuǎn)錄或語義解釋。

但是研究人員也發(fā)現(xiàn)了翻譯網(wǎng)絡(luò)處理數(shù)據(jù)類型的一個驚人的遺漏，他們指出糾正這種遺漏會提高網(wǎng)絡(luò)的性能。這種改進是適度的，但它指出了對神經(jīng)網(wǎng)絡(luò)的分析可能有助于提高人工智能系統(tǒng)的準確性。

“從歷史角度看，在機器翻譯里，有一個具有不同層次的金字塔，” CSAIL一位高級研究科學(xué)家說。這位科學(xué)家在是麻省理工學(xué)院電氣工程和計算機科學(xué)的畢業(yè)生，曾參與Yonatan Belinkov項目。”在最低層有文字，表層形式，金字塔的頂層是一種語際表示，在做語法和語義時會達到不同的層次。這是一個非常抽象的概念，意思是你在金字塔中爬得越高，就越容易翻譯成一種新的語言，然后你就再往下走。所以Yonata所做的部分工作是找出在神經(jīng)網(wǎng)絡(luò)中這種概念的會是什么樣的編碼。”

分層處理

神經(jīng)網(wǎng)絡(luò)之所以得名，是因為它們大致接近人腦的結(jié)構(gòu)。通常，它們被分層，每個層由許多簡單的處理單元節(jié)點組成，每個節(jié)點都連接到上面和下面的層中的幾個節(jié)點。數(shù)據(jù)被送入最低層，其節(jié)點處理它并將其傳遞給下一層。層之間的連接具有不同的“權(quán)重”，它決定了任何一個節(jié)點的輸出轉(zhuǎn)化到到下一個節(jié)點的計算量是多少。

在訓(xùn)練過程中，節(jié)點之間的權(quán)重不斷調(diào)整。在網(wǎng)絡(luò)被訓(xùn)練后，它的創(chuàng)建者可以確定所有連接的權(quán)重，但有成千上萬個甚至多個節(jié)點，甚至它們之間有更多的連接，推斷出這些權(quán)重編碼的算法幾乎是不可能的。

麻省理工和卡塔爾計算研究所研究人員的技術(shù)包括訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)和使用它的每一層的輸出，通過個別的培訓(xùn)案例，培養(yǎng)其他的神經(jīng)網(wǎng)絡(luò)來執(zhí)行特定的任務(wù)。這使他們能夠確定每個層優(yōu)化的任務(wù)是什么。

在語音識別網(wǎng)絡(luò)的案例中，Belinkov和Glass使用的單個層輸出訓(xùn)練系統(tǒng)識別“語音”，區(qū)別于口語的發(fā)音單元。例如，“T”的發(fā)音在“Tea”“Tree”和“But”，是不同的，但語音識別系統(tǒng)已經(jīng)把他們都用字母“T”轉(zhuǎn)錄。事實上，Belinkov和Glass發(fā)現(xiàn)，低層次的網(wǎng)絡(luò)比高層次網(wǎng)絡(luò)語言識別能力更強。在那里，可能區(qū)別是不重要的。

同樣的，Glass, Belinkov和他們卡塔爾計算研究所的同事于去年夏天在語言協(xié)會年度大會上發(fā)布的文章表明，機器翻譯網(wǎng)絡(luò)的低層善于識別詞類和形態(tài)，比如時態(tài)、數(shù)字和共軛。

語義理解

但是在新的論文中，他們表明網(wǎng)絡(luò)的更高層次在語義標注方面更好。Belinkov解釋說，一部分語音標簽，能認識到“herself”是一個代詞，但這個代詞的語義的意義，在句子“she bought the book herself”和“she herself bought the book”是不同的。語義標注會分配不同的標簽，給這兩句話中的“herself“，就像一個機器翻譯系統(tǒng)可能在一個給定的目標語言為它們找到不同的翻譯。

最好的機器翻譯系統(tǒng)使用所謂的編碼解碼模式，和麻省理工和卡塔爾計算研究所研究人員的神經(jīng)網(wǎng)絡(luò)一樣。在這樣的系統(tǒng)中，源語言中的輸入經(jīng)過幾個被稱為編碼器的網(wǎng)絡(luò)層來產(chǎn)生一個向量，一組數(shù)字代表某種輸入的語義內(nèi)容。該向量通過多個網(wǎng)絡(luò)層的解碼器來產(chǎn)生目標語言中的譯文。

雖然編碼器和解碼器在一起訓(xùn)練，但它們可以被認為是獨立的網(wǎng)絡(luò)。研究人員發(fā)現(xiàn)，奇怪的是，編碼器的低層善于區(qū)分形態(tài)，但解碼器的更高層不是。所以Belinkov和卡塔爾計算研究所研究人員在訓(xùn)練網(wǎng)絡(luò)時，不僅僅根據(jù)翻譯的準確性，也根據(jù)目標語言中的形態(tài)分析來判定性能。從本質(zhì)上講，他們迫使解碼器更好地區(qū)分形態(tài)。

使用這種技術(shù)，他們培訓(xùn)網(wǎng)絡(luò)將英語翻譯成德語，發(fā)現(xiàn)其精度提高3%。這不是一個革命性的進步，但這表明，探尋神經(jīng)網(wǎng)絡(luò)的本質(zhì)可能不僅僅是一項學(xué)術(shù)活動。