雖然自然語言通常以序列形式呈現(xiàn)，但語言的基本結(jié)構(gòu)并不是嚴(yán)格序列化的。語言學(xué)家們一致認(rèn)為，該結(jié)構(gòu)由一套規(guī)則或語法控制（Sandra&Taft，2014），且規(guī)定了單詞組成語句的邏輯。不管其表現(xiàn)形式如何，這種結(jié)構(gòu)通常是樹狀的。雖然語言學(xué)家們已發(fā)現(xiàn)這一規(guī)律，但其潛在結(jié)構(gòu)的真正起源卻仍不得而知。某些理論認(rèn)為，這可能與人類認(rèn)知的內(nèi)在機(jī)制相關(guān)（Chomsky&Lightfoot，2002）。由于人工神經(jīng)網(wǎng)絡(luò)的靈感來源于生物神經(jīng)系統(tǒng)的信息處理及通訊模式，上述可能性讓更多人對使用人工神經(jīng)網(wǎng)絡(luò)研究語言的潛在結(jié)構(gòu)產(chǎn)生了興趣。

從實(shí)用角度看，將樹結(jié)構(gòu)集成到語言模型中也很重要，原因如下：

能獲得抽象化級別不斷提升的分層表征，抽象化也是深度神經(jīng)網(wǎng)絡(luò)的關(guān)鍵特征（Bengio等，2009；LeCun等，2015；Schmidhuber，2015）；

能捕獲復(fù)雜語言現(xiàn)象，如長期依賴問題（Tai等，2015）與組分效應(yīng)（compositionaleffects）（Socher等，2013）；

能為梯度反向傳播提供捷徑（Chung等，2016）。

近些年，很多人開始關(guān)注開發(fā)能夠利用語法知識或至少一些樹結(jié)構(gòu)（Williams等，2018；Shi等，2018）來形成更好語義表征的深度神經(jīng)網(wǎng)絡(luò)（Shen等，2017；Jacob等，2018；Bowman等，2016；Choi等，2018；Yogatama等，2016）。

獲得樹結(jié)構(gòu)的一種簡單方法是通過監(jiān)督語法分析器。這些分析器生成的樹結(jié)構(gòu)被用來指導(dǎo)單詞語義到句子語義的組合（Socher等，2013；Bowman等，2015），甚至在給定先前單詞的情況下幫助預(yù)測下一個單詞（Wu等，2017）。然而，監(jiān)督分析器也有一些局限性：1）很少有語言具有用于監(jiān)督分析器訓(xùn)練的全面注釋數(shù)據(jù)；2）在可用的語言數(shù)據(jù)中，語法規(guī)則往往被打破「如推特上的表達(dá)」；3）在實(shí)際運(yùn)用過程中，語言始終在變化，因此語法規(guī)則可能會演變。

另一方面，以無監(jiān)督方式從可用數(shù)據(jù)中學(xué)習(xí)樹結(jié)構(gòu)仍是一個未解決的問題。訓(xùn)練過程中的繁瑣結(jié)構(gòu)（如左分支樹結(jié)構(gòu)、右分支樹結(jié)構(gòu)（Williams等，2018））或強(qiáng)化學(xué)習(xí)訓(xùn)練困境（Yogatama等，2016），使許多研究無功而返。而且，一些方法的實(shí)現(xiàn)和訓(xùn)練相對復(fù)雜，如Shen等人提出的PRPN（2017）。

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）已被證明在語言建模任務(wù)中非常高效（Merity等，2017；Melis等，2017）。RNN隱式地在數(shù)據(jù)上強(qiáng)加了鏈?zhǔn)浇Y(jié)構(gòu)。該鏈?zhǔn)浇Y(jié)構(gòu)似乎與語言的潛在非序列化結(jié)構(gòu)不一致，并且給運(yùn)用深度學(xué)習(xí)方法處理自然語言數(shù)據(jù)帶來了一些困難，如捕獲長期依賴（Bengio等，2009）、獲得良好泛化能力（Bowman等，2015）及處理否定(Socher等，2013）等。同時，有證據(jù)表明，擁有充足能力的循環(huán)神經(jīng)網(wǎng)絡(luò)有潛力隱式地編碼這種樹結(jié)構(gòu)（Kuncoro等，2018）。但問題是，在模型架構(gòu)上強(qiáng)加樹結(jié)構(gòu)歸納先驗(yàn)會導(dǎo)致更好的語言模型嗎？

本文介紹了一種面向循環(huán)神經(jīng)網(wǎng)絡(luò)的新型歸納偏置：有序神經(jīng)元。這種歸納偏置增強(qiáng)了神經(jīng)元之間的依賴性，這種依賴性反映了每個神經(jīng)元內(nèi)所存儲信息的生命周期。換言之，一些高級神經(jīng)元儲存長期信息，而低級神經(jīng)元儲存短期信息。為了避免高級和低級神經(jīng)元之間的固定劃分，本文進(jìn)一步提出了一種新的激活函數(shù)cumax（）來主動分配神經(jīng)元去存儲長/短期信息。基于cumax（）和長短期記憶網(wǎng)絡(luò)（LSTM）架構(gòu)，本文設(shè)計(jì)了一種新模型──ON-LSTM，它使RNN模型能夠能夠在不破壞其序列形式的情況下執(zhí)行樹狀合成。該模型在語言建模、無監(jiān)督成分句法分析（unsupervisedconstituencyparsing）、有針對性的語法評估（Marvin&Linzen,2018）及邏輯推理（Bowman等，2015）四個任務(wù)上表現(xiàn)優(yōu)異。其在無監(jiān)督成分句法分析任務(wù)上的結(jié)果表明，本文提出的歸納偏置與人類專家提出語法原則是一致的。我們的實(shí)驗(yàn)還表明，就長期依賴和較長序列泛化而言，ON-LSTM比標(biāo)準(zhǔn)LSTM模型性能更佳，

論文：ORDEREDNEURONS:INTEGRATINGTREESTRUCTURESINTORECURRENTNEURALNETWORKS

論文鏈接：https://openreview.net/forum?id=B1l6qiR5F7

摘要：循環(huán)神經(jīng)網(wǎng)絡(luò)模型已被廣泛用于處理由潛在樹結(jié)構(gòu)控制的序列數(shù)據(jù)。以前的研究表明，RNN模型（尤其是基于LSTM的模型）能夠?qū)W習(xí)利用潛在樹結(jié)構(gòu)。然而，它的性能卻始終落后于基于樹的模型。我們提出了一種新的歸納偏置──有序神經(jīng)元（OrderedNeuron），它強(qiáng)制執(zhí)行了隱藏狀態(tài)神經(jīng)元之間更新頻率的順序。本文表明，有序神經(jīng)元能夠?qū)撛跇浣Y(jié)構(gòu)明確整合到循環(huán)模型中。為此，我們提出了一種新的RNN單元：ON-LSTM，其在語言建模、無監(jiān)督成分句法分析、有針對性的語法評估及邏輯推理四個任務(wù)上表現(xiàn)優(yōu)異。

圖1：成分句法分析樹與ON-LSTM的關(guān)系。給定token序列(x1,x2,x3)，其成分句法分析樹如圖（a）所示。圖（b）展示了樹結(jié)構(gòu)的塊狀圖，其中S與VP節(jié)點(diǎn)都跨越了不止一個時間步。高級節(jié)點(diǎn)的表征在跨越多個時間步時應(yīng)保持相對一致。圖（c）展示了每組神經(jīng)元在每個時間步的更新神經(jīng)元比例。在每個時間步，給定輸入詞，較深的灰色塊代表完全更新，較淺的灰色塊代表部分更新。三組神經(jīng)元的更新頻率不盡相同。較高級別的組更新頻率較低，而較低級別的組更新頻率較高。

ON-LSTM

本文提出了一種新的RNN單元──ON-LSTM，作為有序神經(jīng)元的實(shí)現(xiàn)。該新模型與標(biāo)準(zhǔn)LSTM模型的架構(gòu)相似。

ON-LSTM與標(biāo)準(zhǔn)LSTM模型的唯一區(qū)別在于，我們排除了單元狀態(tài)ct的更新功能，并以新的更新規(guī)則替代，后續(xù)章節(jié)將會詳細(xì)解釋。與之前一樣，運(yùn)用遺忘門ft與輸入門it控制單元狀態(tài)ct上的清除和寫入操作。一般來說，由于標(biāo)準(zhǔn)LSTM的門不會在其各個單元中強(qiáng)加拓?fù)浣Y(jié)構(gòu)，所以各個單元的行為不會反映出排序。

實(shí)驗(yàn)
?

表1：賓州樹庫語言建模任務(wù)中驗(yàn)證集和測試集上的單個模型困惑。標(biāo)注「tied」的模型在嵌入和softmax權(quán)重上使用權(quán)重綁定。標(biāo)注「*」的模型重點(diǎn)關(guān)注改進(jìn)RNN語言模型的softmax部分。

表2：在完整的WSJ10和WSJ測試集上評估無標(biāo)記「parsingF1」的結(jié)果。本文的語言模型分三層，每層都提供了dt序列。本文給出了所有層的分析性能。RL-SPINN和ST-Gumbel的結(jié)果在完整的WSJ（Williams等，2017）上評估。PRPN模型在WSJ測試集（Htut等，2018）上評估。

表3：ON-LSTM和LSTM在每個測試案例上的整體準(zhǔn)確率。「Long-termdependency」表示目標(biāo)詞對之間存在一個不相關(guān)的短語或從句，而「short-termdependency」意味著沒有這猴子那個分散注意力的情況。

本文來源：機(jī)器之心