寬、窄卷積神經(jīng)網(wǎng)絡(luò)

當(dāng)我在上文中解釋卷積的時(shí)候，我忽略了一點(diǎn)運(yùn)用過濾器的小細(xì)節(jié)。我們?cè)谝粋€(gè)矩陣的中心有3×3的過濾器工作得很棒，但是它在邊界的表現(xiàn)如何呢？你應(yīng)該如何應(yīng)用這個(gè)過濾器于矩陣的第一個(gè)元素（沒有任何相鄰的上方元素和左邊元素）？ 你可以用0來填充邊界。所有超過矩陣邊界的元素都當(dāng)做0來處理。這么做之后呢，你就可以將過濾器用于矩陣中的每一個(gè)元素，并且獲得更大的等大小的輸出。使用0填充的（zero-padding）也稱為寬卷積(wide convolution)，不用0填充稱為窄神經(jīng)網(wǎng)絡(luò)。下面是一個(gè)例子。

步長(zhǎng)(Stride size)

另一個(gè)卷積的超參是步長(zhǎng)，也就是每一步你想移動(dòng)你的過濾器多少距離。上述的所有的例子，步長(zhǎng)均為1。對(duì)連續(xù)應(yīng)用過濾器采樣子矩陣，就會(huì)導(dǎo)致采樣信息的重疊。一個(gè)更大的步長(zhǎng)意味著更少地使用過濾器和更小的輸出。下面的例子來自于the Stanford cs231 website 展示了步長(zhǎng)為1和步長(zhǎng)為2運(yùn)用于一維輸入的情況：

Convolution Stride Size.?
Left: Stride size 1. Right: Stride size 2. Source: ?

在文獻(xiàn)中我們通常看到的都是步長(zhǎng)大小為1的情景，但是較大的步幅讓你建立一個(gè)處理過程類似RNN的模型，就像樹型結(jié)構(gòu)。

池層（POOLING LAYERS）

卷積神經(jīng)網(wǎng)絡(luò)的另一個(gè)關(guān)鍵在于Pooling layers，它通常在卷積層后面使用。Pooling layers用于下采樣上一層的輸入。最簡(jiǎn)單也是最常見的做法是，取每個(gè)過濾器中的最大值為輸出。你不必對(duì)一個(gè)完整的矩陣都做pooling操作，你可以對(duì)一個(gè)小窗口做pooling。如下圖，展示一個(gè)在2×2窗口的max pooling操作(在NLP問題中，我們通常要對(duì)整個(gè)輸入進(jìn)行pooling操作，產(chǎn)生每個(gè)過濾器產(chǎn)生一個(gè)單獨(dú)的數(shù)字輸出)：

Max pooling in CNN. Source:

為什么要進(jìn)行Pooling操作呢？有以下這么幾個(gè)原因。
Pooling操作的一個(gè)優(yōu)勢(shì)在于它能夠產(chǎn)生一個(gè)固定大小的輸出矩陣。這個(gè)矩陣通常被用于分類。例如，如果你有1000個(gè)過濾器并且你對(duì)每一個(gè)過濾器都進(jìn)行了Max Pooling操作，那么你就得到了1000維的輸出。不管你過濾器的大小，也不管你輸入的大小，你的輸出大小就是固定的。這樣你就可以用各種各樣長(zhǎng)度的句子和各種各樣大小的過濾器，但是總會(huì)得到相同的輸出維度，從而進(jìn)行分類。

Pooling的使用也可以減少輸出的維度，同時(shí)（我們希望這樣）保存最顯著的信息。你可以想象一下，每個(gè)過濾器能夠識(shí)別出一種特征，例如，識(shí)別出這個(gè)句子有沒有含有一個(gè)類似”not amazing”的否定詞。如果句子中的某個(gè)地方出現(xiàn)了這個(gè)詞組，那么掃描采樣這一塊的過濾器就會(huì)產(chǎn)生一個(gè)大的數(shù)值，在別的區(qū)域產(chǎn)生一個(gè)小的值。這樣做之后呢，你就能夠保持那些關(guān)于某些特征有沒有出現(xiàn)在句子中的信息，而損失了這個(gè)特征究竟出現(xiàn)在句子的哪個(gè)位置的信息。但是，損失的這個(gè)信息并沒有什么用途吧？對(duì)啊，這是有一點(diǎn)像a bag of n-grams model所做的那樣。你損失了關(guān)于定位的全局信息（某些東西出現(xiàn)在句子中的某些地方），但是你保留下來了被你的過濾器采樣到的局部信息，就像”not amazing”與”amazing not”非常不同一樣。（這就是我上文說的一個(gè)有疑問的說法）

在圖像識(shí)別中，Pooling也可以提供基礎(chǔ)的平移、旋轉(zhuǎn)不變性。當(dāng)你對(duì)于某個(gè)區(qū)域進(jìn)行Pooling操作的時(shí)候，結(jié)果通常來說會(huì)保持一致，無論你是旋轉(zhuǎn)還是平移你圖像的像素，因?yàn)镸ax Pooling會(huì)最終識(shí)別出同樣的數(shù)值。

通道（CHANNELS）

我們需要理解的最后一個(gè)理論是通道。通道是輸入數(shù)據(jù)的一種不同的‘樣子’。例如，在圖像識(shí)別中，我們一般使用的是RGB(red, green, blue) 通道。在通道里應(yīng)用卷積的時(shí)候，你可以采用不同的或者相同的權(quán)值。在NLP問題中，你可以想到通道的種類是非常多的：用不同的word embeddings(word2vec and GloVe for example)來區(qū)分通道，或者，你可以為不同的語言表達(dá)的同樣意思的句子、單詞設(shè)計(jì)一個(gè)通道。

用于NLP的CNN

現(xiàn)在讓我們看看一些CNN在自然語言處理中的應(yīng)用。我會(huì)嘗試總結(jié)一些研究成果與結(jié)論。總之，我會(huì)漏了描述很多有趣的應(yīng)用（請(qǐng)?jiān)谠u(píng)論中告訴我），但我希望至少覆蓋一些比較流行的結(jié)果。

CNN天生就適合用于分類任務(wù)，例如情感分析，垃圾郵件檢測(cè)或主題分類。卷積和池操作會(huì)丟失單詞的局部順序，所以呢，句子標(biāo)記，例如詞性標(biāo)注或?qū)嶓w提取，是有點(diǎn)難以適應(yīng)純CNN架構(gòu)（也不是不可能，你可以添加位置特征的輸入）。

[1] 評(píng)估一個(gè)CNN結(jié)構(gòu)在各種分類數(shù)據(jù)集中的表現(xiàn)，主要包括情感分析和主題分類的任務(wù)。 CNN結(jié)構(gòu)跨數(shù)據(jù)集的問題上有著非常不錯(cuò)的表現(xiàn)，同時(shí)最新的技術(shù)也使得它在小數(shù)據(jù)上表現(xiàn)優(yōu)異。 出人意料的是，論文中使用的網(wǎng)絡(luò)是非常簡(jiǎn)單的，這就是為什么它非常的有效。輸入層是一個(gè)由連續(xù)的word2vec word embeddings組成的句子。在卷積層的后面跟著多個(gè)過濾器，然后是一個(gè)max-pooling layer，最后是一個(gè)softmax分類器。該論文也對(duì)兩個(gè)不同的通道做實(shí)驗(yàn)，通道是以靜態(tài)和動(dòng)態(tài)word embeddings形式的，并且其中一個(gè)能夠在訓(xùn)練中被調(diào)整，一個(gè)不能被調(diào)整。一個(gè)相似的但是更加復(fù)雜的結(jié)構(gòu)在[2]中被提出。[6] 加入了一個(gè)新增的層用于在網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行“語義聚合”（semantic clustering） 。

[4]從頭訓(xùn)練一個(gè)CNN，不需要pre-trained word向量，例如word2vec或者GloVe。它直接將卷積用于one-hot向量。作者還提出了一種空間節(jié)約的bag-of-words似的輸入數(shù)據(jù)表示方法 ，減少了網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)個(gè)數(shù)。在[5]中，作者用一個(gè)二外的無監(jiān)督“region embedding”擴(kuò)展了這個(gè)模型，該擴(kuò)展是學(xué)習(xí)用CNN來預(yù)測(cè)文本區(qū)域的內(nèi)容。這些論文中使用的方法似乎在長(zhǎng)文本（例如，電影評(píng)論）的處理中做得不錯(cuò)，但是他們?cè)诙涛谋荆ɡ纾⒉┲械奶幚硇Ч€不得而知。直觀地來看，這確實(shí)很有道理。對(duì)短文本使用pre-trained word embeddings將會(huì)產(chǎn)生更大的收益，相比將它們用于處理長(zhǎng)文本。

建立一個(gè)CNN解耦狗意味著許多超參可供選擇，就像我上文提到的那樣：輸入表示法(word2vec, GloVe, one-hot)，卷積過濾器的數(shù)量和大小，池操作的策略(max, average)，以及激活函數(shù)(ReLU, tanh)。[7]通過調(diào)整CNN結(jié)構(gòu)的超參，多次運(yùn)行程序，研究、分析其的性能和方差，從而得出驗(yàn)證性的評(píng)價(jià)。如果你想要將你的CNN用于文本分類，用這篇論文的結(jié)論作為基礎(chǔ)起始點(diǎn)是再好不過的了。一些脫穎而出的結(jié)論是，max-pooling的效果總是好于average_pooling；一個(gè)理想狀況下的過濾器大小是很重要的，但是大部分還是依具體情況而定；正則化與否在NLP問題中似乎沒有多大影響。這項(xiàng)研究的需要注意的是，在文件長(zhǎng)度方面，所有的數(shù)據(jù)集都頗為相似。所以呢，同樣的準(zhǔn)則看清了并不適用于那些看起來相當(dāng)不同的數(shù)據(jù)。

[8]研究了CNN對(duì)關(guān)系抽取和關(guān)系分類的應(yīng)用。除了單詞向量，作者用了單詞與關(guān)注的實(shí)體（譯者：attention mechanism里的概念）之間的相對(duì)位置作為卷積層的另一個(gè)輸入。這個(gè)模型假定實(shí)體的位置已經(jīng)被給定，并且各實(shí)例的輸入包含一個(gè)上述的關(guān)系。[9]和[10]也研究的是同樣的模型。

在微軟的[11]和[12]研究中，能夠發(fā)現(xiàn)一個(gè)CNN在NLP中有趣的應(yīng)用。這些論文描述的是如果得知那些可以被用于信息檢索的句子的語義上有意義的表示方法。論文中的例子包括，根據(jù)讀者現(xiàn)在閱讀的文章，推薦出讀者可能感興趣的文章。句子的表示方法是用基于搜索引擎的日志數(shù)據(jù)來進(jìn)行訓(xùn)練的。

大多數(shù)的CNN結(jié)構(gòu)以用這種或者那種方式從embeddings (低維表示法) 中學(xué)習(xí)作為它們訓(xùn)練過程的一部分。并非所有的論文都關(guān)注于如果訓(xùn)練或者研究分析learned embeddings意義何在。[13]展示了一個(gè)CNN結(jié)構(gòu)。這個(gè)結(jié)構(gòu)用于預(yù)測(cè)Facebook的位置標(biāo)簽，同時(shí)，產(chǎn)生有意義的單詞和句子的embeddings。這些learned embeddings隨后被成功地用于其他的問題： 以點(diǎn)擊流數(shù)據(jù)作為訓(xùn)練集，將用戶可能產(chǎn)生潛在興趣的文章推薦給用戶。

字符級(jí)CNN（CHARACTER-LEVEL CNNS）

這個(gè)專業(yè)名詞翻譯是我自己猜的，也可能是漢字、個(gè)性之類的。

目前為止，所有模型的表示方法都是基于單詞的。但是也有將CNN應(yīng)用于字符的研究。 [14] 研究了character-level embeddings，將它們和pre-trained word embeddings結(jié)合在一起，并且將CNN用于詞性標(biāo)注 （Part of Speech tagging）. [15][16] 研究了直接用CNN從字符中進(jìn)行訓(xùn)練，不需要接住任何的pre-trained embeddings。值得注意的是，作者用了一個(gè)共9層的深度神經(jīng)網(wǎng)絡(luò)，并將其用于情感分析和文本分類的作用。結(jié)果表明，在大數(shù)據(jù)的情況下，直接從字符級(jí)輸入的學(xué)習(xí)效果非常好(百萬級(jí)的例子)，但是在較小的數(shù)據(jù)集上面表現(xiàn)得比較差(百條、千條例子)。 [17] 研究了字符級(jí)CNN在語言模型（Language Modeling）上面的應(yīng)用，用字符級(jí)CNN的輸出作為L(zhǎng)STM（長(zhǎng)期短期記憶單元）的輸入。同樣的模型可以用于多個(gè)語言。

最讓人驚奇的是上面所說的所以論文都是在最近的1-2年內(nèi)發(fā)表的。非常明顯的，CNN在NLP問題上面很早就取得了很好的成績(jī),。雖然自然語言處理（幾乎）是剛剛開始起步，但是新成果和新技術(shù)的發(fā)展步伐正在顯著加快。

[1]?Kim, Y. (2014). Convolutional Neural Networks for Sentence Classification. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), 1746–1751.?
[2]?Kalchbrenner, N., Grefenstette, E., & Blunsom, P. (2014). A Convolutional Neural Network for Modelling Sentences. Acl, 655–665.?
[3]?Santos, C. N. dos, & Gatti, M. (2014). Deep Convolutional Neural Networks for Sentiment Analysis of Short Texts. In COLING-2014 (pp. 69–78).?
[4]?Johnson, R., & Zhang, T. (2015). Effective Use of Word Order for Text Categorization with Convolutional Neural Networks. To Appear: NAACL-2015, (2011).?
[5]?Johnson, R., & Zhang, T. (2015). Semi-supervised Convolutional Neural Networks for Text Categorization via Region Embedding.?
[6]?Wang, P., Xu, J., Xu, B., Liu, C., Zhang, H., Wang, F., & Hao, H. (2015). Semantic Clustering and Convolutional Neural Network for Short Text Categorization. Proceedings ACL 2015, 352–357.?
[7]?Zhang, Y., & Wallace, B. (2015). A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification,?
[8]?Nguyen, T. H., & Grishman, R. (2015). Relation Extraction: Perspective from Convolutional Neural Networks. Workshop on Vector Modeling for NLP, 39–48.?
[9]?Sun, Y., Lin, L., Tang, D., Yang, N., Ji, Z., & Wang, X. (2015). Modeling Mention , Context and Entity with Neural Networks for Entity Disambiguation, (Ijcai), 1333–1339.?
[10]?Zeng, D., Liu, K., Lai, S., Zhou, G., & Zhao, J. (2014). Relation Classification via Convolutional Deep Neural Network. Coling, (2011), 2335–2344.?
[11]?Gao, J., Pantel, P., Gamon, M., He, X., & Deng, L. (2014). Modeling Interestingness with Deep Neural Networks.?
[12]?Shen, Y., He, X., Gao, J., Deng, L., & Mesnil, G. (2014). A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval. Proceedings of the 23rd ACM International Conference on Conference on Information and Knowledge Management – CIKM ’14, 101–110.?
[13]?Weston, J., & Adams, K. (2014). # T AG S PACE : Semantic Embeddings from Hashtags, 1822–1827.?
[14]?Santos, C., & Zadrozny, B. (2014). Learning Character-level Representations for Part-of-Speech Tagging. Proceedings of the 31st International Conference on Machine Learning, ICML-14(2011), 1818–1826.?
[15]?Zhang, X., Zhao, J., & LeCun, Y. (2015). Character-level Convolutional Networks for Text Classification, 1–9.?
[16]?Zhang, X., & LeCun, Y. (2015). Text Understanding from Scratch. arXiv E-Prints, 3, 011102.?
[17]?Kim, Y., Jernite, Y., Sontag, D., & Rush, A. M. (2015). Character-Aware Neural Language Models.