當人們提到卷積神經網絡(CNN), 大部分是關于計算機視覺的問題。卷積神經網絡確實幫助圖像分類以及計算機視覺系統核心取得了重要突破，例如Facebook自動照片加tag的功能啊，自動駕駛車輛等。

近年來，我們也嘗試用CNN去解決神經語言學（NLP）中的問題，并且獲得了一些有趣的結果。理解CNN在NLP中的作用比較困難，但是它在計算機視覺中的作用就更容易理解一些，所以呢，在本文中我們先從計算機視覺的角度出發談一談CNN，慢慢再過渡到NLP的問題中去~

什么是卷積神經網絡

對我來說，最容易理解卷積的辦法是把它理解成一個滑動的窗口函數，就像是一個矩陣一樣。雖然很拗口，但是看起來很直觀（如下圖，自行領悟）：

?

Convolution with 3×3 Filter. Source:
讓我們發揮想象力，左邊的矩陣代表一個黑白圖像。每個方格對應一個像素，0表示黑色，1表示白色（通常來說，計算機視覺處理的圖像是一個灰度值在0到255之間的灰度圖）。滑動的窗口被稱為一個（卷積）內核、過濾器（譯者：有那么點濾波器的感覺）或者特征檢測器（譯者：用于特征提取）。

現在，我們用一個3×3的過濾器，將它的值與原矩陣中的值相乘，然后求和。為了得到右邊的矩陣，我們需要將在完整的矩陣中每一個3×3子矩陣做一次操作。

你可能在想這種操作有什么作用，下面有兩個例子

模糊處理

讓像素與周圍像素值平均后，圖像發生模糊。

（譯者：類似于將周圍幾個像素的數值平攤一下）

?

?

邊緣檢測

對像素與周圍像素值做差后，邊界就變得顯著了。

為了更好地理解這個問題，先想想在一個像素變化平滑連續的圖像上，一塊像素點和周圍的幾個像素點相同的時候，會發生什么：那些因相互比較產生的增量就會消失，每個像素的最終值將會是0，也就是黑色。（譯者：猜是沒有對比度了）。如果那有很強的有著明顯色差的邊界，例如從白色到黑色的圖像邊界，那你就會得到明顯的反差，從而得到白色。

這個 GIMP manual 網址有更多的例子。（譯者：如銳化啊、邊緣加強之類的，還有一個似乎是可以這樣做卷積修圖的軟件）。如果想了解得更多的話，建議你們看看這個 Chris Olah’s post on the topic.

什么是卷積神經網絡

你現在已經知道了什么是卷積了，那么什么是卷積神經網絡呢？簡單說來，CNN就是用好幾層使用非線性激活函數（如，ReLu，tanh）的卷積得到答案的神經網絡。

在傳統的前饋神經網絡中，我們將每一層的每個輸出和下一層的每個輸入相互連接，這也被稱為完全連接層或仿射層。但是CNN中并不是這樣。相反，我們使用卷積在輸入層中計算輸出（譯者：卷積造成部分映射，參見之前的卷積圖），這就導致了局部連接，一個輸出值連接到部分的輸入（譯者：利用層間局部空間相關性將相鄰每一層的神經元節點只與和它相近的上層神經元節點連接）。

每一層都需要不同的過濾器（通常是成千上萬的），就類似上文提到的那樣，然后將它們的結果合并起來。那還有一個叫做池（pooling layer）或者下采樣層（subsampling layers）的東西，之后再說吧。

在訓練階段中，CNN能夠通過訓練集自動改善過濾器中的參數值。舉個例子，在圖像分類問題中，CNN能夠在第一層時，用原始像素中識別出邊界，然后在第二層用邊緣去檢測簡單的形狀，然后再用這些形狀來識別高級的圖像，如人臉形狀啊，房子啊（譯者：特征提取后可以通過特征分辨圖像）。最后一層就是用高級的圖像來進行分類。

?

在計算方面有兩個值得注意的東西：局部不變性（Location Invariance）和組合性（Compositionality）。

假設你要辨別圖像上有木有大象，進行一次二分類（就是分成有大象和沒有大象的兩種）。

咱們的過濾器將掃描整個圖像，所以并不用太在意大象到底在哪兒。在現實中，pooling也使得你的圖像在平移、旋轉、縮放的時候保持不變（后者的情況更多些）。
組合性（局部組合性），每個過濾器獲取了低層次的圖片的一部分，組合起來成了高層次圖片。
這就是為什么CNN在計算機視覺上表現地如此給力。在從像素建邊，從邊到確立形狀，從形狀建立更加復雜的物體過程中，CNN會給人一個直觀的感受。

CNN在NLP中的用途

相比于圖像與像素，大多數的NLP問題的輸入是句子或者文檔構成的矩陣。矩陣的每一行一般來說是一個單詞，也可以是一個字符（如，字符）。所以呢，每一行就是表示一個單詞的向量。通常每一個向量是一個放棄詞向量word embeddings(低緯度的表示方法)，例如word2vec or GloVe, 它們也可以是one-hot vectors 用于表示單詞。對于一個10個詞的句子，用一個100維的embedding表示，我們就有10×100的矩陣作為我們的輸出，這就是我們的“圖像”。

在這樣看來，我們的過濾器在一個圖像的小塊像素上滑動，但是在NLP問題上，我們用過濾器在矩陣的每一個完整的行上面滑動（就是一個單詞）。所以呢，過濾器的寬度一般和輸入矩陣的寬度相同。高度、區域大小一般各有不同，但是一般都是一次讀2-5個單詞。

將上面說的全部聯系起來，那么一個用于NLP問題的CNN就是醬紫的（花點時間，試著理解下面這張圖，想想每一維度是怎么被計算的，目前可以忽略池pooling，過會兒再說）：

?

用于句子分類的卷積神經網絡結構圖。

我們有三種過濾器，它們的高度分別為： 2，3， 4，每種過濾器共兩個。每個過濾器在句子矩陣里進行卷積并且產生一個長短不一的特征映射(feature maps)，然后一個1-max pooling在每個映射上運行，每個特征映射的最大數值都被記錄下來。因此，一個單變量特征向量由所有六個映射生成，這6個特征被級聯以形成用于倒數第二層的特征向量。 最后的 Softmax層就以輸入的形式接收到這些特征向量，然后用它來進行句子分類；這里我們假設二分類，也就是描述兩個可能的輸出狀態。
Source: Zhang, Y., & Wallace, B. (2015). A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification.
那我們能不能擁有像計算機視覺那樣的直觀感受呢？局部不變性（Location Invariance）和局部組合性（local Compositionally，譯者：我猜是mac自動更換造成的書寫錯誤）產生了對于圖像處理的直觀感受，但是這些對于NLP問題來說并不是特別直觀。你可能更加注意一個單詞出現在句子中的哪一個位置。（這里有一個疑問，因為后文說了，并不在意它在哪個位置，而是在意它有沒有出現過）

相互靠近的像素非常可能有‘語義’上面的聯系，比如可能是一個物體的一個部分，但是對于一個單詞而言，上述的規律并不是總是對的。在大部分的語言中，一個詞組可以被分成幾個孤立的部分。

同樣的，組合的特性也不是特別的明顯。我們知道，單詞之間肯定有特定的組合規律，才能相互連接，就像形容詞用來修飾名詞一樣，但是這些規則究竟怎么運轉，更高層次的表達究竟意味著什么，都不是像在計算機視覺中那樣明顯，那樣直觀。

在這樣的情況下，CNN看上去并不是特別適合用于NLP問題的處理。然而，RNN就能夠給你更加直觀的感受啦。它們象征著我們如何組織語言（或者，最少也是我們腦海中怎么組織語言）：從左到右依次讀。幸運的是， 這并不代表CNN沒用。所有的模型都有錯誤，但是并不代表著它們沒用用。恰好，實際應用證明了CNN對于解決NLP問題相當不錯。簡單的詞袋模型Bag of Words model是一個基于錯誤假設的過簡單化模型，但是還是被當做標準方法這么多年，并且取得了不錯的成績。

一個對于CNN的爭議就是在于他們的速度，他們快，非常快。卷積是計算機圖形的核心部分，并在GPU上的硬件級別上實現（你可以想象這有多快了吧）。相比于類似N-Grams之類的東西， CNN在單詞或者分類的表示方面效率極高。在處理大量的詞匯時，快速運算超出3-Grams的數據開銷巨大。甚至連Google都不可以計算超過5-Grams的數據。但是卷積過濾器可以自動學習到一種很好的表達方式，而不用多余地去表示所有的詞匯。因此，它完全可以擁有一個大小大于5的過濾器。我想啊，在第一層中設計這么多自動學習的過濾器，它們提取特征的行為很像（但不局限于）N-Grams的方式，但是卻用一個更加簡潔有效的方法表示它們。

CNN 的超參（HYPER-PARAMETERS）

在解釋CNN是如何作用于NLP問題之前，我們先看看在建立CNN的時候需要做哪些選擇。希望這會幫助你更好地理解這一領域的文獻。