深度學習是機器學習領域的一個分支，也可以說是該領域近些年來的最大突破之一。

在了解深度學習之前，我們應當回顧一下歷史，同時也搞明白當前最火爆的幾個概念到底有著什么樣的關系。

AI，ML，DL

這些年來隨著科技的發(fā)展和國家政策的推進，人工智能、機器學習還有深度學習這幾個詞就不斷充斥于耳，但是這些概念卻常常被我們所混淆。

簡單的來講，我們可以認為 AI 》 ML 》 DL，也就是說他們之間是包含關系：

人工智能（AI）是計算機科學的一個重要研究領域，擁有許多的分支，例如專家系統(tǒng)、進化計算、計算機視覺等等。重點在于，如何使用計算機構建復雜的、能夠擁有與人類智慧相同本質的東西。

機器學習（ML）是實現人工智能的一種方法，或者說一種思路。ML之所以能夠在人工智能領域鶴立雞群，主要是因為它和普通的弱人工智能實現不同，可以使得機器擁有一定的“自適應”能力。

機器學習的主要思路是，用算法來對大量的數據進行解析、從中提取特征并學習（稱這個過程為“訓練”），然后對真實的世界進行預測和判斷。

目前機器學習方法的大分類主要有監(jiān)督學習、半監(jiān)督學習、無監(jiān)督學習、集成學習、強化學習和深度學習。傳統(tǒng)的算法包括決策樹、聚類、貝葉斯分類等等。

深度學習（DL）是一種實現機器學習的技術。近幾年該領域發(fā)展迅速，帶動機器學習領域向許多不同的新領域發(fā)展（無人車、圖像識別、自然語言理解等）。當然這也并不意味著深度學習就比其他的學習方式優(yōu)秀，它只是在特定情況和特定領域下能展現出巨大的優(yōu)勢，并且實現了一定的通用性而已。

CNN

看完了這些概念，我們就進入深度學習領域一窺究竟。首先要說明的是，深度學習是基于人工神經網絡的，這是一種由人腦結構啟發(fā)而來的網絡結構，而今天要介紹的CNN（卷積神經網絡）正是其中應用最為廣泛的一種，目前在計算機視覺、自然語言理解等領域都是首選的訓練網絡。

首先先說一下什么是人工神經網絡，你可以類比人類的神經元，就是許許多多的神經元組成了我們復雜的神經系統(tǒng)。神經網絡也是一樣，它由許許多多的人工神經元（簡單的說就是有一個輸入，一個輸出的單元）組成，上層的神經元的輸出連接到下層神經元的輸入，這樣多層的連接最終就形成了一個復雜的網絡。

你也可以把它抽象地想成一個非常非常復雜的函數，擁有許多許多（數以萬計的）參數，我們說訓練網絡，就是在調整這些參數（當然，怎么調整的人類自己心里也沒數，全靠機器自己學習），直到它的輸出盡可能地擬合我們想要的結果為之，這也是我們常把深度學習比喻成黑箱的原因之一。

好了，現在我們正式的開始講解CNN網絡，看看神經網絡究竟是如何工作的：

卷積

既然是要講卷積神經網絡，我們就必須先知道什么是卷積。先想象一個矩陣，以其中的某一個元素為中心，然后和它相鄰的所有元素進行某種運算（比如求和），然后移動（滑動）這個中心，直到把整個矩陣都覆蓋一遍，我們得到的最終結果的和就是一個卷積。

這么干說真是太抽象了，不如直接看這個圖來的實在：

這個矩陣很可能就代表了一個灰度圖像，每個元素就是一個像素，數字代表著這個像素的灰度值（一般在0~255）。這個滑動的窗口又被叫做內核，篩或是特征檢測器，大小可以變化。當窗口在整個矩陣里滑動了一遍之后所得到的所有結果的和，就是我們對這個矩陣所求的卷積。

卷積的應用

計算每個像素和其相鄰像素的平均值可以模糊化一張圖片。

計算像素和其相鄰元素的差值可以進行邊緣檢測。

因為邊緣往往是灰度（或者說RGB）變化最明顯的地方，所以相鄰元素間差值比較大的地方往往就是邊緣。如下圖

！［］（http://of1deuret.bkt.clouddn.com/18-1-11/12025490.jpg）

卷積神經網絡

卷積神經網絡基本上就是幾層使用非線性激活函數（比如ReLU和tanh）的卷積來得到結果的神經網絡。

在傳統(tǒng)的反饋型神經網絡中，我們把每個神經元的輸入分別連接到另外的神經元的輸出上，這個被稱為全連接層。但在CNN中，我們把輸入層的卷積當做輸出，這就意味著，我們是把許多個神經元的輸出（一個矩陣的卷積）連接到了一個神經元的輸入上。

每一層的篩都不同，往往他們把成百上千個元素結合計算得到一個結果，濃縮給下一層。

需要留意的是，CNN中，不同的卷積層之間并不是直接相連的，他們中間夾著一個稱為池化層（Pooling）的特殊的處理層，用于進行結果的規(guī)范化（后面詳解）。

在訓練的過程當中，CNN會自動地根據你的目的來學習每一層篩的作用（計算方法）。舉個例子，在一個圖像識別的CNN中，第一層可能進行邊緣檢測，然后在第二層用這些邊緣作為數據來推斷簡單的形狀，最后在更高的層里，用這些形狀來推斷更高級的特性（比如人臉檢測），最后一層則是使用這些高級特性來進行分類的分類器。

下面是一個典型的CNN網絡的結構：

在計算過程中有兩點需要特別重視的：定位不變性和復合性。我們假設要檢測一張圖片里有沒有大象，因為你的窗口總是要滑動過整個圖像，所以并不必在意大象會出現在圖像的哪個位置，在實際訓練中，池化層可以保持數據的一致性，讓你不用擔心轉換、旋轉或是縮放這樣的操作影響數據本身。而每個篩都提供了一種使用本層數據表示高層數據的方法（映射），這就提供了復合性（多個數據復合成一個數據）。這就是CNN在計算機視覺中表現優(yōu)異的原因：這和你本能認知圖像的過程是一樣的，從點構建輪廓，再從輪廓抽取形狀，最后從形狀中提取更多復雜的對象。

NLP與CNN

我們說了很多CNN在計算機視覺方面的應用（這也是它最擅長的領域），現在我們看看NLP又是如何與CNN掛鉤的。

在語言理解這個領域，矩陣的單元不再是圖像的像素，而是以矩陣形式表示的句子和文檔。矩陣的每一行相當于一個符號（文法中的token），通常會是一個單詞，但也可以是一個字母。

這樣，每一行就是一個表示單詞的向量。一般這個向量可以用或者的方式轉換得到，當然也可能是將單詞索引到詞匯表里的實數向量。一個有10個單詞的句子，我們使用一個100維的向量來表示每個詞的話，就會得到一個10*100的矩陣，這就是我們在NLP里的“圖像”了。

有關如何用向量表示單詞，可以參考此文章

在視覺處理中，我們的篩往往是在一張圖片上四處滑動，但是NLP中，我們用的篩一般和矩陣同寬，因此它只需要上下滑動，至于高度，通常為2-5個詞。綜合上述，一個用于NLP的CNN網絡可能像下面這樣：

跟視覺處理中很不一樣的是，你并不會在意單詞會在句子的什么地方出現，而相鄰的單詞之間也不一定有語義的聯系（這跟圖片是不一樣的）。在很多語言中，一個短語的組合可以被拆分成很多新的詞，復合并不明顯。顯然，單詞是以某種方式組合的，比如一個形容詞修飾名詞，但這在更高的層次里到底“意味”著什么并不像在視覺處理上那么顯而易見。

根據上面分析的，看起來CNN并不能很好的去適應NLP的任務，相比之下遞歸神經網絡（RNN）要更加直觀一點，它和我們處理語言的過程（至少是我們所認為的）很相似：從左到右地讀取一個序列。不過這并不意味著CNN就沒有用了，有些模型還是能夠起到一定作用的。CNN適用于具有局部相關性的樣本，語言是滿足這一條件的。

使用CNN的一個很大的目的是因為它很快，在GPU的加速下，卷積的計算更加迅速。比起n元語法，CNN在表達上也更有效一些。當詞匯量變的巨大時，計算超過三元的語法的代價就會變得昂貴起來。卷積能夠很好的自動學習表達，而不用獲取整個詞匯表。