上一篇機器學習中的函數（4） - 全連接限制發展，卷積網絡閃亮登場?，我們理解到可以通過卷積進行特征提取，卷積之后我們通過池化層（又稱亞采樣層），我們可以降低數據規模，進一步完善特征提取和數據整理的工作，找到了這種“高效的執行特征抽取”的網絡，卷積神經網絡（CNN）終于登場了，卷積神經網絡是實現深度學習的重要方法之一。我們今天一起從學習強大的卷積神經網絡開始，繼續走近“深度學習”。

1、典型的卷積神經網絡（CNN） ? ? ??

典型的卷積神經網絡通常（如下圖）由若干個卷積層（Convolutional Layer）、激活層（Activation Layer）、池化層（Pooling Layer）及全連接層（Fully Connected Layer）組成，各個層各司其職，卷積層從數據中提取有用的特征；激活層在網絡中引入非線性，通過彎曲或扭曲映射，來實現表征能力的提升；池化層通過采樣減少特征維度，并保持這些特征具有某種程度上的尺度變化不變性；在全連接層實施對象的分類預測。

卷積層：這是上一篇我們重點介紹的，卷積神經網絡的核心，決定卷積層（ConvNet）空間排列的4個參數，它們分別是卷積核的大小（通常多是3×3或5×5的方矩陣、深度（卷積核的個數）、步幅及補零。

激活層：其作用在于將前一層的線性輸出，通過非線性的激活函數進行處理，這樣用以模擬任意函數，從而增強網絡的表征能力。在深度學習領域，ReLU（Rectified-Linear Unit，修正線性單元）是目前使用較多的激活函數，主要原因是它收斂更快。激活層存在的最大目的莫過于引入非線性因素，以增加整個網絡的表征能力。

池化層：也將其稱為子采樣層或下采樣層（Subsampling Layer），“采樣”就意味著可以降低數據規模。通常來說，當卷積層提取目標的某個特征之后，我們都要在兩個相鄰的卷積層之間安排一個池化層，池化就是把小區域的特征通過整合得到新特征的過程。

全連接層：這層網絡層相當于多層感知機，其在整個卷積神經網絡中起到分類器的作用，通過前面多個“卷積-激活-池化”層的反復處理，待處理的數據特性已顯著提高?，輸入數據的維度已下降到可用傳統的前饋全連接網絡來處理了，而且結果經過反復提純后，輸出的分類品質要高得多。實際應用中，通過前面的層層堆疊，將輸入層導入的原始數據逐層抽象，形成高層語義信息，送到全連接層做分類，這一過程便是“前饋運算”（Feed-forward）。全連接層將其目標任務（如分類任務）形式化表達為損失函數，（參考機器學習中的函數（2）- 多層前饋網絡巧解“異或”問題，損失函數上場優化網絡性能?）。通過計算得到誤差或損失（loss），然后再通過機器學習中的函數（3） - "梯度下降"走捷徑，"BP算法"提效率?講到的反向傳播算法（即BP），將誤差逐層向后反饋（Back-forward），從而更新網絡連接的權值。多次這樣的“前饋計算 ->反饋更新”，直到模型收斂。此時，一個CNN模型就訓練完成了。

2、經典的AlexNet神經網絡 ? ? ?

深度學習歷史上，AlexNet當屬經典中的經典，AlexNet出現之前，深度學習已經沉寂良久，終于在2012年，辛頓（Hinton）和他的博士生（Alex Krizhevsky）等提出了AlexNet，并一舉拿下當時ImageNet比賽的冠軍。相比于前一年的冠軍，Top-5的錯誤率一下子下降了10個百分點，遠遠超過當年的第二名（26.2%），可見其功力非同一般，從而也確立了深度卷積神經網絡在計算機視覺領域的統治地位。Alexnet強化了典型CNN的架構，應用到更深更寬的網絡中，由于它的出現，人們更加相信深度學習可以被應用于機器視覺領域，點燃了深度學習的熱情，深度學習很快進入了一個繁榮期。

AlexNet除了在網絡架構上的優化外，它還提出了幾項很酷的技術，包括

成功應用了ReLU激活函數，雖然非AlexNet的原創，最早（2000年）在《自然》（Nature）中的一篇文章中就被提出來了，但真正能發揮神奇功效、并被世人所知的時間節點，還要當屬它在AlexNet中的成功應用。

成功使用了Dropout機制，在AlexNet中的最后幾個全連接層，Dropout都被用來減輕過擬合。

成功使用了重疊的最大池化（Max pooling），傳統的CNN通常使用平均池化，而AlexNet全部使用最大池化避免了平均池化帶來的模糊化效果。

成功使用GPU加速訓練過程，并開源了CUDA代碼，以前Yann LeCun等人之所以止步，就是CNN受限于當時計算機硬件的“算力”，而從這個時代開始，深度學習快速進入“暴力計算”時代。

3、深度學習的核心就是"深度" ? ? ?

故事說到這里，我們再回頭認識一下深度學習（Deep Learning）。深度學習是人工神經網絡研究不斷深化的產物，其概念最早由辛頓（Geoffrey Hinton）等人于2006年提出（就是我們在機器學習中的函數（3） - "梯度下降"走捷徑，"BP算法"提效率??中提到的那位通過推動BP算法優化，“吻”醒了沉睡多年的人工智”大神，也是上文說到的參與提出AlexNet的牛人），針對深度學習他的核心理念有兩個。

第一：多隱層的人工神經網絡具有優異的特征學習能力，學習得到的特征對數據有更本質的刻畫，從而有利于可視化或分類。

第二：深度神經網絡在訓練上的難度，可以通過無監督學習實現的“逐層初始化”來有效克服。

神經網絡發展到這個階段，通過一步步加深把學習的性能提升到另一個高度，學習的層次多了、學習的套路也深了。從實現上，深度學習神經網絡就是一種包括多個隱含層（越多即為越深）的多層感知機，它通過組合低層特征，形成更為抽象的高層表示，用以描述被識別對象的高級屬性類別或特征。具備“自生成數據的中間表示”的能力，是深度學習區別于其他機器學習算法的獨門絕技，雖然這個表示并不能被人類理解，因此也有工程師把深度學習比喻為“機器煉丹”。

再展開討論一下，深度學習的“深”就是指層數多，相比深度學習，其他的許多機器學習就是淺層學習（比如曾經火熱過一段時間的SVM），因為它們并沒有多層的深架構。目前的深度學習網絡已經有百層甚至千層結構了，這種多層的架構允許后面的計算建立在前面的計算之上，這使得網絡能夠學習到更多的抽象特征，特征提取（feature extraction）就是深度學習網絡安身立命的基本功，無論是深度置信網絡（DBN），還是卷積神經網絡（CNN)，都是多隱層堆疊，每層對上一層的輸出進行處理，就是在做輸入信號進行逐層加工，從而把初始的、與輸出目標之間聯系不太密切的輸入表示，轉化成與輸出目標聯系更密切的表示，使得原來僅基于最后一層輸出映射難以完成的任務成為可能。換言之，通過多層處理，逐漸將初始的“低層”特征表示轉化為“高層”特征表示后，用“簡單模型”即可完成復雜的分類等學習任務。深度學習網絡通過向網絡展示大量有標記的樣本來訓練網絡，通過檢測誤差并調整神經元之間連接的權重來改進結果，重復該優化過程以創建微調后的網絡，一旦部署之后，就可以利用這種優化后的網絡來評估沒有標記的樣本。

這個看深度學習看起來無比強大，但為什么深度學習網絡直到這十多年才火熱起來呢？從理論上來說，參數越多的模型復雜度越高、容量越大，這意味著它能完成更復雜的學習任務。但實際使用時，復雜模型的訓練效率低，易陷入過擬合，因此難以受到人們青睞。而隨著云計算、大數據時代的到來，計算能力的大幅提高可緩解訓練低效性，訓練數據的大幅增加則可降低過擬合風險。因此，以深度學習為代表的復雜模型開始受到人們的關注。不得不感嘆深度學習生逢其時，當有了大數據和大算力的支持時，深度學習終于能登上舞臺中心了。到2015 年，CNN 首次在物體識別挑戰中擊敗了人類，展示了它強大的潛力。

4、CNN、RNN、GAN等深度學習方法各顯神通 ? ? ?

?卷積神經網絡是實現深度學習的重要方法之一，但它也不是能包攬所有應用的，我們再一起看一下目前在深度學習領域有以下幾個類別 （1）卷積神經網絡（CNN，Convolutional Neural Network），破譯圖像的神器：這是我們最近一起學習的重點，它利用卷積和池化把關鍵特征提取出來進行處理，就是相當于考試之前的復習劃重點，學習效率大大提高了。 （2）循環神經網絡（ RNN，Recurrent Neural Network），洞悉語言的內涵：傳統的神經網絡很少考慮輸入信號在時間上的聯系，但是現實中很多問題都是一個時序分析問題，例如語言文字分析問題，思考一個詞在句子中的含義，那么必然要考慮上下文語境的影響。因此循環神經網絡就是在傳統神經網絡的基礎上加入了時序分析的能力，就相當于幫助學生將前面所學的知識點和現在所學的知識點放在一起分析，從而在時間上形成系統的知識體系。參考下圖，加入時間元素的神經網絡。

（3）生成對抗網絡（GAN, Generative Adversarial Network)，引入對抗，棋逢對手：生成對抗網絡是在深度學習中產生的一種全新的學習框架。它包括了一位出題者（生成器Generator）和解題者（判別器Disciminator），出題者希望出一道解題者無法解出來的難題，所以他需要不斷學習努力提高，使得出的題目越來越難，而解題者也在不斷學習，盡力解出出題者出的難題。兩者不斷博弈，出題者的水平越來越高，題目也越來越難，解題者也不斷學習，結題的水平也在提高，最終兩者共同進步，出題者（生成器）和解題者（判別器）的知識和能力都不斷增強。

到這里，經過三周時間，我們從神經網絡的起點“激活函數和感知機”，走到“用多層前饋網絡解決異或問題”，“用損失函數優化網絡性能”，然后再前進到針對不斷變得復雜的網絡我們“用BP算法提升效率”，“用卷積核強化特征提取”，最后我們跟隨經典的卷積神經網絡，終于觸摸到了深度學習。

編輯：黃飛

?