????這些年深度學習太火了，你肯定疑惑深度學習網絡看起來無比強大，但為什么直到這十多年才火熱起來呢？從技術上來說，深度學習并不是一個特別高深，特別新穎的技術，很多是“舊瓶裝新酒”。但在此之前，由于計算資源缺乏和數據的缺失，使得嚴重依賴于“算力”和“數據”的深度學習技術難以實用化。而現在芯片技術快速發展，具備了暴力計算的可能；各種數據似乎隨手可得，學習資源也不再是瓶頸。當這些限制性的天花板被一個一個被打開后，深度學習終于迎來了他的春天。現在，你別嫌棄它“好傻好暴力”，它就是“很強很實用”。

深度學習的核心就是"深度" ，從實現上深度學習神經網絡就是一種包括多個隱含層的多層感知機，它通過組合低層特征，形成更為抽象的高層表示，用以描述被識別對象的高級屬性類別或特征，深度學習的“深”就是指層數多。我們把這四周一起學習的內容串一下，你能清晰的看到從上個世紀中“感知機”一步步發展到現在的“深度學習網絡”，Deep learning幾經起伏，走過了這條由“淺”變“深”之路。 ? ? ? ? ?

下面我們就一起來回顧一下。 1、機器學習和深度學習是兩兄弟么？ 劃重點：學習的核心是改善性能，深度學習是機器學習的一個分支，它的發展幾經起伏。近十年伴隨著算法成熟、數據爆炸，算力俱增，深度學習走入舞臺中心。 （1）西蒙教授（Herbert Simon）是1975年圖靈獎獲得者、1978年諾貝爾經濟學獎獲得者，他給學習下的定義是“學習的核心目的就是改善性能”。 （2）機器學習（Machine Learning）是人工智能（Artificial Intelligence）的一個分支，深度學習（Deep Learning）是機器學習中的一個子集，或者說，機器學習是實現人工智能的一種方法，而深度學習僅僅是實現機器學習的一種技術。 （3）上個世紀50年代至今，從1958年感知機實現，到BP神經網絡的出現，再到2006年傳奇的辛頓（Geoffrey Hinton）及其學生掀起深度學習的第三次浪潮，幾經起伏后深度學習終于走上前臺。而在此之后，伴隨著數據量的爆炸式增長與計算能力的與日俱增，深度學習得到了進一步的發展。

2、機器學習就是找到一個“好用的”函數? 劃重點：研究機器學習的過程是尋找有效算法的過程，算法是由一系列函數組成的，“好算法”的基石是“好的函數”。 （1）我們可以這樣理解機器學習“從數據中學習，形成有效經驗，提升執行任務/工作的表現”，因此對于研究機器學習就是不斷找尋更有效算法，而算法的基石是一個個函數，臺灣大學李宏毅博士這樣定義“機器學習在形式上可近似等同在數據對象中通過統計或推理的方法，尋找一個有關特定輸入和預期輸出的功能函數f”。 （2）如何找到好用的函數呢？這個程包括建模、評估、優化散步。“建模”是找一系列的函數來實現預期的功能，“評估”是制定每個環節的評價標準，“優化”是調試到性能最佳的函數。

3、學好數理化，走遍天下都不怕? 劃重點：理解機器學必備的數學基礎知識包括線性代數、微積分、概率論等等，除了數學基礎以外，編程能力和英文內功也很重要。 （1）理解機器學習必備的數學基礎知識包括線性代數、微積分、概率論、最優化理論等等，我們需要把數學知識點串聯到自己的知識體系中，再以數學思維去理解人工智能的工具和行為。 （2）機器學習涉及到非常廣泛的知識域，要學習的東西太多就很容易讓人發慌，打好基礎尤為關鍵，總結起來就是“數學是基礎，編程是手段，英文是內功”。

4、機器學習中的函數（1）- 激活函數和感知機 劃重點：機器學習研究的突破始于仿生學，基于“M-P神經元模型”實現了感知機，感知機中激活函數根據不同應用要求不斷演進。但感知機難以實現“異或”邏輯操作，成為致命短板。 （1）機器學習研究的突破始于仿生學，模仿大腦神經元的最早實例是20世紀40年代提出的“M-P神經元模型”，提出者是神經生理學家麥克洛克（Warren McCulloch）和數學家皮茨（Walter Pitts），論文首次實現了用一個簡單電路（也就是未來大名鼎鼎的感知機）來模擬大腦神經元的行為。 （2）M-P神經元模型中，神經元接收來自n個其他神經元傳遞過來的輸入信號，這些信號的表達通常通過神經元之間連接的權重Weight大小來表示，神經元將接收到的輸入值按照某種權重疊加起來，匯集了所有其他外聯神經元的輸入，并將其作為一個結果輸出。但這種輸出并非直接輸出，而是與當前神經元的閾值θ進行比較，然后通過激活函數f（Activation Function）向外表達輸出，y即為最終輸出。激活函數不斷變化，包括Sigmoid、Tanh 、ReLU、Softmax等等，根據不同需求各顯神通。 （3）感知機是由心理學教授羅森布拉特（Frank Rosenblatt）在1957年提出的一種人工神經網絡，是形式最簡單的前饋式人工神經網絡，是一種二元線性分類器，難以實現常見的“異或”邏輯操作，1972年明斯基出版了《感知機：計算幾何簡介》一書中點明了這個問題，機器學習研究進入漫長寒冬。什么技術進步幫助機器學習走出這個寒冬呢？

5、機器學習中的函數（2）- 多層前饋網絡巧解“異或”問題，損失函數上場優化網絡性能? 劃重點：前饋神經網絡由單層前饋變成多層前饋后，能力升級，可以解決“異或”問題。多層神經網絡利用損失函數計算調節網絡中參數，但面對越來越復雜的網絡高效尋找參數是一個很大挑戰。 （1）多層前饋網絡（Multi-layer Feedforward NeuralNetworks）誕生了，在輸出層與輸入層之間的再增加多層神經元，即增加“隱含層（hidden layer），大大提升網絡能力，升級后可以解決“異或”問題。 （2）機器學習的應用中，多層神經網絡學習的本質就是利用損失函數來調節網絡中的權重，然后根據網絡輸出與預期輸出之間的差值，采用迭代的算法，改變前面各層的參數，直至網絡收斂穩定。 （3）網絡層數增加，變得更加復雜了，遇到的問題變成如何從眾多網絡參數中找到最佳參數，包括神經元之間的連接權值和偏置等。簡單粗暴的方法當然就是枚舉所有可能的權值，然后優中選優，但對于稍微復雜的網絡，這種策略的計算量是天文數字，根本不可行。如何高效地找到這些能讓損失函數達到極小值的參數呢？

6、機器學習中的函數（3） - "梯度下降"走捷徑，"BP算法"提效率? 劃重點：基于梯度下降策略的BP算法提出，能高效地找到復雜網絡中損失函數的極小值，但是BP算法本身的缺點又限制了神經網絡“變深變強”，神經網絡研究慢慢走入低潮。 （1）為了高效地找到復雜網絡中損失函數的極小值，沃伯斯（Paul Werbos）提出了誤差反向傳播（error BackPropagation）BP算法，大神辛頓（Geoffrey Hinton）積極推動BP算法應用。 （2）BP算法其實是一個雙向算法，正向傳播信號，輸出分類信息；反向傳播誤差，調整網絡權值 。BP算法基于梯度下降（gradient descent）策略，梯度下降法是一種常用的最優化問題求解方法，BP算法以目標的負梯度方向對參數進行調整，采用“鏈式法則”求解復合函數的導數，獲得梯度值作為調整依據。 （3）BP算法的缺點也有很多，在神經網絡的層數更多時，很容易陷入局部最優解，亦容易過擬合，同時它也只能應用于一個全連接的網絡。在上個世紀最后10年，他的這個缺陷在某種程度上又把神經網絡研究送到了一個新的低潮期，什么技術進步幫助機器學習走出這個寒冬呢？

7、機器學習中的函數（4） - 全連接限制發展，卷積網絡閃亮登場 劃重點：引入卷積核進行特征提取，再通過池化層進一步降低數據規模，神經網絡經過改良后，具備了“由淺變深”的能力，卷積神經網絡即將出場。 （1）BP算法的種種缺陷使它終歸只能適用于“淺層”網絡，當這種全連接結構的網絡“變深”后，海量的連接權值難以訓練，并且多而雜的信息獲取和處理方式使它很難提取到有用的特征，特征歸納能力差，這種“淺層”網絡難堪大用了，解決這個問題需要引入有“高效的執行特征抽取”能力的網絡。 （2）應用卷積進行特征提取是卷積神經網絡中的第一步，在楊立昆(Yann LeCun)提出的經典LeNet-5神經網絡中，先用卷積核完成特征提取，卷積之后再通過池化層（又稱亞采樣層）降低數據規模，進一步完善特征提取和數據整理的工作，這樣進入全連接層的數據品質大大提高，不再是那種“魚龍混雜”的海量數據了，而是經過反復提純過的優質數據了。這么好的工具我們怎么樣放到神經網絡里？我們的主角卷積神經網絡（Convolutional NeuralNetwork，CNN）要出現了。

8、機器學習中的函數（5） - “算法、算力，數據”已齊備，深度學習走入舞臺中心 劃重點：卷積神經網絡通過技術創新成功的應用在了機器視覺領域，推動深度學習進入繁榮期，結合不同類型的應用，RNN、GAN等網絡也各顯神威。 （1）典型的卷積神經網絡通常由若干個卷積層（Convolutional Layer）、激活層（Activation Layer）、池化層（Pooling Layer）及全連接層（Fully Connected Layer）組成，各個層各司其職，卷積層從數據中提取有用的特征；激活層在網絡中引入非線性，通過彎曲或扭曲映射，來實現表征能力的提升；池化層通過采樣減少特征維度，并保持這些特征具有某種程度上的尺度變化不變性；在全連接層實施對象的分類預測。 （2）2012年，辛頓（Hinton）和他的博士生（Alex Krizhevsky）等提出了AlexNet ，一舉拿下當時ImageNet比賽的冠軍。Alexnet強化了典型CNN的架構，應用到更深更寬的網絡中，還首次在CNN中成功應用了ReLU、Dropout等技術。由于它的出現，人們更加相信深度學習可以被應用于機器視覺領域，點燃了大家對深度學習的熱情，深度學習很快進入了繁榮期。 （3）卷積神經網絡是實現深度學習的重要方法之一，但它也不是能包攬所有應用的，我們把卷積神經網絡（CNN，Convolutional Neural Network）稱作破譯圖像的神器，把循環神經網絡（ RNN，Recurrent Neural Network）定義洞悉語言的內涵的好工具，我們引入生成對抗網絡（GAN, Generative Adversarial Network)，提升網絡性能。總之，結合實際應用深度學習的技術還是在快速發展之中。

我們分享這些知識也僅僅是深度學習這個龐大的知識域中很小的一部分，比如過擬合、Relu函數，超參數，對抗網絡等等有趣的話題我們還沒有機會和大家一起學習。不過大家千萬不要被知識內容的龐雜嚇到了，就像我們這四周的學習過程一樣，先把主干建立起來，當你有一個體系化、成脈絡的知識主干后，再不斷添磚加瓦，逐步修正，你一定能修建出你自己的知識教堂來

編輯：黃飛

?