在過去十年中，人們對機器學習的興趣激增。幾乎每天，我們都可以在各種各樣的計算機科學課程、行業會議、華爾街日報等等看到有關機器學習的討論。在所有關于機器學習的討論中，許多人把機器學習能做的事情和他們希望機器學習做的事情混為一談。從根本上講，機器學習是使用算法從原始數據中提取信息，并在某種類型的模型中表示這些信息。我們使用這個模型來推斷還沒有建模的其他數據。

神經網絡是機器學習的一種模型，它們至少有50年歷史了。神經網絡的基本單元是節點（node），基本上是受哺乳動物大腦中的生物神經元啟發。神經元之間的連接也以生物的大腦為模型，這些連接隨著時間的推移而發展的方式是為“訓練”。

在20世紀80年代中期和90年代初期，許多重要的模型架構進步都是在神經網絡中進行的。然而，為了獲得良好性能所需的時間和數據越來越多，這極大的降低了研究人員的興趣。在21世紀初期，計算能力呈指數級增長，研究人員看到了計算機技術的“寒武紀爆發”。作為該領域的一個重要競爭者——深度學習，因為計算能力的爆炸式增長，贏得了許多重要的機器學習競賽。截至目前，這種趨勢仍然沒有減退;今天，我們看到機器學習的每個角落都提到了深度學習。

最近，我開始閱讀有關該深度學習的學術論文。根據我的研究，以下是一些對該領域的發展產生巨大影響的出版物：

● 紐約大學基于梯度的學習應用于文檔識別（1998），它將卷積神經網絡引入機器學習世界。
● 多倫多大學的DeepBoltzmann Machines（2009），它為Boltzmann機器提供了一種新的學習算法，包含許多隱藏變量層。
● 斯坦福和谷歌使用大規模無監督學習構建高級功能（2012），解決了僅使用未標記數據構建高級，類特定功能檢測器的問題。
● Berkeley的DeCAF-一種用于通用視覺識別的深度卷積激活功能（2013），它發布了DeCAF，這是一種深度卷積激活功能的開源實現，以及所有相關的網絡參數，使視覺研究人員能夠進行深度實驗跨越一系列視覺概念學習范例的表示。
● DeepMind使用Deep ReinforcementLearning（2016）播放Atari，它提供了第一個深度學習模型，可以使用強化學習直接從高維感覺輸入成功學習控制策略。

通過研究和學習論文，我學到了很多關于深度學習的豐富知識。在這里，我想分享AI工程師可以應用于機器學習問題的10種強大的深度學習方法。但首先，讓我們來定義深度學習是什么。深度學習對于許多人來說是一個挑戰，因為它的形式在過去十年中逐漸發生了改變。為了向各位更好的說明深層學習的地位，下圖說明了人工智能，機器學習和深度學習之間關系的概念。

人工智能領域很廣泛，并且已經存在了很長時間。深度學習是機器學習領域的一個子集，而機器學習只是人工智能的一個子領域。將深度學習網絡與之前的前饋多層網絡進行區分：

● 深度學習比以前的網絡更多的神經元；
● 深度學習中有更復雜的連接層的方式；
● “寒武紀爆炸”的提供的計算能力；
● 深度學習可以自動進行特征提取。

當我說到“更多神經元”時，是指近年來神經元的數量不斷增加，深度學習就可以表示更為復雜的模型。層也從多層網絡中每一層的完全連接，進化成卷積神經網絡中神經元片段的局部連接，以及與遞歸神經網絡中的同一神經元的循環連接（與前一層的連接除外）。

深度學習可以被定義為具有大量參數和層數的神經網絡：

● 無人監督的預訓練網絡；
● 卷積神經網絡；
● 循環神經網絡；
● 遞歸神經網絡。

在這篇文章中，我主要對后三種網絡進行講解。卷積神經網絡（CNN）基本上式已經跨越使用共享權重的空間延伸的標準神經網絡。CNN旨在通過在內部的卷積來識別圖像，該卷積看到圖像上識別對象的邊緣。遞歸神經網絡基本上是一個使用時間延伸擴展空間的標準神經網絡，它提取進入下一時間步的邊沿，而不是在同一時間進入下一層。RNN進行序列識別，例如語音或文本信號，因其內部具有循環，意味著在RNN網絡中存在短時記憶。遞歸神經網絡更類似于分層網絡，其中輸入序列實際上與時間無關，但輸入必須以樹狀方式分層處理。下面的10種方法可以應用于所有這些架構。

反向傳播