深度學習是機器學習的一個分支，它除了可以學習特征和任務之間的關聯以外，還能自動從簡單特征中提取更加復雜的特征。2012年以后，深度學習（DeepLearning，DL）的熱度呈指數上升，深度學習最具代表性的一類方法是深度神經網絡，神經網絡試圖模擬大腦神經元層的活動，以學習如何識別數據中的復雜模式。深度學習的前身為人工神經網絡（ArtificialNeuralNetwork，ANN），ANN的歷史可以追溯到上世紀50年代。目前深度學習最最成熟的技術本質上依然是人工神經網絡。

1958年Rosenblatt發明了感知器（Perceptron）算法。該算法使用MCP模型（MCP是作者名字的縮寫）對輸入的多維數據進行二分類，且能夠使用梯度下降法從訓練樣本中自動學習更新權值。1962年，該方法被證明能夠收斂，理論與實踐效果引起第一次神經網絡的研究浪潮。1969年，美國數學家及人工智能先驅Minsky在其著作中證明感知器本質上是一種線性模型，只能處理線性分類問題，就連最簡單的XOR（亦或）問題都無法正確分類，這間接宣判了感知器的死刑，神經網絡的研究因此陷入了近20年的停滯。

直到上世紀80年代，Hinton在1986年發明了適用于多層感知器（Multi-layersperceptron）的反向傳播算法，并采用Sigmoid函數進行非線性映射，有效解決了非線性分類和學習的問題，該方法引起了神經網絡的第二次熱潮。YanLecun等人于1998年發明了深度卷積神經網絡LeNet-5，該網絡引入了卷積層，下采樣層和全連接層，是現在大部分深度卷積神經網絡的雛形，LeNet-5成功地運用到手寫數字（MNIST）識別任務。然而由于神經網絡一直缺少相應的嚴格的數學理論支持，神經網絡的研究進入第二次低潮期。隨后決策樹方法、SVM、樸素貝葉斯等統計學方法成為機器學習研究的主流。

2006年，Hinton等人在其研究中提出了深度學習的概念，之后在眾多研究者努力下，隨機梯度下降法（StochasticGradientDescent，SGD），Dropout等網絡優化策略被相繼提出，尤其是GPU并行計算技術解決了深度網絡參數多優化時間長的難題后，全世界范圍內掀起了研究深度學習的熱潮并持續至今。10多年來，許多經典的深度學習架構被提出，如典型的深度卷積神經網絡架構AlexNet，循環神經網絡（RecurrentNeuralNetworks，RNN）、長短期記憶網絡（LongShort-TermMemory，LSTM）、生成式對抗網絡（GenerativeAdversarialNetwork，GAN）等。

責任編輯人：CC