不僅在外部遭到了巨大的挑戰，NN內部也發生了問題。1991年的Hochreiter[40]和2001年的Hochreiter[11]的工作，都表明在使用BP算法時，NN單元飽和之后會發生梯度損失。簡單來說，訓練NN模型時，超過一定的迭代次數后，再迭代NN模型就很容易過擬合。

再往前一點點，另一個堅實的ML模型AdaBoost在1997被Freund和Schapire提出，該算法最大的特點在于組合弱分類器形成強分類器。這個成果為它的作者贏得了Godel獎。Adaboost通過給那些難的樣例更高的權重來對那些容易訓練的分類器進行訓練。該模型在臉部識別和檢測方面應用的很廣。它還是PAC（概率近似正確理論）的一種實現。通常來說，所謂的弱分類器都被Adaboost用來當樹樁——即單個的決策樹節點。他們這樣來描述Adaboost：

作為一個良好的在線預測模型的抽象擴展，Adaboost可以被解釋為一個通用的決策理論設置…[11]

另外一個可以將多個決策樹組合起來的模型在2001年被Breiman[12]提出。該模型被稱為隨機森林(RF)，因為它的每個組成節點都是隨機的選擇一組示例和一組特征。RF也擁有理論上和實驗上的抗過擬合的證據。甚至有些數據Adaboost都不能很好的克服過擬合和離群點的時候，RF都能有很好的魯棒性。RF在很多其他不同領域比如Kaggle比賽上都有很成功的表現。

隨機森林是一個樹預測器的組合體，每棵樹都取決于一個獨立同分布的隨機向量。因而整個森林的泛化誤差隨著森林數目的增多而收斂[12]。

時間終于走到了當下，一個新的NN領域——深度學習出現了。在這個階段，NN模型可以擁有多層。3層的NN模型在2005年被Hinton,LeCun, Bengio, Andrew Ng等諸多大師一一實現。下面列舉了一些深度學習上的重要概念：

GPU programming

Convolutional NNs [18][20][40]

Deconvolutional Networks [21]

Optimization algorithms

Stochastic Gradient Descent [19][22]

BFGS and L-BFGS [23]

Conjugate Gradient Descent [24]

Backpropagation [40][19]

Rectifier Units

Sparsity [15][16]

Dropout Nets [26]

Maxout Nets [25]

Unsupervised NN models [14]

Deep Belief Networks [13]

Stacked Auto-Encoders [16][39]

Denoising NN models [17]

將上面列舉的這些技術和想法綜合到一起，NN模型迎來了又一個春天，在物體識別、語音識別、自然語言處理等方面，均擊敗之前的最高水平的技術。但重要的事，這并不意味著其他ML流派的終結，即使現在深度學習的成功故事還在一個接一個的上演，仍然有著參數眾多、訓練花費巨大的缺陷。而且，SVM由于其簡單性仍然被廣泛使用。

在結束之前，我們再介紹一個相對年輕的ML趨勢，隨著www和社會媒體的發展，大數據出現且影響了很多ML的研究。因為大數據中的問題數據量都極大，很多強大的ML算法在機器性能的限制下都變得有些無用（對大公司來說自然不是這樣）。因此，研究人員提出了一套簡單模型——dubbed Bandit Algorithms[27-38]，這些算法都是在線學習算法，都能適應大規模問題。

這只是一個簡單的ML歷史的介紹，若有問題，歡迎指出。