NAG算法全稱Nesterov Accelerated Gradient,是YuriiNesterov在1983年提出的對(duì)沖量梯度下降算法的改進(jìn)版本，其速度更快。其變化之處在于計(jì)算“超前梯度”更新沖量項(xiàng)，具體公式如下：

既然參數(shù)要沿著

圖1 NAG效果圖

03

AdaGrad

AdaGrad是Duchi在2011年提出的一種學(xué)習(xí)速率自適應(yīng)的梯度下降算法。在訓(xùn)練迭代過(guò)程，其學(xué)習(xí)速率是逐漸衰減的，經(jīng)常更新的參數(shù)其學(xué)習(xí)速率衰減更快，這是一種自適應(yīng)算法。其更新過(guò)程如下：

其中是梯度平方的積累量，在進(jìn)行參數(shù)更新時(shí)，學(xué)習(xí)速率要除以這個(gè)積累量的平方根，其中加上一個(gè)很小值是為了防止除0的出現(xiàn)。由于是該項(xiàng)逐漸增加的，那么學(xué)習(xí)速率是衰減的。考慮如圖2所示的情況，目標(biāo)函數(shù)在兩個(gè)方向的坡度不一樣，如果是原始的梯度下降算法，在接近坡底時(shí)收斂速度比較慢。而當(dāng)采用AdaGrad，這種情況可以被改觀。由于比較陡的方向梯度比較大，其學(xué)習(xí)速率將衰減得更快，這有利于參數(shù)沿著更接近坡底的方向移動(dòng)，從而加速收斂。

圖2 AdaGrad效果圖

前面說(shuō)到AdaGrad其學(xué)習(xí)速率實(shí)際上是不斷衰減的，這會(huì)導(dǎo)致一個(gè)很大的問(wèn)題，就是訓(xùn)練后期學(xué)習(xí)速率很小，導(dǎo)致訓(xùn)練過(guò)早停止，因此在實(shí)際中AdaGrad一般不會(huì)被采用，下面的算法將改進(jìn)這一致命缺陷。不過(guò)TensorFlow也提供了這一優(yōu)化器：tf.train.AdagradOptimizer。

04

RMSprop

RMSprop是Hinton在他的課程上講到的，其算是對(duì)Adagrad算法的改進(jìn)，主要是解決學(xué)習(xí)速率過(guò)快衰減的問(wèn)題。其實(shí)思路很簡(jiǎn)單，類似Momentum思想，引入一個(gè)超參數(shù)，在積累梯度平方項(xiàng)進(jìn)行衰減：

可以認(rèn)為僅僅對(duì)距離時(shí)間較近的梯度進(jìn)行積累，其中一般取值0.9，其實(shí)這樣就是一個(gè)指數(shù)衰減的均值項(xiàng)，減少了出現(xiàn)的爆炸情況，因此有助于避免學(xué)習(xí)速率很快下降的問(wèn)題。同時(shí)Hinton也建議學(xué)習(xí)速率設(shè)置為0.001。RMSprop是屬于一種比較好的優(yōu)化算法了，在TensorFlow中當(dāng)然有其身影：tf.train.RMSPropOptimizer(learning_rate=learning_rate,momentum=0.9, decay=0.9, epsilon=1e-10)。