3．機器學習

谷歌CEO桑達爾·皮查伊在一封致股東信中，把機器學習譽為人工智能和計算的真正未來，可想而知機器學習在人工智能研究領(lǐng)域的重要地位。機器學習的方式包括有監(jiān)督學習、無監(jiān)督學習、半監(jiān)督學習和強化學習。其中的算法有回歸算法（最小二懲罰、LR等）、基于實例的算法（KNN、LVQ等）、正則化方法（LASSO等）、決策樹算法（CART、C4.5、RF等）、貝葉斯方法（樸素貝葉斯、BBN等）、基于核的算法（SVM、LDA等）、聚類算法（K-Means、DBSCAN、EM等）、關(guān)聯(lián)規(guī)則（Apriori、FP-Growth）、遺傳算法、人工神經(jīng)網(wǎng)絡(luò)（PNN、BP等）、深度學習（RBN、DBN、CNN、

DNN、LSTM、GAN等）、降維方法（PCA、PLS等）、集成方法（Boosting、Bagging、AdaBoost、RF、GBDT等）。

深度學習是機器學習中人工神經(jīng)網(wǎng)絡(luò)算法的延伸和發(fā)展，近期深度學習的研究非常火熱，下面介紹一下神經(jīng)網(wǎng)絡(luò)和深度學習。先說兩層網(wǎng)絡(luò)，如圖3-20所示，其中，a是“單元”的值；w表示“連線”權(quán)重；g是激活函數(shù)，一般為方便求導，采用Sigmoid函數(shù)。采用矩陣運算來簡化圖中公式：a(2)=g(a(1)×w(1))，z=g(a(2) ×w(2))。設(shè)訓練樣本的真實值為y，預測值為z，定義損失函數(shù)loss＝（z-y）2，所有參數(shù)w優(yōu)化的目標就是使對所有訓練數(shù)據(jù)的損失和盡可能小，此時這個問題就轉(zhuǎn)化為一個優(yōu)化問題，常用梯度下降算法求解。一般使用反向傳播算法，從后往前逐層計算梯度，最終求解各參數(shù)矩陣。

圖3-20深度學習兩層神經(jīng)網(wǎng)絡(luò)算法