本文主要介紹了 4 種應(yīng)用比較普遍的的機(jī)器學(xué)習(xí)算法，但是機(jī)器學(xué)習(xí)算法還有其他很多不同的算法，大家感興趣的可以自己去了解。

樸素貝葉斯分類(lèi)

樸素貝葉斯分類(lèi)是基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類(lèi)方法，發(fā)源于古典數(shù)學(xué)理論，擁有穩(wěn)定的數(shù)學(xué)基礎(chǔ)和分類(lèi)效率。它是一種十分簡(jiǎn)單的分類(lèi)算法，當(dāng)然簡(jiǎn)單并不一定不好用。通過(guò)對(duì)給出的待分類(lèi)項(xiàng)求解各項(xiàng)類(lèi)別的出現(xiàn)概率大小，來(lái)判斷此待分類(lèi)項(xiàng)屬于哪個(gè)類(lèi)別，而在沒(méi)有多余條件的情況下，樸素貝葉斯分類(lèi)會(huì)選擇在已知條件下，概率最大的類(lèi)別。

貝葉斯分類(lèi)算法的實(shí)質(zhì)就是計(jì)算條件概率的公式。在事件 B 發(fā)生的條件下，事件 A 發(fā)生的概率為 P（A | B）來(lái)表示。

P（A | B）的概率為

。在日常應(yīng)用中，我們經(jīng)常可以直接得出 P（A | B），而 P（B | A）直接得到比較困難，通過(guò)貝葉斯定理就可以通過(guò) P（A | B）獲得 P（B | A）。

而樸素貝葉斯分類(lèi)的正式定義則如下：

樸素貝葉斯算法在執(zhí)行文本分類(lèi)等工作是會(huì)有很好的效果，比如樸素貝葉斯算法常被使用于垃圾郵件的過(guò)濾分類(lèi)中。

SVM算法

支持向量機(jī)（Support Vector Machine，常簡(jiǎn)稱(chēng)為 SVM）是一種監(jiān)督式學(xué)習(xí)的方法，可廣泛地應(yīng)用于統(tǒng)計(jì)分類(lèi)以及回歸分析。支持向量機(jī)屬于一般化線性分類(lèi)器，它能夠同時(shí)最小化經(jīng)驗(yàn)誤差與最大化幾何邊緣區(qū)，因此支持向量機(jī)也被稱(chēng)為最大邊緣區(qū)分類(lèi)器。

同時(shí)支持向量機(jī)將向量映射到一個(gè)更高維的空間里，在這個(gè)空間里建立有一個(gè)最大間隔超平面。在分開(kāi)數(shù)據(jù)的超平面的兩邊建有兩個(gè)互相平行的超平面，分隔超平面使兩個(gè)平行超平面的距離最大化。假定平行超平面間的距離或差距越大，分類(lèi)器的總誤差越小。

SVM 算法雖然存在難以訓(xùn)練和難以解釋的問(wèn)題，但是在非線性可分問(wèn)題上的表現(xiàn)十分優(yōu)秀，在非線性可分問(wèn)題中常選擇 SVM 算法。

基于 KNN 的算法

K - 近鄰算法，簡(jiǎn)稱(chēng) KNN（k-Nearest Neighbor），它同樣是一個(gè)比較簡(jiǎn)單的分類(lèi)、預(yù)測(cè)算法。對(duì)選取與待分類(lèi)、待預(yù)測(cè)數(shù)據(jù)的最相似的 K 個(gè)訓(xùn)練數(shù)據(jù)，通過(guò)對(duì)這 K 個(gè)數(shù)據(jù)的結(jié)果或者分類(lèi)標(biāo)號(hào)取平均、取眾數(shù)等方法得到待分類(lèi)、待預(yù)測(cè)數(shù)據(jù)的結(jié)果或者分類(lèi)標(biāo)號(hào)。

K - 近鄰算法如上圖所示，有兩類(lèi)不同的樣本數(shù)據(jù)，分別用藍(lán)色的小正方形和紅色的小三角形表示，而圖正中間的那個(gè)綠色的圓所標(biāo)示的數(shù)據(jù)則是待分類(lèi)的數(shù)據(jù)。在不知道中間那個(gè)綠色的數(shù)據(jù)是從屬于哪一類(lèi)（藍(lán)色小正方形or紅色小三角形）的情況下，我們可以從它的臨近的樣本進(jìn)行判斷。

如果 K=3，綠色圓點(diǎn)最近的 3 個(gè)鄰居是 2 個(gè)紅色小三角形和 1 個(gè)藍(lán)色小正方形，少數(shù)從屬于多數(shù)，基于統(tǒng)計(jì)的方法，判定綠色的這個(gè)待分類(lèi)點(diǎn)屬于紅色的三角形一類(lèi)。

如果 K=5，綠色圓點(diǎn)的最近的 5 個(gè)鄰居是 2 個(gè)紅色三角形和 3 個(gè)藍(lán)色的正方形，還是少數(shù)從屬于多數(shù)，基于統(tǒng)計(jì)的方法，判定綠色的這個(gè)待分類(lèi)點(diǎn)屬于藍(lán)色的正方形一類(lèi)。

從上文我們看到，當(dāng)無(wú)法判定當(dāng)前待分類(lèi)點(diǎn)是從屬于已知分類(lèi)中的哪一類(lèi)時(shí)，可以依據(jù)統(tǒng)計(jì)學(xué)的理論看它所處的位置特征，衡量它周?chē)従拥臋?quán)重，而把它歸為(或分配)到權(quán)重更大的那一類(lèi)，這就是 K 近鄰算法的核心思想。

KNN 算法相比其他算法也更加簡(jiǎn)單，并且易于理解、實(shí)現(xiàn)，無(wú)需估計(jì)參數(shù)與訓(xùn)練。適合對(duì)稀有事件進(jìn)行分類(lèi)和多分類(lèi)方面的問(wèn)題，在這類(lèi)問(wèn)題方面 KNN 算法的表現(xiàn)比 SVM 更好。

人工神經(jīng)網(wǎng)絡(luò)算法

人工神經(jīng)網(wǎng)絡(luò)，簡(jiǎn)稱(chēng)神經(jīng)網(wǎng)絡(luò)或類(lèi)神經(jīng)網(wǎng)絡(luò)，是一種模仿生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能的數(shù)學(xué)模型或計(jì)算模型，用于對(duì)函數(shù)進(jìn)行估計(jì)或近似。神經(jīng)網(wǎng)絡(luò)由大量的人工神經(jīng)元聯(lián)結(jié)進(jìn)行計(jì)算。大多數(shù)情況下人工神經(jīng)網(wǎng)絡(luò)能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)，是一種自適應(yīng)系統(tǒng)。

下圖為人工神經(jīng)網(wǎng)絡(luò)示意圖，人工神經(jīng)網(wǎng)絡(luò)由很多的層組成，最前面這一層叫輸入層，最后面一層叫輸出層，最中間的層叫隱層，并且每一層有很多節(jié)點(diǎn)，節(jié)點(diǎn)之間有邊相連的，每條邊都有一個(gè)權(quán)重。對(duì)于文本來(lái)說(shuō)輸入值是每一個(gè)字符，對(duì)于圖片來(lái)說(shuō)輸入值就是每一個(gè)像素。

人工神經(jīng)網(wǎng)絡(luò)是如何工作的？

1.前向傳播：對(duì)于一個(gè)輸入值，將前一層的輸出與后一層的權(quán)值進(jìn)行運(yùn)算，再加上后一層的偏置值得到了后一層的輸出值，再將后一層的輸出值作為新的輸入值傳到再后面一層，一層層傳下去得到最終的輸出值。

2.反向傳播：前向傳播會(huì)得到預(yù)測(cè)值，但是這個(gè)預(yù)測(cè)值不一定是真實(shí)的值，反向傳播的作用就是修正誤差，通過(guò)與真實(shí)值做對(duì)比修正前向傳播的權(quán)值和偏置。

人工神經(jīng)網(wǎng)絡(luò)在語(yǔ)音、圖片、視頻、游戲等各類(lèi)應(yīng)用場(chǎng)景展現(xiàn)出了優(yōu)異的性能，但是存在需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練來(lái)提高準(zhǔn)確性的問(wèn)題。