本文主要介紹了 4 種應用比較普遍的的機器學習算法，但是機器學習算法還有其他很多不同的算法，大家感興趣的可以自己去了解。

樸素貝葉斯分類

樸素貝葉斯分類是基于貝葉斯定理與特征條件獨立假設的分類方法，發源于古典數學理論，擁有穩定的數學基礎和分類效率。它是一種十分簡單的分類算法，當然簡單并不一定不好用。通過對給出的待分類項求解各項類別的出現概率大小，來判斷此待分類項屬于哪個類別，而在沒有多余條件的情況下，樸素貝葉斯分類會選擇在已知條件下，概率最大的類別。

貝葉斯分類算法的實質就是計算條件概率的公式。在事件 B 發生的條件下，事件 A 發生的概率為 P（A | B）來表示。

P（A | B）的概率為

。在日常應用中，我們經常可以直接得出 P（A | B），而 P（B | A）直接得到比較困難，通過貝葉斯定理就可以通過 P（A | B）獲得 P（B | A）。

而樸素貝葉斯分類的正式定義則如下：

樸素貝葉斯算法在執行文本分類等工作是會有很好的效果，比如樸素貝葉斯算法常被使用于垃圾郵件的過濾分類中。

SVM算法

支持向量機（Support Vector Machine，常簡稱為 SVM）是一種監督式學習的方法，可廣泛地應用于統計分類以及回歸分析。支持向量機屬于一般化線性分類器，它能夠同時最小化經驗誤差與最大化幾何邊緣區，因此支持向量機也被稱為最大邊緣區分類器。

同時支持向量機將向量映射到一個更高維的空間里，在這個空間里建立有一個最大間隔超平面。在分開數據的超平面的兩邊建有兩個互相平行的超平面，分隔超平面使兩個平行超平面的距離最大化。假定平行超平面間的距離或差距越大，分類器的總誤差越小。

SVM 算法雖然存在難以訓練和難以解釋的問題，但是在非線性可分問題上的表現十分優秀，在非線性可分問題中常選擇 SVM 算法。

基于 KNN 的算法

K - 近鄰算法，簡稱 KNN（k-Nearest Neighbor），它同樣是一個比較簡單的分類、預測算法。對選取與待分類、待預測數據的最相似的 K 個訓練數據，通過對這 K 個數據的結果或者分類標號取平均、取眾數等方法得到待分類、待預測數據的結果或者分類標號。

K - 近鄰算法如上圖所示，有兩類不同的樣本數據，分別用藍色的小正方形和紅色的小三角形表示，而圖正中間的那個綠色的圓所標示的數據則是待分類的數據。在不知道中間那個綠色的數據是從屬于哪一類（藍色小正方形or紅色小三角形）的情況下，我們可以從它的臨近的樣本進行判斷。

如果 K=3，綠色圓點最近的 3 個鄰居是 2 個紅色小三角形和 1 個藍色小正方形，少數從屬于多數，基于統計的方法，判定綠色的這個待分類點屬于紅色的三角形一類。

如果 K=5，綠色圓點的最近的 5 個鄰居是 2 個紅色三角形和 3 個藍色的正方形，還是少數從屬于多數，基于統計的方法，判定綠色的這個待分類點屬于藍色的正方形一類。

從上文我們看到，當無法判定當前待分類點是從屬于已知分類中的哪一類時，可以依據統計學的理論看它所處的位置特征，衡量它周圍鄰居的權重，而把它歸為(或分配)到權重更大的那一類，這就是 K 近鄰算法的核心思想。