平時都是直接使用現成的libsvm，雖然對于SVM原理理解有一定的難度，但是仍然試著知其然，亦知其所以然。本文主要是SVM的概念性的分享。

基本概念

支持向量機（Support Vector Machine，SVM）是Corinna Cortes和Vapnik等于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現出許多特有的優勢，并能夠推廣應用到函數擬合等其他機器學習問題中。

支持向量機，其含義是通過支持向量運算的分類器。其中“機”的意思是機器，可以理解為分類器。

什么是支持向量呢？在求解的過程中，會發現只根據部分數據就可以確定分類器，這些數據稱為支持向量。

見下圖，在一個二維環境中，其中點R，S，G點和其它靠近中間黑線的點可以看作為支持向量，它們可以決定分類器，也就是黑線的具體參數。

支持向量機（Support vector machines，SVM）與神經網絡類似，都是學習型的機制，但與神經網絡不同的是SVM使用的是數學方法和優化技術。

為了更好的理解SVM，下面從logistic回歸出發，引出了SVM，既揭示了模型間的聯系，也讓人覺得過渡更自然。

重新審視logistic回歸

Logistic回歸目的是從特征學習出一個0/1分類模型，而這個模型是將特性的線性組合作為自變量，由于自變量的取值范圍是負無窮到正無窮。因此，使用logistic函數（或稱作sigmoid函數）將自變量映射到（0，1）上，映射后的值被認為是屬于y=1的概率。

形式化表示就是

假設函數

其中x是n維特征向量，函數g就是logistic函數。

那么g（z）的圖像是

可以看到，將無窮映射到了（0，1）。

而假設函數就是特征屬于y=1的概率。

當我們要判別一個新來的特征屬于哪個類時，只需求hθ（x），若大于0.5就是y=1的類，反之屬于y=0類。

再審視一下hθ（x），發現hθ（x）只和θT有關，θT（x）》0，那么hθ（x）》0.5，g（z）只不過是用來映射，真實的類別決定權還在θT（x）。還有當時θT（x）≥0，hθ（x）=1，反之hθ（x）=0。如果我們只從θT（x）出發，希望模型達到的目標無非就是讓訓練數據中y=1的特征θT（x）≥0，而是y=0的特征θT（x）≤0。Logistic回歸就是要學習得到θ，使得正例的特征遠大于0，負例的特征遠小于0，強調在全部訓練實例上達到這個目標。

圖形化表示如下：

中間那條線是θT（x），logistic回顧強調所有點盡可能地遠離中間那條線。學習出的結果也就中間那條線。考慮上面3個點A、B和C。從圖中我們可以確定A是×類別的，然而C我們是不太確定的，B還算能夠確定。這樣我們可以得出結論，我們更應該關心靠近中間分割線的點，讓他們盡可能地遠離中間線，而不是在所有點上達到最優。因為那樣的話，要使得一部分點靠近中間線來換取另外一部分點更加遠離中間線。我想這就是支持向量機的思路和logistic回歸的不同點，一個考慮局部（不關心已經確定遠離的點），一個考慮全局（已經遠離的點可能通過調整中間線使其能夠更加遠離）。這是我的個人直觀理解。

形式化表示

函數間隔（functional margin）和幾何間隔（geometric margin）

剛剛我們定義的函數間隔是針對某一個樣本的，現在我們定義全局樣本上的函數間隔

說白了就是在訓練樣本上分類正例和負例確信度最小那個函數間隔。

接下來定義幾何間隔，先看圖

最優間隔分類器（optimal margin classifier）

回想前面我們提到我們的目標是尋找一個超平面，使得離超平面比較近的點能有更大的間距。也就是我們不考慮所有的點都必須遠離超平面，我們關心求得的超平面能夠讓所有點中離它最近的點具有最大間距。形象的說，我們將上面的圖看作是一張紙，我們要找一條折線，按照這條折線折疊后，離折線最近的點的間距比其他折線都要大。形式化表示為：

這里用||w||=1規約w，使得是wTx+bi（因沒法輸入公式，寫成這樣子了）幾何間隔。

到此，我們已經將模型定義出來了。如果求得了w和b，那么來一個特征x，我們就能夠分類了，稱為最優間隔分類器。接下的問題就是如何求解w和b的問題了。

由于||w||=1不是凸函數，我們想先處理轉化一下，考慮幾何間隔和函數間隔的關系，公式：

我們改寫為：

這時候其實我們求的最大值仍然是幾何間隔，只不過此時的w不受||w||=1的約束了。然而這個時候目標函數仍然不是凸函數，沒法直接代入優化軟件里計算。我們還要改寫。前面說到同時擴大w和b對結果沒有影響，但我們最后要求的仍然是w和b的確定值，不是他們的一組倍數值。

這下好了，只有線性約束了，而且是個典型的二次規劃問題（目標函數是自變量的二次函數）。代入優化軟件可解。到這里發現，雖然沒有先畫好圖，畫好分類超平面，在圖上標示出間隔那么直觀，但每一步推導有理有據，依靠思路的流暢性來推導出目標函數和約束。