如何利用一些小技巧實現SVM的增量式訓練

老樹發新芽SVM的增量式訓練

大家是不是以為我們的SVM篇就這樣結束了？nonono，對于這樣一位資深的老前輩來說，寥寥幾篇怎能敘說盡，換句話來說，歷經幾十年的歷練，還能屹立于ML之巔，必定擁有卓越的技術實力和深厚的專業底蘊。

不過，大家在用SVM時一定也注意到過SVM本身只支持單次訓練，要怎么解釋呢？意思就是說我們在訓練一個SVM模型前，要事先指定好想要識別的類別或是任務，這樣訓練好之后，模型就只能針對所指定的任務了。如果想要再添加新的需求，那不好意思了，需要再重新制定任務，并且這個任務必須包含老任務，不然SVM就會喜新厭舊了，只能完成新任務。

這樣一來是不是有點麻煩？有伙伴要問了，我們CNN就能支持增量學習，你這SVM看起來還是不太行啊。那么為了給我們的SVM大佬正名，今天小編就給大家帶來一篇番外，利用一些小技巧實現SVM的增量式訓練。直接上代碼！！

繼續使用我們的鳶尾花數據集，不過這次我們做點特殊的。我們將其作為一個單分類的數據集來使用，具體怎么做呢？讓我們一步步來看：

鳶尾花數據集一共有150組樣本，我們先選取前50組出來，訓練一個單分類模型，目的是讓其只能夠識別一種樣本，代碼片段：

from sklearn import datasets
from ?sklearn.model_selection import ?train_test_split
from ?sklearn.preprocessing import ?StandardScaler
from sklearn.svm import OneClassSVM
from ?sklearn.metrics import ?accuracy_score
import numpy as np
# 加載數據集
iris = ?datasets.load_iris()
X = iris.data
y = ?iris.target
data_each = 50
X0 = ?X[:data_each]
y0 = ?y[:data_each]
# 構建支持向量機分類器
svm = ?OneClassSVM(kernel='rbf', nu=0.1)
# 在訓練集上訓練模型，選取前30組作為訓練樣本
svm.fit(X_train[:30])
# 在測試集上進行預測，選取后20組數據作為測試集
y_pred = ?svm.predict(X_train[30:])
print("ACC: ?", (y_pred == 1).sum() / ?len(y_pred))

測試結果打印：

好的，接下來就是至關重要的一步了，我們知道SVM全稱是支持向量機，那么其原理就是在訓練樣本重抽取一部分當作支持向量，即挑選出能夠代表全體數據的靈魂數據。換句話說，這些支持向量本身就能代表當前類別的所有數據，通過和支持向量間的對比即可認定新數據是否屬于同一類別。那么好，我們要做的就是將這些支持向量提取出來，并將其與新數據拼接在一起作為新的訓練數據：

support_vector = svm.support_vectors_
# 拼接數據，將前一類別的支持向量與新數據結合
new_train_x = ?np.vstack([support_vector, X[data_each:2*data_each][:30]])

這里提前看一下支持向量，針對于第一個類別，支持向量有4個：

繼續訓練，并測試：

# 構建支持向量機分類器
svm = ?OneClassSVM(kernel='rbf', nu=0.1)
svm.fit(new_train_x)
# 在測試集上進行預測，拼接之前的數據集
y_pred = svm.predict(np.vstack([X0[30:], ?X[data_each:2*data_each][30:]]))
print("ACC: ?", (y_pred == 1).sum() / ?len(y_pred))

測試結果：

再來看下新的支持向量：

可以看到，在第一次支持向量的基礎上，又增加了針對第二個類別的。同時根據測試精度，可以看出，通過添加第一次訓練多得到的支持向量，而非將全體數據進行二次訓練，能夠達到同樣的效果。也驗證了我們的猜測：支持向量本身其實就是數據集的代表，只將其作為訓練樣本，完全能夠替代全部數據。并以此為基礎實現SVM模型的增量式訓練。

審核編輯：黃飛

閱讀全文

向量機(21578) 向量機(21578)
SVM(33618) SVM(33618)
機器學習(136440) 機器學習(136440)
cnn(23277) cnn(23277)

伦伦影院久久影视,天天操天天干天天射,ririsao久久精品一区 ,一本大道香蕉大久在红桃,999久久久免费精品国产色夜,色悠悠久久综合88,亚洲国产精品久久无套麻豆,亚洲香蕉毛片久久网站,一本一道久久综合狠狠老

搜索歷史

如何利用一些小技巧實現SVM的增量式訓練

評論