如何利用一些小技巧實(shí)現(xiàn)SVM的增量式訓(xùn)練

老樹(shù)發(fā)新芽SVM的增量式訓(xùn)練

大家是不是以為我們的SVM篇就這樣結(jié)束了？nonono，對(duì)于這樣一位資深的老前輩來(lái)說(shuō)，寥寥幾篇怎能敘說(shuō)盡，換句話來(lái)說(shuō)，歷經(jīng)幾十年的歷練，還能屹立于ML之巔，必定擁有卓越的技術(shù)實(shí)力和深厚的專業(yè)底蘊(yùn)。

不過(guò)，大家在用SVM時(shí)一定也注意到過(guò)SVM本身只支持單次訓(xùn)練，要怎么解釋呢？意思就是說(shuō)我們?cè)谟?xùn)練一個(gè)SVM模型前，要事先指定好想要識(shí)別的類別或是任務(wù)，這樣訓(xùn)練好之后，模型就只能針對(duì)所指定的任務(wù)了。如果想要再添加新的需求，那不好意思了，需要再重新制定任務(wù)，并且這個(gè)任務(wù)必須包含老任務(wù)，不然SVM就會(huì)喜新厭舊了，只能完成新任務(wù)。

這樣一來(lái)是不是有點(diǎn)麻煩？有伙伴要問(wèn)了，我們CNN就能支持增量學(xué)習(xí)，你這SVM看起來(lái)還是不太行啊。那么為了給我們的SVM大佬正名，今天小編就給大家?guī)?lái)一篇番外，利用一些小技巧實(shí)現(xiàn)SVM的增量式訓(xùn)練。直接上代碼??！

繼續(xù)使用我們的鳶尾花數(shù)據(jù)集，不過(guò)這次我們做點(diǎn)特殊的。我們將其作為一個(gè)單分類的數(shù)據(jù)集來(lái)使用，具體怎么做呢？讓我們一步步來(lái)看：

鳶尾花數(shù)據(jù)集一共有150組樣本，我們先選取前50組出來(lái)，訓(xùn)練一個(gè)單分類模型，目的是讓其只能夠識(shí)別一種樣本，代碼片段：

from sklearn import datasets
from ?sklearn.model_selection import ?train_test_split
from ?sklearn.preprocessing import ?StandardScaler
from sklearn.svm import OneClassSVM
from ?sklearn.metrics import ?accuracy_score
import numpy as np
# 加載數(shù)據(jù)集
iris = ?datasets.load_iris()
X = iris.data
y = ?iris.target
data_each = 50
X0 = ?X[:data_each]
y0 = ?y[:data_each]
# 構(gòu)建支持向量機(jī)分類器
svm = ?OneClassSVM(kernel='rbf', nu=0.1)
# 在訓(xùn)練集上訓(xùn)練模型，選取前30組作為訓(xùn)練樣本
svm.fit(X_train[:30])
# 在測(cè)試集上進(jìn)行預(yù)測(cè)，選取后20組數(shù)據(jù)作為測(cè)試集
y_pred = ?svm.predict(X_train[30:])
print("ACC: ?", (y_pred == 1).sum() / ?len(y_pred))

測(cè)試結(jié)果打印：

好的，接下來(lái)就是至關(guān)重要的一步了，我們知道SVM全稱是支持向量機(jī)，那么其原理就是在訓(xùn)練樣本重抽取一部分當(dāng)作支持向量，即挑選出能夠代表全體數(shù)據(jù)的靈魂數(shù)據(jù)。換句話說(shuō)，這些支持向量本身就能代表當(dāng)前類別的所有數(shù)據(jù)，通過(guò)和支持向量間的對(duì)比即可認(rèn)定新數(shù)據(jù)是否屬于同一類別。那么好，我們要做的就是將這些支持向量提取出來(lái)，并將其與新數(shù)據(jù)拼接在一起作為新的訓(xùn)練數(shù)據(jù)：

support_vector = svm.support_vectors_
# 拼接數(shù)據(jù)，將前一類別的支持向量與新數(shù)據(jù)結(jié)合
new_train_x = ?np.vstack([support_vector, X[data_each:2*data_each][:30]])

這里提前看一下支持向量，針對(duì)于第一個(gè)類別，支持向量有4個(gè)：

繼續(xù)訓(xùn)練，并測(cè)試：

# 構(gòu)建支持向量機(jī)分類器
svm = ?OneClassSVM(kernel='rbf', nu=0.1)
svm.fit(new_train_x)
# 在測(cè)試集上進(jìn)行預(yù)測(cè)，拼接之前的數(shù)據(jù)集
y_pred = svm.predict(np.vstack([X0[30:], ?X[data_each:2*data_each][30:]]))
print("ACC: ?", (y_pred == 1).sum() / ?len(y_pred))

測(cè)試結(jié)果：

再來(lái)看下新的支持向量：

可以看到，在第一次支持向量的基礎(chǔ)上，又增加了針對(duì)第二個(gè)類別的。同時(shí)根據(jù)測(cè)試精度，可以看出，通過(guò)添加第一次訓(xùn)練多得到的支持向量，而非將全體數(shù)據(jù)進(jìn)行二次訓(xùn)練，能夠達(dá)到同樣的效果。也驗(yàn)證了我們的猜測(cè)：支持向量本身其實(shí)就是數(shù)據(jù)集的代表，只將其作為訓(xùn)練樣本，完全能夠替代全部數(shù)據(jù)。并以此為基礎(chǔ)實(shí)現(xiàn)SVM模型的增量式訓(xùn)練。

審核編輯：黃飛

閱讀全文