機器學習之理解支持向量機SVM

平時都是直接使用現(xiàn)成的libsvm，雖然對于SVM原理理解有一定的難度，但是仍然試著知其然，亦知其所以然。本文主要是SVM的概念性的分享。

基本概念

支持向量機（Support Vector Machine，SVM）是Corinna Cortes和Vapnik等于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應用到函數(shù)擬合等其他機器學習問題中。

支持向量機，其含義是通過支持向量運算的分類器。其中“機”的意思是機器，可以理解為分類器。

什么是支持向量呢？在求解的過程中，會發(fā)現(xiàn)只根據(jù)部分數(shù)據(jù)就可以確定分類器，這些數(shù)據(jù)稱為支持向量。

見下圖，在一個二維環(huán)境中，其中點R，S，G點和其它靠近中間黑線的點可以看作為支持向量，它們可以決定分類器，也就是黑線的具體參數(shù)。

支持向量機（Support vector machines，SVM）與神經(jīng)網(wǎng)絡(luò)類似，都是學習型的機制，但與神經(jīng)網(wǎng)絡(luò)不同的是SVM使用的是數(shù)學方法和優(yōu)化技術(shù)。

為了更好的理解SVM，下面從logistic回歸出發(fā)，引出了SVM，既揭示了模型間的聯(lián)系，也讓人覺得過渡更自然。

重新審視logistic回歸

Logistic回歸目的是從特征學習出一個0/1分類模型，而這個模型是將特性的線性組合作為自變量，由于自變量的取值范圍是負無窮到正無窮。因此，使用logistic函數(shù)（或稱作sigmoid函數(shù)）將自變量映射到（0，1）上，映射后的值被認為是屬于y=1的概率。

形式化表示就是

假設(shè)函數(shù)

其中x是n維特征向量，函數(shù)g就是logistic函數(shù)。

那么g（z）的圖像是

可以看到，將無窮映射到了（0，1）。

而假設(shè)函數(shù)就是特征屬于y=1的概率。

當我們要判別一個新來的特征屬于哪個類時，只需求hθ（x），若大于0.5就是y=1的類，反之屬于y=0類。

再審視一下hθ（x），發(fā)現(xiàn)hθ（x）只和θT有關(guān)，θT（x）》0，那么hθ（x）》0.5，g（z）只不過是用來映射，真實的類別決定權(quán)還在θT（x）。還有當時θT（x）≥0，hθ（x）=1，反之hθ（x）=0。如果我們只從θT（x）出發(fā)，希望模型達到的目標無非就是讓訓練數(shù)據(jù)中y=1的特征θT（x）≥0，而是y=0的特征θT（x）≤0。Logistic回歸就是要學習得到θ，使得正例的特征遠大于0，負例的特征遠小于0，強調(diào)在全部訓練實例上達到這個目標。

圖形化表示如下：

中間那條線是θT（x），logistic回顧強調(diào)所有點盡可能地遠離中間那條線。學習出的結(jié)果也就中間那條線?？紤]上面3個點A、B和C。從圖中我們可以確定A是×類別的，然而C我們是不太確定的，B還算能夠確定。這樣我們可以得出結(jié)論，我們更應該關(guān)心靠近中間分割線的點，讓他們盡可能地遠離中間線，而不是在所有點上達到最優(yōu)。因為那樣的話，要使得一部分點靠近中間線來換取另外一部分點更加遠離中間線。我想這就是支持向量機的思路和logistic回歸的不同點，一個考慮局部（不關(guān)心已經(jīng)確定遠離的點），一個考慮全局（已經(jīng)遠離的點可能通過調(diào)整中間線使其能夠更加遠離）。這是我的個人直觀理解。

形式化表示

函數(shù)間隔（functional margin）和幾何間隔（geometric margin）

剛剛我們定義的函數(shù)間隔是針對某一個樣本的，現(xiàn)在我們定義全局樣本上的函數(shù)間隔

說白了就是在訓練樣本上分類正例和負例確信度最小那個函數(shù)間隔。

接下來定義幾何間隔，先看圖

最優(yōu)間隔分類器（optimal margin classifier）

回想前面我們提到我們的目標是尋找一個超平面，使得離超平面比較近的點能有更大的間距。也就是我們不考慮所有的點都必須遠離超平面，我們關(guān)心求得的超平面能夠讓所有點中離它最近的點具有最大間距。形象的說，我們將上面的圖看作是一張紙，我們要找一條折線，按照這條折線折疊后，離折線最近的點的間距比其他折線都要大。形式化表示為：

這里用||w||=1規(guī)約w，使得是wTx+bi（因沒法輸入公式，寫成這樣子了）幾何間隔。

到此，我們已經(jīng)將模型定義出來了。如果求得了w和b，那么來一個特征x，我們就能夠分類了，稱為最優(yōu)間隔分類器。接下的問題就是如何求解w和b的問題了。

由于||w||=1不是凸函數(shù)，我們想先處理轉(zhuǎn)化一下，考慮幾何間隔和函數(shù)間隔的關(guān)系，公式：

我們改寫為：

這時候其實我們求的最大值仍然是幾何間隔，只不過此時的w不受||w||=1的約束了。然而這個時候目標函數(shù)仍然不是凸函數(shù)，沒法直接代入優(yōu)化軟件里計算。我們還要改寫。前面說到同時擴大w和b對結(jié)果沒有影響，但我們最后要求的仍然是w和b的確定值，不是他們的一組倍數(shù)值。

這下好了，只有線性約束了，而且是個典型的二次規(guī)劃問題（目標函數(shù)是自變量的二次函數(shù)）。代入優(yōu)化軟件可解。到這里發(fā)現(xiàn)，雖然沒有先畫好圖，畫好分類超平面，在圖上標示出間隔那么直觀，但每一步推導有理有據(jù)，依靠思路的流暢性來推導出目標函數(shù)和約束。