Vladimir Vapnik創(chuàng)立支持向量機(jī)

在Vladimir Vapnik創(chuàng)立支持向量機(jī)前，已有如下結(jié)論：在二分類情況中，如果一個(gè)數(shù)據(jù)集線性可分，即存在一個(gè)超平面可將兩個(gè)類別完全分開，那么一定存在無數(shù)個(gè)超平面將這兩個(gè)類別完全分開。

在特征空間為二維平面時(shí)，分類訓(xùn)練數(shù)據(jù)的超平面的具體圖形為直線，下文介紹在無數(shù)個(gè)此類直線中選擇可使分類效果最優(yōu)的直線。

一、直觀感覺分類效果最優(yōu)的直線

如圖一左圖所示，有三條直線可將圖一左圖中的圓圈和叉分為兩類，該三條直線分別為1號(hào)線、2號(hào)線、3號(hào)線。在選擇可使圓圈和叉分類效果最優(yōu)的直線（下文簡(jiǎn)稱“最優(yōu)分類直線”）時(shí)，可能多數(shù)人會(huì)選擇2號(hào)線。但根據(jù)免費(fèi)午餐定理，在未假設(shè)訓(xùn)練數(shù)據(jù)的先驗(yàn)分布的情況下，三條直線對(duì)于圓圈和叉分類效果相同。人的直觀感覺似乎和免費(fèi)午餐定理產(chǎn)生矛盾。

其實(shí)，似乎矛盾的原因是人們?cè)谶x擇最優(yōu)分類直線時(shí)，已對(duì)訓(xùn)練樣本的先驗(yàn)分布做出假設(shè)。例如，多數(shù)人選擇2號(hào)線為最優(yōu)分類直線可能的假設(shè)為訓(xùn)練樣本的位置在空間中具有測(cè)量誤差（選擇2號(hào)線為最優(yōu)分類直線的先驗(yàn)分布假設(shè)不唯一）。

如圖一右圖所示，如果紅色實(shí)線圓圈的位置分布具有測(cè)量誤差，其實(shí)際位置處于虛線圓圈位置，那么1號(hào)線的分類效果不如2號(hào)線的分類效果；如果紅色叉的位置分布具有測(cè)量誤差，其實(shí)際位置處于虛線圓圈位置，那么3號(hào)線的分類效果不如2號(hào)線的分類效果，即2號(hào)線更可抵御訓(xùn)練樣本誤差，因此，在訓(xùn)練樣本的位置在空間中具有測(cè)量誤差的先驗(yàn)假設(shè)下，2號(hào)線為最優(yōu)分類直線。





圖一，圖片來源：中國(guó)慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

二、尋找最優(yōu)分類直線

Vladimir Vapnik基于最優(yōu)化理論，對(duì)尋找最優(yōu)分類直線的回答如下：任意一條可將圓圈和叉完全分類的直線向一側(cè)平行移動(dòng)，直至其穿過一側(cè)一個(gè)或幾個(gè)訓(xùn)練樣本；再向另一側(cè)平行移動(dòng)，直至其穿過另一側(cè)一個(gè)或幾個(gè)訓(xùn)練樣本。如圖二所示，定義被穿過的數(shù)據(jù)（圖二中的紅圓圈和叉）為支持向量（Support Vector），定義穿過圓圈和叉的直線間的距離為間隔，則最優(yōu)分類直線為間隔最大的直線。



圖二，圖片來源：中國(guó)慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

根據(jù)Vladimir Vapnik的回答，因?yàn)榍拔乃鰡栴}中的2號(hào)線的間隔最大，所以2號(hào)線為最優(yōu)分類直線。



圖片來源：中國(guó)慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

但僅根據(jù)間隔最大不能得出唯一的最優(yōu)分類直線，例如，前文所述問題中，所有與2號(hào)線平行的線均為間隔最大的直線。因此，為可得出唯一直線，最優(yōu)分類直線被限定處于穿過兩側(cè)支持向量的兩條直線中間的直線，即最優(yōu)直線與兩側(cè)支持向量的距離相等。

綜上，支持向量機(jī)尋找的最優(yōu)分類直線應(yīng)滿足：

（1）該直線可將訓(xùn)練數(shù)據(jù)完全分為兩類。

（2）該直線可最大化間隔。

（3）該直線處于間隔的中間，其與所有支持向量的距離相等。

審核編輯：劉清