支持向量機(jī)尋找最優(yōu)分類(lèi)超平面的優(yōu)化問(wèn)題

根據(jù)，在線性可分情況下，支持向量機(jī)尋找最優(yōu)分類(lèi)超平面的優(yōu)化問(wèn)題可以表示為：

最小化：1/2||ω||2，

限制條件：yi(ωTXi+b)≥1，i=1~N。

求解上述最優(yōu)化問(wèn)題，可得出一組ω和b的值，使得ωTx+b=0所表示的超平面為最優(yōu)分類(lèi)超平面。

但在訓(xùn)練樣本是線性不可分的情況下，上述最優(yōu)化問(wèn)題不存在合適的解（個(gè)人理解：不存在合適的解的原因是上述最優(yōu)化問(wèn)題的本質(zhì)是求解最優(yōu)分類(lèi)超平面，最優(yōu)分類(lèi)超平面應(yīng)滿足可將訓(xùn)練數(shù)據(jù)完全分為兩類(lèi)的條件，但在訓(xùn)練樣本是線性不可分的情況，不存在滿足上述條件的超平面）。

因此，尋找線性不可分的訓(xùn)練樣本的最優(yōu)超平面時(shí)，需將上述優(yōu)化問(wèn)題的限制條件放松。放松限制條件的方式是引入松弛變量δi（slack variable），將上述優(yōu)化問(wèn)題的限制條件改寫(xiě)為：

yi(ωTXi+b)≥1-δi，i=1~N

在線性不可分的情況下，訓(xùn)練樣本的數(shù)據(jù)無(wú)法滿足均yi(ωTXi+b)≥1，但可通過(guò)調(diào)整δi的值使所有訓(xùn)練數(shù)據(jù)均滿足yi(ωTXi+b)≥1-δi。同時(shí)，為使分類(lèi)的準(zhǔn)確性盡可能高，δi的值也需被限定。

根據(jù)上述思路，在線性不可分的情況下，支持向量機(jī)尋找最優(yōu)分類(lèi)超平面的優(yōu)化問(wèn)題可以表示為：

最小化：1/2||ω||2+C∑δi或1/2||ω||2+C∑δi2，

限制條件：（1）δi≥0，i=1~N；（2）yi(ωTXi+b)≥1-δi，i=1~N。

其中，最小化1/2||ω||2+C∑δi或1/2||ω||2+C∑δi2使δi的取值盡可能小，C為比例因子，C的值需人為設(shè)定。算法中需人為設(shè)定的參數(shù)被稱(chēng)為算法的超參數(shù)（hyper parameter）。

在實(shí)際應(yīng)用中，開(kāi)發(fā)人員會(huì)不斷被變化超參數(shù)值，并測(cè)試各種超參數(shù)算法的識(shí)別率，以選取使算法識(shí)別率達(dá)至最高的超參數(shù)值。

如果一個(gè)算法的超參數(shù)越多，該算法需手動(dòng)調(diào)整的部分越多，其自動(dòng)性越低，支持向量機(jī)是超參數(shù)較少的算法模型，超參數(shù)較多的算法模型包括：人工神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)（根據(jù)百度百科：卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的代表算法之一）等。

盡管在線性不可分的情況下，機(jī)器學(xué)習(xí)可以通過(guò)使1/2||ω||2+C∑δi或1/2||ω||2+C∑δi2最小化尋找最優(yōu)分類(lèi)超平面，但該方法的分類(lèi)準(zhǔn)確率不一定較高。

如圖一所示，圖一中的直線為機(jī)器學(xué)習(xí)通過(guò)支持向量機(jī)尋找最優(yōu)分類(lèi)超平面，但該直線對(duì)圖一中圓圈和叉的分類(lèi)的準(zhǔn)確率與隨機(jī)猜測(cè)的準(zhǔn)確率差異不大。

?

圖一，圖片來(lái)源：中國(guó)慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

此情況出現(xiàn)的原因是通過(guò)使1/2||ω||2+C∑δi或1/2||ω||2+C∑δi2最小化尋找最優(yōu)分類(lèi)超平面的算法模型是線性的，即假設(shè)算法模型的分類(lèi)函數(shù)是線性的。因此，該算法模型對(duì)分類(lèi)函數(shù)為非線性函數(shù)的訓(xùn)練樣本進(jìn)行分類(lèi)時(shí)，將出現(xiàn)分類(lèi)錯(cuò)誤的情況。

當(dāng)訓(xùn)練樣本的非線性分類(lèi)函數(shù)與線性函數(shù)差異較大時(shí)，分類(lèi)錯(cuò)誤的情況出現(xiàn)的概率將較大，可能出現(xiàn)分類(lèi)的準(zhǔn)確率與隨機(jī)猜測(cè)的準(zhǔn)確率差異不大的情況。

審核編輯：劉清