支持向量機（核函數(shù)的定義）

根據(jù)機器學(xué)習(xí)相關(guān)介紹（10）——支持向量機（低維到高維的映射），支持向量機可通過引入φ(x)函數(shù)，將低維線性不可分問題轉(zhuǎn)換為高維線性可分問題。轉(zhuǎn)換后支持向量機的優(yōu)化問題可改寫為：

最小化：1/2||ω||2+C∑δi或1/2||ω||2+C∑δi2，

限制條件：（1）δi≥0，i=1~N；（2）yi(ωTφ(Xi)+b)≥1-δi，i=1~N。

欲求解上述優(yōu)化問題，需先知道φ(x)的形式。

但支持向量機的創(chuàng)始人Vladimir Vapnik提出結(jié)論：完成測試樣本的類別預(yù)測不必須知道φ(x)的具體形式，如果對任意兩個向量X1、X2已知：

K(X1，X2)=φ(X1)Tφ(X2)

則仍可以完成測試樣本的類別預(yù)測（具體如何完成在下篇文章中敘述）。

上式中K(X1，X2)被定義為核函數(shù)（Kernel Function），核函數(shù)是一個實數(shù)（上式中φ(X1)Tφ(X2)為兩個維度相同的行向量和列向量相乘的形式，其結(jié)果為一個實數(shù)）。

上述結(jié)論成立的一個必要條件是核函數(shù)K與低維到高維映射φ(x)具有一一對應(yīng)的關(guān)系，即只有核函數(shù)K與映射φ(x)一一對應(yīng)關(guān)系，核函數(shù)K才能代替φ(x)完成測試樣本的類別預(yù)測。

一般情況下，核函數(shù)K與映射φ(x)具有一一對應(yīng)關(guān)系，下文以兩個案例說明核函數(shù)K與映射φ(x)的一一對應(yīng)關(guān)系。

案例一：

假設(shè)：φ(x)是一個將二維向量映射為三維向量的映射，其中，二維向量X=[x1，x2]T，映射φ(x)=φ([x1，x2]T)=[x12，x1x2，x22]；

再假設(shè)：X1=[x11，x12]T，X2=[x21，x22]T；

則φ(X1)=[x112，x11x12，x122]，φ(X2)=[x212，x21x22，x222]；

若核函數(shù)K(X1，X2)=φ(X1)Tφ(X2)，則K(X1，X2)=[x112，x11x12，x122][x212，x21x22，x222]T=x112x212+x11x12x21x22+x122x222。

案例二：

假設(shè)：K(X1，X2)

=(x11x21+x12x22+1)2

=x112x212+x122x222+2x11x12x21x22+2x11x21+2x12x22

=φ(X1)Tφ(X2)；

再假設(shè)：X=[x1，x2]T；

則φ(x)=φ([x1，x2]T)=[x12，x22，1，√2x1x2，√2x1，√2x2]T（該式中√代表根號，該式推導(dǎo)過程暫不知，若將X1=[x11，x12]T，X2=[x21，x22]T代入該式，再通過φ(X1)Tφ(X2)=K(X1，X2)，可反推導(dǎo)出案例二中的核函數(shù)），φ(x)中各維度值可相互交換順序。

但當(dāng)核函數(shù)不能轉(zhuǎn)化為兩個φ(x)內(nèi)積形式時，核函數(shù)與映射φ(x)不具有一一對應(yīng)關(guān)系。因此，核函數(shù)需可以轉(zhuǎn)化為兩個φ(x)內(nèi)積形式。

K(X1，X2)可轉(zhuǎn)化為φ(X1)Tφ(X2)（即可轉(zhuǎn)化為兩個φ(x)內(nèi)積形式）的充要條件：

（1）K(X1，X2)=K(X2，X1)（即核函數(shù)具有交換性）

（2）對于任意的Ci（i=1~N）和任意的N，有：

即核函數(shù)K具有半正定性。

審核編輯：劉清