- 機(jī)器學(xué)習(xí)之模型評估的方法總結(jié)

第二種方法：根據(jù)AUC的物理意義,我們計(jì)算正樣本score大于負(fù)樣本的score的概率。取N*M(N為正樣本數(shù),M為負(fù)樣本數(shù))個(gè)二元組,比較score,最后得到AUC。時(shí)間復(fù)雜度為O(N*M)。

第三種方法：與第二種方法相似,直接計(jì)算正樣本score大于負(fù)樣本的概率。我們首先把所有樣本按照score排序,依次用rank表示他們,如最大score的樣本,rank=n(n=N+M),其次為n-1。那么對于正樣本中rank最大的樣本,rank_max,有M-1個(gè)其他正樣本比他score小,那么就有(rank_max-1)-(M-1)個(gè)負(fù)樣本比他score小。其次為(rank_second-1)-(M-2)。最后我們得到正樣本大于負(fù)樣本的概率為 ，時(shí)間復(fù)雜度為O(N+M)。

總結(jié)：

AUC（Area Under Curve） 被定義為 ROC 曲線下的面積， 顯然這個(gè)面積的數(shù)值不會大于 1。 又由于 ROC 曲線一般都處于 y=x 這條直線的上方， 所以 AUC 的取值范圍在 0.5 和 1 之間。 使用 AUC 值作為評價(jià)標(biāo)準(zhǔn)是因?yàn)楹芏鄷r(shí)候 ROC 曲線并不能清晰的說明哪個(gè)分類器的效果更好， 而作為一個(gè)數(shù)值， 對應(yīng) AUC 更大的分類器效果更好。

首先 AUC 值是一個(gè)概率值， 當(dāng)你隨機(jī)挑選一個(gè)正樣本以及一個(gè)負(fù)樣本， 當(dāng)前的分類算法根據(jù)計(jì)算得到的 Score 值將這個(gè)正樣本排在負(fù)樣本前面的概率就是 AUC 值。 當(dāng)然， AUC 值越大， 當(dāng)前的分類算法越有可能將正樣本排在負(fù)樣本前面， 即能夠更好的分類。

二、回歸模型評估

1、SSE(和方差)

SSE(和方差、誤差平方和)：The sum of squares due to error
該統(tǒng)計(jì)參數(shù)計(jì)算的是擬合數(shù)據(jù)和原始數(shù)據(jù)對應(yīng)點(diǎn)的誤差的平方和，計(jì)算公式如下：

2、MSE(均方差)

MSE(均方差、方差)：Mean squared error
該統(tǒng)計(jì)參數(shù)是預(yù)測數(shù)據(jù)和原始數(shù)據(jù)對應(yīng)點(diǎn)誤差的平方和的均值，也就是SSE/n，和SSE沒有太大的區(qū)別，計(jì)算公式如下：

3、RMSE(均方根、標(biāo)準(zhǔn)差)

RMSE(均方根、標(biāo)準(zhǔn)差)：Root mean squared error，其又被稱為RMSD（root mean square deviation），其定義如下：

其中，y 是第個(gè)樣本的真實(shí)值，^y是第個(gè)樣本的預(yù)測值，n 是樣本的個(gè)數(shù)。該評價(jià)指標(biāo)使用的便是歐式距離。
RMSE雖然廣為使用，但是其存在一些缺點(diǎn)，因?yàn)樗鞘褂闷骄`差，而平均值對異常點(diǎn)（outliers）較敏感，如果回歸器對某個(gè)點(diǎn)的回歸值很不理性，那么它的誤差則較大，從而會對RMSE的值有較大影響，即平均值是非魯棒的。

4、R-Squared(確定系數(shù))

在講確定系數(shù)之前，我們需要介紹另外兩個(gè)參數(shù)SSR和SST，因?yàn)榇_定系數(shù)就是由它們兩個(gè)決定的
(1)SSR：Sum of squares of the regression，即預(yù)測數(shù)據(jù)與原始數(shù)據(jù)均值之差的平方和，公式如下:

(2)SST：Total sum of squares，即原始數(shù)據(jù)和均值之差的平方和，公式如下:

細(xì)心的網(wǎng)友會發(fā)現(xiàn)，SST=SSE+SSR，呵呵只是一個(gè)有趣的問題。而我們的“確定系數(shù)”是定義為SSR和SST的比值，故

其實(shí)“確定系數(shù)”是通過數(shù)據(jù)的變化來表征一個(gè)擬合的好壞。由上面的表達(dá)式可以知道“確定系數(shù)”的正常取值范圍為[0 1]，越接近1，表明方程的變量對y的解釋能力越強(qiáng)，這個(gè)模型對數(shù)據(jù)擬合的也較好

5、MAE(平均絕對誤差)