機(jī)器學(xué)習(xí)模型評(píng)估指標(biāo)

機(jī)器學(xué)習(xí)模型指標(biāo)

在機(jī)器學(xué)習(xí)建模過(guò)程中，針對(duì)不同的問(wèn)題，需采用不同的模型評(píng)估指標(biāo)。

主要分為兩大類：分類、回歸。

1分類問(wèn)題評(píng)估指標(biāo)

? 混淆矩陣

真陽(yáng)(True Positive，TP)：被模型預(yù)測(cè)為正的正樣本。

假陽(yáng)(False Positive，F(xiàn)P)：被模型預(yù)測(cè)為正的負(fù)樣本。

假陰(False Negative，F(xiàn)N)：被模型預(yù)測(cè)為負(fù)的正樣本。

真陰(True Negative，TN)：被模型預(yù)測(cè)為負(fù)的負(fù)樣本。

真陽(yáng)率(True Positive Rate，TPR)或靈敏度(sensitivity)

TPR

=TP/(TP+FN)

===> 正樣本預(yù)測(cè)結(jié)果數(shù)/正樣本實(shí)際數(shù)

真陰率(True Negative Rate，TNR)或特指度/特異度(specificity)

TNR

= TN/(TN+FP)

===> 負(fù)樣本預(yù)測(cè)結(jié)果數(shù)/負(fù)樣本實(shí)際數(shù)

假陽(yáng)率(False Positive Rate，F(xiàn)PR)

FPR

= FP/(FP+TN)

===> 被預(yù)測(cè)為正的負(fù)樣本結(jié)果數(shù)/負(fù)樣本實(shí)際數(shù)

假陰率(False Negative Rate，F(xiàn)NR)

FNR

= FN/(TP+FN)

===> 被預(yù)測(cè)為負(fù)的正樣本結(jié)果數(shù)/正樣本實(shí)際數(shù)

? 準(zhǔn)確率 – Accuracy

o 準(zhǔn)確率，是最常用的分類性能指標(biāo)。

Accuracy

= (TP+TN)/(TP+FN+FP+TN)

即正確預(yù)測(cè)的正反例數(shù)/總數(shù)

? 精確率(查準(zhǔn)率)- Precision

o 只針對(duì)預(yù)測(cè)正確的正樣本，表現(xiàn)為預(yù)測(cè)為正的里面有多少真正是正的?？衫斫鉃椴闇?zhǔn)率。

Precision

= TP/(TP+FP)

即正確預(yù)測(cè)的正例數(shù)/實(shí)際正例總數(shù)

? 召回率(查全率)- Recall

o 召回率表現(xiàn)出在實(shí)際正樣本中，分類器能預(yù)測(cè)出多少。與真正率相等，可理解為查全率。

Recall

= TP/(TP+FN)

即正確預(yù)測(cè)的正例數(shù)/實(shí)際正例總數(shù)

? ROC曲線

o ROC(Receiver Operating Characteristic)曲線，又稱接受者操作特征曲線。ROC曲線的橫軸為False Positive Rate，也叫偽陽(yáng)率(FPR)，即預(yù)測(cè)錯(cuò)誤且實(shí)際分類為負(fù)的數(shù)量與所有負(fù)樣本數(shù)量的比例，縱軸為True Positive Rate，也叫真陽(yáng)率(TPR)，即預(yù)測(cè)正確且實(shí)際分類為正的數(shù)量與所有正樣本的數(shù)量的比例。

? AUC

o AUC的全稱是(Area Under ROC Curve)，也就是ROC曲線下方的面積，AUC的范圍是0到1，AUC越大，代表模型的性能越好。

2分類問(wèn)題評(píng)估指標(biāo)

? MAE(Mean Absolute Error)平均絕對(duì)誤差

o 平均絕對(duì)誤差(Mean Absolute Error，MAE)，也稱為L(zhǎng)1損失，是最簡(jiǎn)單的損失函數(shù)之一，也是一種易于理解的評(píng)估指標(biāo)。它是通過(guò)取預(yù)測(cè)值和實(shí)際值之間的絕對(duì)差值并在整個(gè)數(shù)據(jù)集中取平均值來(lái)計(jì)算的。從數(shù)學(xué)上講，它是絕對(duì)誤差的算術(shù)平均值。MAE僅測(cè)量誤差的大小，不關(guān)心它們的方向。MAE越低，模型的準(zhǔn)確性就越高。

? MSE(Mean Squared Error)均方誤差

o 均方誤差也稱為L(zhǎng)2損失，MSE通過(guò)將預(yù)測(cè)值和實(shí)際值之間的差平方并在整個(gè)數(shù)據(jù)集中對(duì)其進(jìn)行平均來(lái)計(jì)算誤差。MSE也稱為二次損失，因?yàn)閼土P與誤差不成正比，而是與誤差的平方成正比。平方誤差為異常值賦予更高的權(quán)重，從而為小誤差產(chǎn)生平滑的梯度。MSE永遠(yuǎn)不會(huì)是負(fù)數(shù)，因?yàn)檎`差是平方的。誤差值范圍從零到無(wú)窮大。MSE隨著誤差的增加呈指數(shù)增長(zhǎng)。一個(gè)好的模型的MSE值接近于零。

? RMSE(Root Mean Squared Error)均方根誤差

o RMSE是通過(guò)取MSE的平方根來(lái)計(jì)算的。RMSE也稱為均方根偏差。它測(cè)量誤差的平均幅度，并關(guān)注與實(shí)際值的偏差。RMSE值為零表示模型具有完美擬合。RMSE越低，模型及其預(yù)測(cè)就越好。

? NRMSE(Normalized Root Mean Squared Error)歸一化均方根誤差

o 歸一化RMSE通常通過(guò)除以一個(gè)標(biāo)量值來(lái)計(jì)算，它可以有不同的方式。有時(shí)選擇四分位數(shù)范圍可能是最好的選擇，因?yàn)槠渌椒ㄈ菀壮霈F(xiàn)異常值。當(dāng)您想要比較不同因變量的模型或修改因變量時(shí)，NRMSE是一個(gè)很好的度量。它克服了尺度依賴性，簡(jiǎn)化了不同尺度模型甚至數(shù)據(jù)集之間的比較。

審核編輯：湯梓紅