機器學習之模型評估的方法總結

一、分類模型評估

1、混淆矩陣（confusion matrix）

TP(True Positive) —- 將正類預測為正類數(shù)
FN(False Negative) —- 將正類預測為負類數(shù)
FP(False Positive) —- 將負類預測為正類數(shù)
TN(True Negative) —- 將負類預測為負類數(shù)

精確率(Precision)：指的是所得數(shù)值與真實值之間的精確程度；預測正確的正例數(shù)占預測為正例總量的比率，一般情況下，精確率越高，說明模型的效果越好。
公式如下：

召回率(Recall )：預測對的正例數(shù)占真正的正例數(shù)的比率，一般情況下，Recall越高，說明有更多的正類樣本被模型預測正確，模型的效果越好。
公式如下：

False discovery rate (FDR)：錯誤發(fā)現(xiàn)率，表示在模型預測為正類的樣本中，真正的負類的樣本所占的比例。一般情況下，錯誤發(fā)現(xiàn)率越小，說明模型的效果越好。
公式如下：

False omission rate (FOR)：錯誤遺漏率，表示在模型預測為負類的樣本中，真正的正類所占的比例。即評價模型”遺漏”掉的正類的多少。一般情況下，錯誤遺漏率越小，模型的效果越好。
公式如下：

Negative predictive value (NPV)：陰性預測值，在模型預測為負類的樣本中，真正為負類的樣本所占的比例。 一般情況下，NPV越高，說明的模型的效果越好。
公式如下：

False positive rate (FPR), Fall-out：假正率，表示的是，預測為正例的負樣本數(shù)，占模型負類樣本數(shù)量的比值。一般情況下，假正類率越低，說明模型的效果越好。
公式如下：

False negative rate (FNR), Miss rate：假負類率，缺失率，模型預測為負類的樣本中，是正類的數(shù)量，占真實正類樣本的比值。缺失值越小，說明模型的效果越好。
公式如下：

True negative rate (TNR):一般情況下，真負類率越高，說明的模型的效果越好
公式如下：

F1是精確率和召回率的調和均值，即：

舉例：
如有150個樣本數(shù)據，這些數(shù)據分成3類，每類50個。分類結束后得到的混淆矩陣為：

每一行之和為50，表示50個樣本，第一行說明類1的50個樣本有43個分類正確，5個錯分為類2，2個錯分為類3。

混淆矩陣的每一列代表了預測類別，每一列的總數(shù)表示預測為該類別的數(shù)據的數(shù)目；每一行代表了數(shù)據的真實歸屬類別，每一行的數(shù)據總數(shù)表示該類別的數(shù)據實例的數(shù)目。每一列中的數(shù)值表示真實數(shù)據被預測為該類的數(shù)目：如下圖，第一行第一列中的43表示有43個實際歸屬第一類的實例被預測為第一類，同理，第二行第一列的2表示有2個實際歸屬為第二類的實例被錯誤預測為第一類。