機器學習模型指標

在機器學習建模過程中，針對不同的問題，需采用不同的模型評估指標。

主要分為兩大類：分類、回歸。

1分類問題評估指標

? 混淆矩陣

真陽(True Positive，TP)：被模型預測為正的正樣本。

假陽(False Positive，FP)：被模型預測為正的負樣本。

假陰(False Negative，FN)：被模型預測為負的正樣本。

真陰(True Negative，TN)：被模型預測為負的負樣本。

真陽率(True Positive Rate，TPR)或靈敏度(sensitivity)

TPR

=TP/(TP+FN)

===> 正樣本預測結果數/正樣本實際數

真陰率(True Negative Rate，TNR)或特指度/特異度(specificity)

TNR

= TN/(TN+FP)

===> 負樣本預測結果數/負樣本實際數

假陽率(False Positive Rate，FPR)

FPR

= FP/(FP+TN)

===> 被預測為正的負樣本結果數/負樣本實際數

假陰率(False Negative Rate，FNR)

FNR

= FN/(TP+FN)

===> 被預測為負的正樣本結果數/正樣本實際數

? 準確率 – Accuracy

o 準確率，是最常用的分類性能指標。

Accuracy

= (TP+TN)/(TP+FN+FP+TN)

即正確預測的正反例數/總數

? 精確率(查準率)- Precision

o 只針對預測正確的正樣本，表現為預測為正的里面有多少真正是正的。可理解為查準率。

Precision

= TP/(TP+FP)

即正確預測的正例數/實際正例總數

? 召回率(查全率)- Recall

o 召回率表現出在實際正樣本中，分類器能預測出多少。與真正率相等，可理解為查全率。

Recall

= TP/(TP+FN)

即正確預測的正例數/實際正例總數

? ROC曲線

o ROC(Receiver Operating Characteristic)曲線，又稱接受者操作特征曲線。ROC曲線的橫軸為False Positive Rate，也叫偽陽率(FPR)，即預測錯誤且實際分類為負的數量與所有負樣本數量的比例，縱軸為True Positive Rate，也叫真陽率(TPR)，即預測正確且實際分類為正的數量與所有正樣本的數量的比例。

? AUC

o AUC的全稱是(Area Under ROC Curve)，也就是ROC曲線下方的面積，AUC的范圍是0到1，AUC越大，代表模型的性能越好。

2分類問題評估指標

? MAE(Mean Absolute Error)平均絕對誤差

o 平均絕對誤差(Mean Absolute Error，MAE)，也稱為L1損失，是最簡單的損失函數之一，也是一種易于理解的評估指標。它是通過取預測值和實際值之間的絕對差值并在整個數據集中取平均值來計算的。從數學上講，它是絕對誤差的算術平均值。MAE僅測量誤差的大小，不關心它們的方向。MAE越低，模型的準確性就越高。

? MSE(Mean Squared Error)均方誤差

o 均方誤差也稱為L2損失，MSE通過將預測值和實際值之間的差平方并在整個數據集中對其進行平均來計算誤差。MSE也稱為二次損失，因為懲罰與誤差不成正比，而是與誤差的平方成正比。平方誤差為異常值賦予更高的權重，從而為小誤差產生平滑的梯度。MSE永遠不會是負數，因為誤差是平方的。誤差值范圍從零到無窮大。MSE隨著誤差的增加呈指數增長。一個好的模型的MSE值接近于零。

? RMSE(Root Mean Squared Error)均方根誤差

o RMSE是通過取MSE的平方根來計算的。RMSE也稱為均方根偏差。它測量誤差的平均幅度，并關注與實際值的偏差。RMSE值為零表示模型具有完美擬合。RMSE越低，模型及其預測就越好。

? NRMSE(Normalized Root Mean Squared Error)歸一化均方根誤差

o 歸一化RMSE通常通過除以一個標量值來計算，它可以有不同的方式。有時選擇四分位數范圍可能是最好的選擇，因為其他方法容易出現異常值。當您想要比較不同因變量的模型或修改因變量時，NRMSE是一個很好的度量。它克服了尺度依賴性，簡化了不同尺度模型甚至數據集之間的比較。

審核編輯：湯梓紅