机器学习中分类问题的模型评价指标

适用于二分类问题的评价指标：Accuracy、Precision、Recall、F-measure、 G-mean、AUC、MCC。下面以缺陷预测为例，进行描述。

混淆矩阵是评价分类模型好坏的展示工具,具体见表 1。矩阵的每一行表示 实例的真实情况,矩阵的每一列表示预测模型预测的实例情况。矩阵元素的具体含义分别是: True Positive(TP):表示实例的真实类别是有缺陷模块,预测模型的预测结果也是有缺陷模块. False Negative(FN):表示实例的真实类别是有缺陷模块，预测模型的预测结果是无缺陷模块。False Positive(FP):表示实例的真实类别是无缺陷模块，预测模型的预测结果是有缺陷模块. True Negative(TN):表示实例的真实类别是无缺陷模块,预测模型的预测结果是无缺陷模块。

(1) Accuracy:表示预测模型的精确度,是预测模型预测正确的个数与数据集中实例总个数的比值.公式为

在软件缺陷预测中,精确度表示被正确分类的软件模块的比例,但是,这个度量指标有些含糊不清,没有说 明有/无缺陷的错误分类的信息.

(2) Precision:表示查准率,是预测模型预测为有缺陷实例中真实类别为有缺陷所占的比例.公式为

 缺陷预测中的精确度表示了正确分类的缺陷模块与预测为有缺陷模块的比例,一般情况下,Precision 越高, 说明预测模型的效果越好.

(3) Recall:表示召回率,是预测模型预测为有缺陷的实例的数量占真实有缺陷的实例数的比例.公式为

 Recall 对软件缺陷预测非常重要,越早地找到有缺陷的特别是高危的模块,对软件越好.一般情况下,Recall 越高,说明有更多的有缺陷的模块被模型预测正确,预测模型的效果越好,但是,较高的召回率往往是以降低精 确度为代价的.

(4) F-measure:是一个综合评价指标,提供了召回率和精确度之间的权衡,具体公式如下:

(5) G-mean:几何平均数,能够评价类不平衡数据的表现.对于软件缺陷数据来说,有缺陷的模块占少数,无缺 陷的模块占多数,所以有类不平衡的问题.公式如下:

 (6) AUC:表示 ROC 曲线下的面积.ROC 曲线叫作接受者工作特征曲线,其横坐标为假阳性率,纵坐标为 Recall.一般情况下,AUC 值越大,说明缺陷预测模型的性能越好.

 (7) MCC(Matthews correlation coefficient):表示实际分类与预测分类之间的相关系数.该指标同时考虑了 TP、FN、FP 及 TN,是一个相对均衡的指标,能够评价类不平衡数据的表现.公式如下:

文章知识点与官方知识档案匹配，可进一步学习相关知识OpenCV技能树首页概览11229 人正在系统学习中