关于机器学习评价指标AUC，召回率，准确率（ACC），MRR的白话讲解

准确率&＃xff08;ACC&＃xff09;

指在分类中&＃xff0c;使用测试集对模型进行分类&＃xff0c;分类正确的记录个数占总记录个数的比例&＃xff0c;计算公式如下所示&＃xff1a;

其中&＃xff0c;代表分类正确的记录个数&＃xff0c;代表全部测试数据的个数

ROC曲线下方的面积大小&＃xff08;AUC&＃xff09;

AUC&＃xff08;Area Under Curve&＃xff09;[3]被定义为ROC曲线下的面积&＃xff0c;使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好&＃xff0c;而作为一个数值&＃xff0c;对应AUC更大的分类器效果更好。

对于ROC曲线是基于样本类别和预测概率,具体来说,ROC曲线的x轴为伪阳性率&＃xff0c;y轴是真阳性率。对于二分类问题,一个样本的有0&＃xff0c;1两种类别,即阴性和阳性&＃xff0c;为我们使用分类器进行预测时&＃xff0c;有如表1所示四种可能性&＃xff1a;

表1 混淆矩阵

即&＃xff1a;

TP: 预测为正&＃xff0c;实际为正

TN: 预测为负&＃xff0c;实际为负

FP:预测为正&＃xff0c;实际为负

FN: 预测为负&＃xff0c;实际为正

召回率&＃xff08;TPR&＃xff09;

其意义为所有实际类别为1的样本&＃xff0c;预测类别为1的比例

以x轴为FPR&＃xff0c;y轴为TPR&＃xff0c;建立ROC曲线&＃xff0c;该曲线下的面积即为AUC&＃xff0c;其意义为随机挑选一个正样本以及一个负样本&＃xff0c;分类器判断正样本的值高于负样本的值的概率&＃xff0c;AUC越接近1&＃xff0c;正确率越高。

MRR&＃xff08;Mean reciprocal rank&＃xff09;

是一个国际上通用的对搜索算法进行评价的机制&＃xff0c;即第一个结果匹配&＃xff0c;分数为1&＃xff0c;第二个匹配分数为0.5&＃xff0c;第n个匹配分数为1/n&＃xff0c;如果没有匹配的句子分数为0。最终的分数为所有得分之和。其计算公式如下所示&＃xff1a;

其中&＃xff0c;n 为测试集所有答案的数量 ,  为第 i 个问题的第一个正确答案的位置。