评估指标：混淆矩阵、PR 、mAP 、ROC 、AUC ⽂章⽬录
TP 、TN 、FP 、FN TP，即 True Positive，预测为正样本，实际也为正样本的特征数。TN，即 True Negative，预测为负样本，实际也为负样本的特征数。FP，即 False Positive，预测为正样本，实际为负样本的特征数。 现代优化计算方法FN，即 False Negative，预测为负样本，实际为正样本的特征数。
准确率 Accuracy 和 错误率 Error rate Accuracy 即准确率：Error rate 即错误率（误差）：
对某⼀个实例来说，分对与分错是互斥事件，所以：
混淆矩阵 confusion matrix
混淆矩阵（confusion matrix），也被称为错误矩阵（error matrix），是⼤⼩为 (n_classes, n_classes) 的⽅阵。使⽤混淆矩阵可以清楚地看到分类误差的具体情况。 ⼆分类的混淆矩阵：
磷化铝多分类的混淆矩阵：
Accuracy =P +N
T P +T N
Errorrate =P +N
FP +FN
Accuracy =1−Errorrate
查准率 Precision 和 召回率 Recall给力时代
查准率指，对于所有预测为阳性的样本，有多⼤⽐率是真阳性。查准率越⾼就越好。 召回率指，对于所有阳性样本，有多⼤⽐率被正确预测为阳性。同样地，召回率越⾼越好。对于偏斜类，使⽤查准率和召回率可以更好地评估算法的分类效果。A 类⽬标的 Precision 就是在识别出来所有 A ⽬标中，识别正确的⽐率。查准率：的对。
A 类⽬标的 Recall 就是在测试集⾥所有的 A⽬标中，识别正确的⽐率。召回率：的全。
PR
曲线
=预测值为阳性的数量真阳性的数量
T P +FP
T P =实际阳性的数量真阳性的数量
T P +FN
T P
PR 曲线，即 Precision-Recall curve
以召回率 Recall 为横轴
工业奈以查准率 Precision 为纵轴
AP 和 mAP
在⽬标检测中，检测出来的候选框包含 score 和 bbox，按照 score 降序排序： TP 为 IoU > 0.5 的检测框数量（同⼀个 Ground Truth 只计算⼀次）。
FP 为 IoU <= 0.5 的检测框，重复检测到的 bbox 也算FP。
FN 为没有检测到的 GT 的数量。
PR 曲线为不同置信度阈值下的查准率和召回率情况。
AP 为单个类别的检测精度，即 Average Precision，为 PR 曲线下⽅的⾯积。
详见：
在VOC2010以前，只需要选取当 Recall >= 0, 0.1, 0.2, …, 1 共11个点时的 Precision 最⼤值，然后AP就是这11个Precision的平均值。
在 VOC2010 及以后，需要针对每⼀个不同的 Recall 值（包括0和1），选取其⼤于等于这些 Recall 值时的 Precision 最⼤值，然后计算PR曲线下⾯积作为AP值。
mAP，即 mean Average Precision，对所有类别的 AP 取平均值
ROC 曲线
ROC空间，以 FPR 为 X 轴，以 TPR 为 Y 轴。
横轴 FPR，即所有实际为阴性的样本中，被错误地判断为阳性之⽐率：
FPR=FP/(FP+T N)
纵轴 TPR，即召回率 Recall，即所有实际为阳性的样本中，被正确地判断为阳性之⽐率。：
T PR=T P/(T P+FN)
完美的预测是⼀个在左上⾓的点，在 ROC 空间座标 (0,1)点，X=0 代表着没有伪阳性，Y=1 代表着没有伪阴性（所有的阳性都是真阳性）；也就是说，不管分类器输出结果是阳性或阴性，都是100%正确。
⼀个随机的预测会得到位于从 (0, 0) 到 (1, 1) 对⾓线（也叫⽆识别率线）上的⼀个点。
ROC 曲线下⾯积 AUC
Area under the Curve of ROC (AUC) ，即 ROC 曲线下⽅的⾯积。
在⽐较不同的分类模型时，可以将每个模型的 ROC 曲线都画出来，⽐较曲线下⾯积做为模型优劣的指标：AUC = 1，是完美分类器，分类100% 正确。
成本利润率0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
AUC = 0.5，跟随机猜测⼀样，模型没有预测价值。
阿片类
AUC < 0.5，⽐随机猜测还差；但只要总是反预测⽽⾏，就优于随机猜测。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议