基础概念——TP、FP、TN、FN、IOU、PR、AP、Interpolated AP、AUC、mAP

本文主要是介绍基础概念——TP、FP、TN、FN、IOU、PR、AP、Interpolated AP、AUC、mAP，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

TP、FP、TN、FN

都是站在预测的立场看的：
TP：预测为正是正确的
FP：预测为正是错误的
TN：预测为负是正确的
FN：预测为负是错误的

在这里插入图片描述

准确率(accuracy),精确率(Precision)和召回率(Recall)

准确度：分类器正确分类的样本数与总样本数之比
（TP+TN）/ (TP+TN+FP+FN)
精准率Precision：所有被预测为正样本的样本中预测对的比例
(TP) / (TP+NP)
召回率Recall：被正确预测的正样本占所有正样本的比例
（TP）/ (TP+FN)

Precision就代表我们模型检测出来的目标有多大比例是真正的目标物体，是从检测出的目标的角度来看待问题；
Recall就代表所有真实的目标有多大比例被我们的模型检测出来了，是从数据集中奔雷就存在的目标的角度来看待问题。

PR曲线

我们希望Precision 和 Recall 都越高越好，但是实际情况下，我们不可能满足Precision 和 Recall 都很大。
比如在极端情况下，检测模型只检测出来一个目标，而且检测正确了，那么Precision为100%，但是Recall却很小；
但是如果我们把所有的结果都返回，那么Recall 就很大，但是Precison却很小。

在不同的场合，我们对 Precision 和 Recall 有不同的要求，可以结合PR曲线进行分析。

假设我们的数据集中有5个目标，目标检测模型检测出10个候选框，我们按照置信度的顺序对候选框进行排列。

在这里插入图片描述
第二列为候选框是否检测正确，也就是是否存在目标框和这个候选框的交并比大于阈值0.5。
第三、四列为当以同行的候选框的置信度为阈值时(大于这个阈值的候选框就预测为正样本)，求取的Precision和Recall

第一行：
TP 为1 ； FN为4
FP 为0；

Precision = 1/1=1
Recall = 1/(1+4) = 0.2

第二行：
TP 为2 ； FN为3
FP 为0；

Precision = 2/2=1
Recall = 2/(2+3) = 0.4

第三行：
TP 为2 ； FN为3
FP 为1；

Precision = 2/（2+1）=0.67
Recall = 2/(2+3) = 0.4

…

下面的案例更加具体：
在这里插入图片描述

上面七张图每张图片的检测结果均已标出，绿色是Ground Truth，红色是检测到的对象（总共24个，A~Y）。对上面的所有检测结果按照confidence排名统计出一个表如下：

在这里插入图片描述

由上表以Recall值为横轴，Precision值为纵轴，我们就可以得到PR曲线。我们会发现，Precision与Recall的值呈现负相关，在局部区域会上下波动。（实际计算时，当Precision下降到一定程度时，后面就直接默认为0，不算了。）：

在这里插入图片描述

AP

上图PR曲线下的面积就定义为AP，即：

在这里插入图片描述

上面就是AP的基本思想，实际计算过程中，PASCAL VOC，COCO比赛在上述基础上都有不同的调整策略。

Interpolated AP（PASCAL VOC 2008的评测指标）

在PASCAL VOC 2008中，在计算AP之前会对上述曲线进行平滑，平滑方法为，对每一个Precision值，使用其右边最大的Precision值替代。
在这里插入图片描述

具体示意图如下：

在这里插入图片描述
通过平滑策略，上面蓝色的PR曲线就变成了红色的虚线了。平滑的好处在于，平滑后的曲线单调递减，不会出现摇摆的情况。这样的话，随着Recall的增大，Precision逐渐降低，这才是符合逻辑的。实际计算时，对平滑后的Precision曲线进行均匀采样出11个点（每个点间隔0.1），然后计算这11个点的平均Precision。具体如下：（实际计算时，当Precision下降到一定程度时，后面就直接默认为0，所以最后6个点取0）：