交并比（IoU）和非极大值抑制（NMS）

作用&＃xff1a;在目标检测算法中&＃xff0c;以Faster_Rcnn为例&＃xff0c;对于一张图片&＃xff0c;模型会预测生成多个Anchor&＃xff08;预测方框&＃xff09;&＃xff0c;这些预测的方框和图片中实际的真实方框肯定是不完全匹配的&＃xff0c; 如何确定每个Anchor是大概属于哪个真实方框&＃xff0c;通过计算两者之间IOU值即可&＃xff0c;通常还规定一个iou阈值(iou_threshold)&＃xff0c;若预测框和真实框之间的iou值大于iou_threshold&＃xff0c;就表明此预测框具有和真实框的相同属性&＃xff08;如类别、是否前景&＃xff09;。我们不要这种框&＃xff0c;把大于IOU阈值的框都删掉。

非极大值抑制NMS(Non-maximum suppression)

NMS顾名思义就是抑制不是极大值的元素&＃xff0c;可以理解为局部最大搜索。这个局部代表的是一个邻域&＃xff0c;邻域有两个参数可变&＃xff0c;一是邻域的维数&＃xff0c;二是邻域的大小。NMS在计算机视觉中应用广泛&＃xff0c;我们以行人检测为例&＃xff0c;滑动窗口经提取特征&＃xff0c;经分类器分类识别后&＃xff0c;每个窗口都会得到一个分数。但是滑动窗口会导致很多窗口与其他窗口存在包含或者大部分交叉的情况。这时就需要用到NMS来选取那些邻域里分数最高&＃xff08;是行人的概率最大&＃xff09;&＃xff0c;并且抑制那些分数低的窗口。

目地&＃xff1a;消除多余的检测框&＃xff0c;保留最好的一个

原理&＃xff1a;使用极大概率的备选框抑制其他与它位置接近的备选框

输入&＃xff1a;一些备选框&＃xff0c;每个备选框包含备选框的坐标和属于相应类别的概率&＃xff08;注意&＃xff1a;这里所有类共享这些备选框&＃xff09;&＃xff1b;

一个重叠度的阈值&＃xff0c;常见的阈值是0.3~0.5


输出&＃xff1a;每个类别的备选框

代码&＃xff1a;

import numpy as npdef nms(boxes, threshold):# 得到每一个box的左上和右下的坐标值&＃xff0c;以及每一个box的概率值x1 &＃61; boxes[:, 0]y1 &＃61; boxes[:, 1]x2 &＃61; boxes[:, 2]y2 &＃61; boxes[:, 3]scores &＃61; boxes[:, 4]# 计算每一个box的面积areas &＃61; (x2 - x1 &＃43; 1) * (y2 - y1 &＃43; 1)# 对每一个box按照score降序排列order &＃61; scores.argsort()[::-1]# 最后保留box的集合keep &＃61; []while order.size > 0:i &＃61; order[0]keep.append(i) # 保留该类box中概率值最大的一个# 相交区域的左上和右下的坐标值xx1 &＃61; np.maximum(x1[i], x1[order[1:]])yy1 &＃61; np.maximum(y1[i], y1[order[1:]])xx2 &＃61; np.minimum(x2[i], x2[order[1:]])yy2 &＃61; np.minimum(y2[i], y2[order[1:]])# 相交区域的宽和高度&＃xff0c;计算相交区域的面积w &＃61; np.maximum(0.0, xx2 - xx1 &＃43; 1)h &＃61; np.maximum(0.0, yy2 - yy1 &＃43; 1)inter &＃61; w * h# 计算IoU值over &＃61; inter / (areas[i] &＃43; areas[order[1:]] - inter)# 保留IoU小于阈值的boxindex &＃61; np.where(over <&＃61; threshold)[0]# np.where(condition)返回索引order &＃61; order[index &＃43; 1]return keep


还有直接调用pytorch(>&＃61;1.2.0)、torchvision(>&＃61; 0.3)中封装好了的nms函数。

from torchvision.ops import nms
keep &＃61; nms(boxes,scores,iou_threshold) #返回的keep表示为经过nms后保留下来的boxes的索引值&＃xff0c;并且keep的中索引值是按照scores得分降序排列的
#len(keep) <&＃61; len(boxes)#通过下列操作即可获取具体nms后的boxes
boxes &＃61; boxes[keep]


参数&＃xff1a;

boxes (Tensor[N, 4])) – bounding boxes坐标. 格式&＃xff1a;(x1, y1, x2, y2)scores (Tensor[N]) – bounding boxes得分iou_threshold (float) – IoU过滤阈值