作者:davychen | 来源:互联网 | 2023-10-10 18:56
YOLO在最后的一个步骤就是对 SxSx(Bx5+C) 个向量进行非极大值抑制(Non-max suppression),一开始不是太明白非极大值抑制是如何操作的,也就是不太清楚YOLO最后做完卷积后如何对求得向量进行预测,求得目标框位置。
对YOLO代码分析完之后对其他步骤操作有了一个大致的认识之后,回顾最后一步非极大值抑制,发现非极大值抑制在R-CNN、Fast-RCNN都有用到的同样的概念,因此YOLO的论文并没有提到如何进行非极大值抑制。
其实在物体检测领域当中,非极大值抑制应用十分广泛,目的是为了消除多余的框,找到最佳的物体检测的位置。那么具体如何操作呢?如下图所示,有三个boundingbox,其中第一个绿色boundingbox的置信度是0.7,第二个绿色boundingbox的置信度是0.6,第三个绿色boundingbox的置信度是0.7。非极大值抑制就是在这三个框当中选出置信度最高,且最有可能代表是目标的boundingbox。
为了研究透NMS到底是如何操作的,我来随机定义了4个窗口,置信度分别是[0.5, 0.7, 0.6, 0.7],对应上图的多了一个方框。算法的核心:
把置信度最高的一个boundingbox(bbox)作为目标,然后对比剩下bbox与目标bbox之间的交叉区域
如果交叉区域大于设定的阈值,那么在剩下的bbox中去除该bbox(即使该bbox的置信度与目标bbox的置信度一样)—-这个操作就是抑制最大重叠区域
把第二置信度高的bbox作为目标,重复1、2
dets = np.array([
[204, 102, 358, 250, 0.5],
[257, 118, 380, 250, 0.7],
[280, 135, 400, 250, 0.6],
[255, 118, 360, 235, 0.7]
])
thresh = 0.3
import numpy as np
def py_cpu_nms(dets, thresh):
“”“Pure Python NMS baseline.”""
x1 = dets[:, 0]
y1 = dets[:, 1]
x2 = dets[:, 2]
y2 = dets[:, 3]
scores = dets[:, 4]
areas = (x2 - x1 + 1) * (y2 - y1 + 1)
order = scores.argsort()[::-1]keep = []
while order.size > 0:i &#61; order[0]keep.append(i)xx1 &#61; np.maximum(x1[i], x1[order[1:]])yy1 &#61; np.maximum(y1[i], y1[order[1:]])xx2 &#61; np.minimum(x2[i], x2[order[1:]])yy2 &#61; np.minimum(y2[i], y2[order[1:]])w &#61; np.maximum(0.0, xx2 - xx1 &#43; 1)h &#61; np.maximum(0.0, yy2 - yy1 &#43; 1)inter &#61; w * hovr &#61; inter / (areas[i] &#43; areas[order[1:]] - inter)inds &#61; np.where(ovr <&#61; thresh)[0]order &#61; order[inds &#43; 1]return keep
最后的效果就是得到开始定义的4个bbox中的第4个(3):
![NMS算法思路来源于&#xff1a;https://chenzomi12.github.io/2016/12/14/YOLO-nms/]