opencv视频分析之光流

1.原理

• 由于目标对象或者摄像机的移动&＃xff0c;造成的图像对象在连续两帧图像中的移动被称为光流。它是一个2D 向量场&＃xff0c;可以用来显示一个点从第一帧图像到第二帧图像之间的移动。
  
  上图显示了一个点在连续的五帧图像间的移动。箭头表示光流场向量。光流在很多领域中都很有用&＃xff1a; 运动重建结构、视频压缩、Video Stabilization 等。
• 光流是基于以下假设的&＃xff1a;1. 在连续的两帧图像之间&＃xff08;目标对象的&＃xff09;像素的灰度值不改变。2. 相邻的像素具有相同的运动。

2.Lucas-Kanade 法

• 利用一个3x3 邻域中的9 个点具有相同运动的这一点&＃xff0c;找到这9 个点的光流方程&＃xff0c;用它们组成一个具有两个未知数9 个等式的方程组。
• 从使用者的角度来看&＃xff0c;我们去跟踪一些点&＃xff0c;然后就会获得这些点的光流向量。但我们处理的都是很小的运动。如果有大的运动怎么办呢&＃xff1f;我们可以使用图像金字塔的顶层。此时小的运动被移除&＃xff0c;大的运动装换成了小的运动&＃xff0c;再使用Lucas-Kanade算法&＃xff0c;我们就会得到尺度空间上的光流。

代码速记&＃xff1a;

• cv2.goodFeaturesToTrack()
• cv2.calcOpticalFlowPyrLK()

实战&＃xff1a;

def lucas(self):cap &＃61; cv2.VideoCapture(&＃39;../images/slow.flv&＃39;)#ShiTomasi角点检测所需参数feature_params &＃61; dict(maxCorners&＃61;100,qualityLevel&＃61;0.3,minDistance&＃61;7,blockSize&＃61;7)#lucas kanade光流所需参数# maxLevel 为使用的图像金字塔层数lk_params &＃61; dict(winSize&＃61;(15, 15),maxLevel&＃61;2,criteria&＃61;(cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))#随机颜色color &＃61; np.random.randint(0, 255, (100, 3))#【1】读取第一帧&＃xff0c;并进行角点检测&＃xff0c;确定要跟踪的点ret, old_frame &＃61; cap.read()old_gray &＃61; cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)p0 &＃61; cv2.goodFeaturesToTrack(old_gray, mask&＃61;None, **feature_params)# 创建用于绘画的遮罩图像mask &＃61; np.zeros_like(old_frame)while True:ret, frame &＃61; cap.read()frame_gray &＃61; cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)# 【2】给光流函数传入前一帧图像、下一帧图像、前一帧图像的角点p1, st, err &＃61; cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)#函数将返回带有状态数的点。#如果状态数是1&＃xff0c;那说明在下一帧图像中找到了这个点&＃xff08;上一帧中角点&＃xff09;。#如果状态数是0&＃xff0c;就说明没有在下一帧图像中找到这个点。#我们再把这些点作为参数传给函数&＃xff0c;如此迭代下去实现跟踪。# 【3】存储找到的点&＃xff0c;画出轨迹good_new &＃61; p1[st &＃61;&＃61; 1]good_old &＃61; p0[st &＃61;&＃61; 1]for i, (new, old) in enumerate(zip(good_new, good_old)):a, b &＃61; new.ravel()c, d &＃61; old.ravel()mask &＃61; cv2.line(mask, (a, b), (c, d), color[i].tolist(), 2)frame &＃61; cv2.circle(frame, (a, b), 5, color[i].tolist(), -1)img &＃61; cv2.add(frame, mask)cv2.imshow(&＃39;frame&＃39;, img)k &＃61; cv2.waitKey(30) # & 0xffif k &＃61;&＃61; 27:break# 【4】更新前一帧和前一帧的特征点old_gray &＃61; frame_gray.copy()p0 &＃61; good_new.reshape(-1, 1, 2)cv2.destroyAllWindows()cap.release()


上面的代码没有对返回角点的正确性进行检查。图像中的一些特征点甚至在丢失以后&＃xff0c;光流还会找到一个预期相似的点。所以为了实现稳定的跟踪&＃xff0c;我们应该每隔一定间隔就要进行一次角点检测。OpenCV 的官方示例中带有这样一个例子&＃xff0c;它是每5 帧进行一个特征点检测。它还对光流点使用反向检测来选取好的点进行跟踪。示例为/samples/python2/lk_track.py。

3.稠密光流

Lucas-Kanade方法计算稀疏特征集的光流(在我们的示例中&＃xff0c;使用Shi-omasi算法检测角点)。OpenCV提供了另一种寻找密集光流的算法。它计算图像中所有点的光流。

代码速记&＃xff1a;

• cv2.calcOpticalFlowFarneback()
• cv2.cartToPolar()

实战&＃xff1a;

def dense(self):cap &＃61; cv2.VideoCapture("../images/vtest.avi")ret, frame1 &＃61; cap.read()#对整幅图像计算prvs &＃61; cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)hsv &＃61; np.zeros_like(frame1)hsv[..., 1] &＃61; 255while True:ret, frame2 &＃61; cap.read()next &＃61; cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY)# 稠密光流flow &＃61; cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)#返回带有光流向量&＃xff08;u&＃xff0c;v&＃xff09;的双通道数组。#通过计算我们能得到光流的大小和方向。#我们使用颜色对结果进行编码以便于更好的观察。#方向对应于H&＃xff08;Hue&＃xff09;通道&＃xff0c;大小对应于V&＃xff08;Value&＃xff09;通道。mag, ang &＃61; cv2.cartToPolar(flow[..., 0], flow[..., 1])hsv[..., 0] &＃61; ang * 180 / np.pi / 2hsv[..., 2] &＃61; cv2.normalize(mag, None, 0, 255, cv2.NORM_MINMAX)bgr &＃61; cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR)#显示帧cv2.imshow(&＃39;frame2&＃39;, frame2)cv2.imshow(&＃39;flow&＃39;, bgr)k &＃61; cv2.waitKey(1) & 0xffif k &＃61;&＃61; 27:breakelif k &＃61;&＃61; ord(&＃39;s&＃39;):cv2.imwrite(&＃39;opticalfb.png&＃39;, frame2)cv2.imwrite(&＃39;opticalhsv.png&＃39;, bgr)#更新图像prvs &＃61; nextcap.release()cv2.destroyAllWindows()