一种交通视频数据的车辆检测与分类模型

1.文章信息

本次介绍的是题目为《Detection and classification of vehicles for traffic video analytics》的目标检测类文章

2018年发表在Procedia Computer Science上的一篇会议论文&＃xff0c;会议为INNS Conference on Big Data and Deep Learning 2018

2.摘要

本文提出了一种基于CV技术的交通视频分析系统&＃xff0c;该系统可以自动收集重要的统计数据&＃xff0c;包括车辆计数、车辆类型分类、从视频中估计车辆速度和车道使用监控等。该系统的核心是交通视频中的车辆检测和分类。为此&＃xff0c;本文对比了两个模型&＃xff0c;一是MoG&＃43;SVM系统&＃xff0c;二是基于Faster RCNN的模型。实验表明&＃xff0c;Faster RCNN在检测静态、重叠或夜间条件下的车辆时优于MoG&＃xff0c;并且在基于外观分类车辆类型的任务上也优于SVM

3.数据集

本文使用了两个数据集&＃xff0c;分别为&＃xff1a;

&＃xff08;1&＃xff09;印尼收费公路数据集&＃xff08;自有数据集&＃xff09;

通过相机从人行天桥上手动获取于两个著名印尼收费公路Jagorawi收费公路和Kapuk收费公路&＃xff0c;数据为包括夜间视频的近一周数据。视频数据集的分辨率为4096*2160&＃xff0c;每秒22帧

&＃xff08;2&＃xff09;公共数据集MIT Traffic

麻省理工交通数据集是为交通场景分析和拥挤场景的研究而设计的。包含一个90分钟长的交通视频序列&＃xff0c;由一台固定的照相机记录下来。尺寸为720*480&＃xff0c;被分为20个片段

进入模型部分

图像中特定物体的检测是一个困难的问题&＃xff0c;因为图像中物体的本质往往是不同大小、不同方向的物体&＃xff0c;而且物体的重叠会检测结果为目标遮挡物。这些问题需要一种具有几个特性的检测算法&＃xff0c;如平移不变性、旋转不变性和尺度不变性

4.模型一&＃xff1a;基于MoG&＃43;SVM

模型一的思路是&＃xff0c;先利用混合高斯背景减法(mixture of Gaussian background subtraction)来检测移动车辆在视频中的位置。从这些检测区域&＃xff0c;我们形成图像的边界框&＃xff0c;并使用经过训练的支持向量机(SVM)分类器对车辆类型进行分类&＃xff0c;包括轿车、送货车(皮卡、带集装箱的车辆)、卡车、大型卡车和公共汽车

背景减法是用来检测在参考背景图像中不存在的图像新对象的方法。其基本原理是&＃xff0c;一幅含有多个待检测目标的新图像被参考图像减去&＃xff0c;生成一幅新图像&＃xff0c;该图像对两幅图像的差异进行编码&＃xff0c;并根据给定差异阈值判定是否为识别目标

背景相减检测车辆的图像处理步骤如下图

对于MoG检测方法&＃xff0c;文章使用MoG来检测像素值的变化&＃xff0c;减去背景图像&＃xff0c;只留下前景对象。提取前景对象并使用一个边界框分割提取适当的图像来训练SVM模型让其基于图像分类&＃xff0c;类别包括前面提到的五个汽车类和一个额外的非汽车类。然后将图像调整为64x64的印度尼西亚收费公路数据集和32x32的麻省理工交通数据集。其中&＃xff0c;麻省理工交通数据集由于车辆距离更远所以尺寸小。SVM的性能评价使用5折交叉验证&＃xff0c;即80%的训练和20%的测试数据随机分割

此模型具体流程框图如下

5.模型二&＃xff1a;基于Faster RCNN

模型二的思路是&＃xff0c;训练RCNN&＃xff08;专门为检测和定位图像中的目标而设计的深度学习模型&＃xff09;来同时检测和分类交通场景视频帧中的车辆。通过这些交通场景中车辆的包围盒检测&＃xff0c;我们可以对这些被检测车辆的位置进行短期跟踪&＃xff0c;提取估计的速度和车道位置等信息

从第一个数据集中交通场景的不同位置和条件中抽取1058张图像进行标注。对第二个数据集抽样353张图像。基于这些图像&＃xff0c;文章使用Faster RCNN进行训练&＃xff0c;检测出相应的车辆类。同样使用5折交叉验证方案&＃xff0c;即80%的训练和20%的测试数据随机分割

Faster RCNN框架结构如下图所示

Faster RCNN检测可能出现在视频某帧中的任何车辆的边界框和类别。根据前边提到的六个类别和车辆边界框的位置对图像进行标注&＃xff0c;并在这些图像上训练Faster RCNN&＃xff0c;使Faster RCNN既可以对单个模型中的车辆进行检测&＃xff0c;也可以对车型进行分类。如果边界框的检测值与标注框的交并比(并集上的交集)大于0.5&＃xff0c;则视为边界框正确。而初始检测区域是由anchor box决定的&＃xff0c;如下图

在印尼数据中&＃xff0c;文章使用尺寸为[64,128,256,512]和宽高比为[1:1,1:1.5,1.5:1]的anchor box对图片进行扫描&＃xff0c;而对于MIT数据&＃xff0c;文章使用尺寸为[32,64,128]和比例为[1:1,1:2,2:1]的anchor box对图片进行扫描寻找检测目标

6.追踪车辆及其行为的方法

文章使用OpenCV中两种跟踪算法。对于印尼数据使用中值流跟踪算法&＃xff0c;因为由于收费车道和个人偏好的限制&＃xff0c;大部分车辆会规则的直线移动&＃xff0c;车辆尺寸变化不显著&＃xff1b;对于MIT数据使用KCF跟踪算法&＃xff0c;因为MIT数据集的车辆在十字路口展示了更多样化的运动&＃xff0c;目标的尺度变化也更多样化

&＃xff08;1&＃xff09;估计车辆速度

针对印尼数据集进行速度估计。连续跟踪30帧&＃xff0c;使用相似三角形原理来完成跟踪任务。首先标定一个标准参照物&＃xff0c;它不随时间的推移在录像中发生任何变化&＃xff0c;记录此标定对象的实际宽度W米&＃xff0c;距离摄像机的距离D米&＃xff0c;再测量该标记对象在视频中出现时的宽度像素值P&＃xff0c;于是可以计算相机的焦点F为

利用F&＃xff0c;可以估计相机中其他物体的距离(单位米)&＃xff0c;为此需要知道被估计物体的宽度&＃xff0c;假设正常车辆和送货车的宽度为1.8米&＃xff0c;公共汽车和卡车的宽度为2.5米。还需要知道车辆在相机中的像素宽度&＃xff0c;此值使用车辆检测包围框的宽度值。利用焦点公式&＃xff0c;可以算出车辆与相机的估计距离为

为了估计速度&＃xff0c;计算在一个固定时间段内所涉及的车辆距离差。使用5帧的差值来估计车辆的速度&＃xff0c;从而取五帧的平均速度来最小化不稳定的跟踪边界框对速度估计的影响。视频速率单位为帧/秒记为fps&＃xff0c;则可估计车辆的速度为

3.6这个系数是为了把速度单位从m/s换成km/h

&＃xff08;2&＃xff09;不同类型车辆的车道使用情况

手动定义每个场景的不同车道&＃xff0c;车道的起点和终点分别定义为p1和p2&＃xff0c;车辆包围框的中心点定义为p3&＃xff0c;三个点都为二维坐标向量&＃xff0c;则该车到每条指定车道的距离为

就可据此判断车辆的车道使用

7.实验结果

模型一&＃xff1a;使用两种不同的支持向量机对模型在两个数据集上进行测试&＃xff0c;五折交叉验证准确率结果如下

模型二&＃xff1a;使用Faster RCNN的模型五折交叉验证准确率结果如下

对于印度尼西亚收费公路数据集和麻省理工交通数据集&＃xff0c;Faster RCNN在交叉验证精度方面优于这两个基于SVM的分类模型。另外&＃xff0c;与麻省理工学院交通数据集的结果相比&＃xff0c;印度尼西亚收费公路数据集的精度结果范围差异很大。文章认为这是由于印度尼西亚收费公路数据集存在较大的可变性&＃xff0c;它不仅包括两个不同的地点&＃xff0c;而且还包括光照条件的不同时间(白天和晚上)。而麻省理工学院的交通数据集只有一个场景有统一的照明条件(记录只进行了90分钟)

综上&＃xff0c;本文介绍了一种交通视频自动分析系统。该系统能够自动统计车辆数量&＃xff0c;对车辆进行分类&＃xff0c;估计行驶车辆的速度&＃xff0c;确定车道使用情况。下图为流量监控系统的接口实示例

8.创新点

&＃xff08;1&＃xff09;比较了混合高斯(MoG)背景减法&＃43;支持向量机(SVM)的车辆分类模型与Faster RCNN同时检测和分类车辆类别的性能。从本文实验中&＃xff0c;发现了MoG &＃43; SVM系统的几个缺点&＃xff0c;使其不适合在真实世界环境中的动态场景的交通视频分析。Faster RCNN方法作为基于外观的方法&＃xff0c;在检测重叠车辆或在夜间低光条件下的车辆时优于MoG。Faster RCNN的方法更适合交通视频分析的问题

&＃xff08;2&＃xff09;建立了一个系统&＃xff0c;可以从车辆检测系统的结果估计其他重要信息的车辆&＃xff0c;如估计速度和车道使用

Attention

如果你和我一样是轨道交通、道路交通、城市规划相关领域的&＃xff0c;可以加微信&＃xff1a;Dr_JinleiZhang&＃xff0c;备注“进群”&＃xff0c;加入交通大数据交流群&＃xff01;希望我们共同进步&＃xff01;