目标跟踪与检测小结

一、目标检测

目标检测即为从序列图像中将变化区域从背景图像中提取出来。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测。

1.静态背景：背景差分法，帧间差分法，光流法。在opencv中常用的是absdiff,GMM（高斯混合模型），Lucas-Kanade 方法等算法。

2.动态背景（需要进行图像的全局运动估计与补偿）：块匹配法，光流估计法。在opencv中常用mean-shift,cam-shift,卡尔曼等。

二、运动目标跟踪

运动目标跟踪就是在一段序列图像中的每幅图像中实时地找到所感兴趣的运动目标(包括位置、速度及加速度等运动参数)。简单说,就是在序列图像中为目标定位。在运动目标跟踪问题的研究上,总体来说有两种思路: a)不依赖于先验知识,直接从图像序列中检测到运动目标,并进行目标识别,最终跟踪感兴趣的运动目标; b)依赖于目标的先验知识,首先为运动目标建模,然后在图像序列中实时找到相匹配的运动目标。

1. 运动目标的有效表达

   除了对运动目标建模外,目标跟踪中常用到的目标特性表达主要包括视觉特征(图像边缘、轮廓、形状、纹理、区域)、统计特征(直方图、各种矩特征)、变换系数特征(傅里叶描绘子、自回归模型)、代数特征(图像矩阵的奇异值分解)等。除了使用单一特征外,也可通过融合多个特征来提高跟踪的可靠性。

2. 相似性度量算法

   对运动目标进行特性提取之后,需要采用一定的相似性度量算法与帧图像进行匹配,从而实现目标跟踪。图像处理与分析理论中,常见的相似性度量方法有欧氏距离、街区距离、棋盘距离、加权距离、巴特查理亚系数、Hausdorff距离等,其中应用最多和最简单的是欧氏距离。

3. 搜索算法

   目标跟踪过程中,直接对场景中的所有内容进行匹配计算,寻找最佳匹配位置,需要处理大量的冗余信息,这样运算量比较大,而且没有必要。采用一定的搜索算法对未来时刻目标的位置状态进行估计假设,缩小目标搜索范围便具有了非常重要的意义。其中一类比较常用的方法是预测运动体下一帧可能出现的位置,在其相关区域内寻找最优点。常见的预测算法有Kalman滤波、扩展的Kalman滤波及粒子滤波方法等。 
   另一类减小搜索范围的算法是优化搜索方向。均值漂移算法(Meanshift算法)、连续自适应均值漂移算法(Camshift算法)和置信区域算法都是利用无参估计的方法优化目标模板 
   和候选目标距离的迭代收敛过程,以达到缩小搜索范围的目的。

4. 目标跟踪分类

   依据运动目标的表达和相似性度量,运动目标跟踪算法可以分为四类:基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪和基于模型的跟踪。跟踪算法的精度和鲁棒性很大程度上取决于对运动目标的表达和相似性度量的定义,跟踪算法的实时性取决于匹配搜索策略和滤波预测算法。

   • 基于主动轮廓的跟踪

     Kass等人提出的主动轮廓模型,即Snake模型,是在图像域内定义的可变形曲线,通过对其能量函数的最小化,动态轮廓逐步调整自身形状与目标轮廓相一致,该可变形曲线又称为Snake曲线

   • 基于特征的跟踪

     基于特征匹配的跟踪方法不考虑运动目标的整体特征,只通过目标图像的一些显著特征来进行跟踪。假定运动目标可以由惟一的特征集合表达,搜索到该相应的特征集合就认为跟踪上了运动目标。除了用单一的特征来实现跟踪外,还可以采用多个特征信息融合在一起作为跟踪特征。基于特征的跟踪主要包括特征提取和特征匹配两个方面。

   • 基于区域的跟踪

     基于区域的跟踪算法基本思想是: a)得到包含目标的模板,该模板可通过图像分割获得或预先人为确定,模板通常为略大于目标的矩形,也可为不规则形状; b)在序列图像中,运用相关算法跟踪目标。

   • 基于模型的跟踪

     基于模型的跟踪是通过一定的先验知识对所跟踪目标建立模型,然后通过匹配跟踪目标进行模型的实时更新。对于刚体目标来说,其运动状态变换主要是平移、旋转等,可以利用该方法实现目标跟踪。但是实际应用中跟踪的不仅仅是刚体,还有一大部分是非刚体,目标确切的几何模型不容易得到。

三、研究热点和趋势

1) 场景信息与目标状态的融合

场景信息包含了丰富的环境上下文信息, 对场景信息进行分析及充分利用, 能够有效地获取场景的先验知识, 降低复杂的背景环境以及场景中与目标相似的物体的干扰; 同样地, 对目标的准确描述有助于提升检测与跟踪算法的准确性与鲁棒性. 总之,尝试研究结合背景信息和前景目标信息的分析方法,融合场景信息与目标状态, 将有助于提高算法的实用性能.

2) 多维度、 多层级信息融合

为了提高对运动目标表观描述的准确度与可信性, 现有的检测与跟踪算法通常对时域、 空域、 频域等不同特征信息进行融合, 综合利用各种冗余、 互补信息提升算法的精确性与鲁棒性. 然而, 目前大多算法还只是对单一时间、 单一空间的多尺度信息进行融合, 研究者可以考虑从时间、 推理等不同维度, 对特征、 决策等不同层级的多源互补信息进行融合, 提升检测与跟踪的准确性.

3) 基于深度学习的特征表达

基于深度学习的特征表达具有强大的分层自学习能力, 能深度地挖掘隐含在数据内部间的潜在关系. 其中, 基于卷积神经网络的特征表达方法效果尤为突出, 近年来取得了显著的检测效果[126¡128]. 同时, 深度学习框架相继开源[92¡98], 为思想的碰撞与交融带来了更多可能. 然而, 基于深度学习的特征表达方法也存在一些问题尚未定论, 如深度学习的层数以及隐层节点个数如何确定, 深度学习所学得特征的优劣如何评价等. 因此, 对基于深度学习的特征表达方法的进一步研究可能会产生突破性成果, 最终将促进该领域的发展.

4) 基于核的支持向量机分类方法

支持向量机 (SVM) 因其分类性能优良、 操作实现简单等特性, 仍是目前倍受青睐的常用分类方法之一, 尤其是核方法的引入更使其性能得以极大提升. 然而, 其最大的优点也是其最致命的弱点, 其分类性能也会极大地依赖于核的选取, 尽管目前已经开展了相当一部分的工作, 但对于不同分类任务下的核方法的选取, 仍然还没有一个普遍通用的定论. 因此, 如何根据实际分类需求, 选取合适的核方法仍需进一步探索.

5) 高维数据的分类方法

随着分类任务研究的发展, 分类中所使用的视觉单词的大小不断地增加, 其相应的图像表达数据维度也与日俱增, 传统的单个分类器已经难以满足高维数据的分类要求. 目前, 普遍的做法是将多个分类器集成在一起, 以获取分类性能更好的强分类器.然而, 集成分类器方法也存在一些问题尚未定论, 如子分类器如何选取与组合, 如何在不降低分类性能的情况下使分类器数量尽可能少等. 因此, 研究子分类器模型的产生、调整以及整合, 将有助于适应高维数据的分类任务.

来源：

基于视觉的目标检测与跟踪综述
尹宏鹏，陈波，柴毅，... - 《Acta Automatica ... - 2016 - 被引量: 0
基于视觉的目标检测与跟踪是图像处理、计算机视觉、模式识别等众多学科的交叉研究课题,在视频监控、虚拟现实、人机交互、自主导航等领域,具有重要的理论研究意义和实际应用价值.本文对目标检测与跟踪的发展历史、研究现状以及典型方法给出了较为全面的梳理和总结.首先,根据所处理的数据对象的不同,将目标检测分为基于背景建模和基于前景建模的方法,并分别对背景建模与特征表达方法进行了归纳总结.其次,根据跟踪过程有无目标检测的参与,将跟踪方法分为生成式与判别式,对基于统计的表观建模方法进行了归纳总结.然后,对典型算法的优缺点进行了梳理与分析,并给出了其在标准数据集上的性能对比.最后,总结了该领域待解决的难点问题,对其未来的发展趋势进行了展望.