用于轨道交通障碍物检测的改进MaskRCNN

1. 文章信息

文章题目为《Improved Mask R-CNN for obstacle detection of rail transit》&＃xff0c;是2022年发表在Measurement上的一篇关于轨道交通领域的目标检测文章&＃xff0c;聚焦在自动识别障碍物来提高自动驾驶列车的运行安全性。

2. 摘要

障碍物的准确识别对提高自动驾驶列车的安全性具有重要意义。为了提高主动识别的准确率&＃xff0c;提出了一种ME Mask R-CNN。SSwin-Le Transformer用作特征提取网络&＃xff0c;ME-PAPN用作特征融合网络。综合多种多尺度增强方法&＃xff0c;提高了对小目标的检测能力。抽样方法为主要样本注意&＃xff0c;采用适合列车障碍物特性的锚箱尺寸和比例。列车障碍物数据集基于多种测试场景&＃xff0c;如南宁地铁1号线测试线、隧道线和夜间测试。测试结果表明&＃xff0c;ME-Mask R-CNN实现了91.3%的mAP&＃xff0c;平均检测时间为4.2 FPS&＃xff0c;比Mask R-CNN高11.1%。

3. 介绍

随着轨道交通的快速发展和新信息技术的应用&＃xff0c;智能列车被视为列车运输技术发展的主要方向&＃xff0c;列车自动驾驶&＃xff08;ATO&＃xff09;已成为发展趋势。列车障碍物检测作为全自动运行列车的重要安全保障&＃xff0c;已引起越来越多学者的关注。与汽车运行相比&＃xff0c;列车障碍物检测在场景设置、风险分类和车辆制动控制方面存在显著差异。地铁列车障碍物检测场景具有类别少、检测精度高的特点。在危险等级分类中&＃xff0c;更多的关注是轨道内部和沿线的障碍物。由于列车运行速度快&＃xff0c;制动距离长&＃xff0c;对远处障碍物的检测精度提出了更高的要求。

列车轨道上的异物入侵和行人非法进入是造成轨道安全事故的主要原因&＃xff0c;因此对准确、快速的障碍物检测系统的需求越来越迫切。随着深度学习等技术的进步&＃xff0c;基于计算机视觉的目标检测算法在轨道交通领域得到了广泛的应用。近年来&＃xff0c;基于多传感器融合的障碍物检测技术成为研究热点。摄像头易受极端天气影响&＃xff0c;缺乏空间信息&＃xff0c;而雷达对远处障碍物的探测效果较差。由摄像机、激光雷达和毫米波雷达组成的障碍物检测系统可以获得二维和三维信息。

障碍物检测系统由前端采集系统、控制和处理系统组成。前端采集系统由长焦相机、短焦距相机、激光雷达和毫米波雷达组成。前端采集系统的功能是使用各种传感器来采集列车的前方路线。控制和处理系统通过处理前端采集系统输入的传感器信号来检测和识别列车前方的障碍物。当列车前方检测到危及列车安全运行的障碍物时&＃xff0c;系统能及时发出预警信号。根据障碍物与列车之间的不同距离&＃xff0c;进行分级报警和制动。由于摄像机更直接地进行障碍物检测&＃xff0c;保证了实时性和准确性&＃xff0c;因此文章从视觉算法方面进行了研究。

文章设计一种基于Mask R-CNN的高精度快速检测算法模型&＃xff0c;提高小目标检测的精度&＃xff0c;并在不同环境条件下具有较高的鲁棒性。贡献总结如下&＃xff1a;

(1) 在特征提取网络方面&＃xff0c;采用Swin-Transformer作为基线模型。在Swin Transformer块的窗口多注意模块中加入了空间洗牌&＃xff0c;在MLP模块中加入了深度可分离卷积。SSwin-Le Transformer的提出增强了算法的长期依赖性和局部能力。

(2) 在特征融合网络方面&＃xff0c;以PAFPN为基线模型&＃xff0c;在金字塔融合中加入ASPP、RFA和BSF模块&＃xff0c;提高了模型的多尺度性能&＃xff0c;提出了ME-PAFPN。

(3) 提出了ME-Mask R-CNN算法对11种障碍物进行细粒度检测&＃xff0c;使列车障碍物检测准确率达到91.3%。实验表明&＃xff0c;ME-Mask R-CNN在准确度、检测速度和泛化能力方面具有最好的综合性能。

4. 相关工作

目前&＃xff0c;列车障碍物检测分为传统检测算法和基于深度学习的目标检测算法。基于传统检测算法的方法分为帧差法和纹理特征法。

传统障碍物检测方法存在以下问题&＃xff1a;(1)基于滑动窗口的区域选择策略没有针对性&＃xff0c;时间复杂度高&＃xff0c;窗口冗余。(2)手动设计功能对多样性变化的鲁棒性不理想&＃xff0c;难以满足实际应用中的高性能要求。

近年来&＃xff0c;基于深度学习的障碍物检测算法发展得更加成熟。由于检测框架的不同&＃xff0c;目标检测技术分为一阶段和两阶段。随着网络结构的深化和更多新架构的出现&＃xff0c;现有方法在特征提取和特征融合性能方面无法满足列车障碍物检测中对高精度和小目标检测性能的要求。此外&＃xff0c;为了不断提高列车的安全水平&＃xff0c;需要更多的细粒度目标检测方法&＃xff0c;对目标进行像素级的语义分割可以更好地解决异物入侵问题。本文对Mask R-CNN模型进行了改进&＃xff0c;促进了目标检测中不同尺度信息的增强和融合&＃xff0c;提高了特征提取和特征融合的性能。

5. 模型

A. ME Mask R-CNN的总体架构

ME Mask R-CNN使用Mask R-CNN作为基线。原始模型的特征提取网络被SSwin Le Transformer取代&＃xff0c;特征融合网络被ME-PAFPN取代&＃xff0c;采样方法被PrIme Sample Attention&＃xff08;PISA&＃xff09;取代&＃xff0c;下图所示为整体框架图。

ME Mask R-CNN算法的过程如下&＃xff1a;输入图像进入主干&＃xff0c;生成四个不同比例的特征地图。SSwin-Le Transformer类似于传统卷积主干的分层形式&＃xff0c;可以更好地集成到Mask R-CNN检测框架。SSW-Le Transformer的模块包括分片、分片合并、基于移位窗口的洗牌多头自注意&＃xff08;SSW-MSA&＃xff09;和局部增强前馈网络&＃xff08;LeFF&＃xff09;。然后&＃xff0c;通过颈部ME-PAFPN生成特征图&＃xff0c;通过加强信息流对原有PAFPN进行改进。为了增强特征融合网络的多尺度能力&＃xff0c;提高小目标的检测性能&＃xff0c;在自顶向下分支和Botton-up分支中加入了残差特征增强&＃xff08;RFA&＃xff09;模块、萎缩空间金字塔池&＃xff08;ASPP&＃xff09;模块和平衡语义特征&＃xff08;BSF&＃xff09;模块。通过区域建议网络&＃xff08;RPN&＃xff09;对特征地图进行处理&＃xff0c;对前景背景进行二元分类&＃xff0c;对边界盒进行回归&＃xff0c;生成区域建议。在RPN中&＃xff0c;锚箱的大小和比例在列车障碍物检测场景中是自适应的。对区域建议执行ROI对齐&＃xff0c;输入ROI头部进行类别分类和回归&＃xff0c;以生成边界框和分割掩码。采样方法为PISA&＃xff0c;并对原始样本进行加权以提高检测精度。

B. 特征提取网络

提出了一种基于SwinTransformer的改进SSwin-Le Transformer。如下图所示。

首先&＃xff0c;输入的H×W×3图像通过面片分割被分割成不重叠的面片。每个补丁被视为一个“令牌”&＃xff0c;并用作序列输入&＃xff0c;补丁大小为7×7。采用线性嵌入调整输入维数&＃xff0c;使SSwin-Le Transformer块通过稳定的特征维数输入实现特征学习&＃xff0c;并将这两个模块结合起来生成层次化特征表示。整个网络由四个阶段组成。在每个相邻阶段之间使用补丁合并&＃xff0c;以减少令牌数量并增加特征维度。因此&＃xff0c;主干网生成的特征地图有四个不同的特征维度&＃xff0c;类似于传统的CNN主干网Resnet&＃xff0c;并且具有在不同尺度下建模的灵活性。SSwin-LeTransformer和基于窗口的多头自关注&＃xff08;W-MSA&＃xff09;Transformer具有相似的结构。改进包括用SSW-MSA模块替换传统的W-MSA&＃xff0c;用传统的MLP替换LeFF模块。

C. 特征融合网络

以PAFPN为基线模型&＃xff0c;对提出的ME-PAFPN特征融合网络进行了改进。Mask R-CNN使用FPN。FPN在信息融合中存在以下问题&＃xff1a;(1)主特征图的信息丢失。FPN以自上而下的路径传播。从主特征映射到最高特征映射&＃xff0c;需要经过多个网络层&＃xff0c;这增加了获取初始图像的难度。(2)多尺度信息丢失。FPN不完全支持考虑不同层间语义信息的差异。这些特征的直接融合会降低多尺度特征表示的能力。(3)非相邻层语义信息不融合。FPN只有相邻层的语义信息可以直接融合&＃xff0c;非相邻层的语义信息被稀释&＃xff0c;导致语义特征不平衡。

如下图所示&＃xff0c;PAFPN通过构建自底向上的特征融合网络来减少主要特征层的传播路径&＃xff0c;以增强整个特征层次的定位能力&＃xff0c;因为对边缘或实例部分的高响应是准确定位实例的有力指标。红色虚线表示&＃xff0c;在FPN算法中&＃xff0c;主特征图通过自上而下的方式通过几十甚至数百个网络层&＃xff0c;导致主特征图信息严重丢失。绿色虚线表示自下而上的特征融合。浅层特征通过底层原始FPN的融合连接到P2&＃xff0c;然后随着自底向上的特征融合从P2转移到顶层。层数小于10层&＃xff0c;可以更好地保留浅层特征信息。虽然PAFPN有另一种方法来改善主要特征信息的丢失&＃xff0c;但FPN的多尺度信息丢失和非相邻层语义信息的非融合问题并没有得到解决。

残差特征增强&＃xff08;RFA&＃xff09;。在FPN的最高级别减少通道特性会导致信息丢失&＃xff0c;并且只包含与其他层特性不兼容的单尺度上下文信息。为了弥补这一缺陷&＃xff0c;RFA使用剩余分支向自顶向下的分支添加不同级别的空间上下文信息&＃xff0c;并改进自顶向下的第一级特征表示。如下图所示&＃xff0c;在特征层的最高级别使用比率不变自适应池来生成具有不同尺度的三个特征层。考虑到插值引起的混叠效应&＃xff0c;采用自适应空间融合&＃xff08;ASF&＃xff09;将生成的概率图与上采样的分层特征图自适应地结合起来&＃xff0c;使其具有多尺度特征信息。

萎缩的空间金字塔池&＃xff08;ASPP&＃xff09;。FPN仅通过1×1卷积减少通道数&＃xff0c;削弱了多尺度特征表示。如下图所示&＃xff0c;ASPP的四个平行分支通过阿托拉斯卷积生成不同尺度的图像&＃xff0c;并以不同的阿托拉斯速率和卷积核合并&＃xff0c;扩展了感受野&＃xff0c;提高了提取抽象信息的能力。因此&＃xff0c;ASPP模块用于改善每个分支融合阶段的模型性能。

平衡语义特征&＃xff08;BSF&＃xff09;。高层次的语义信息和浅层的细节信息可以相互补充&＃xff0c;提高目标检测效果&＃xff0c;融合后的特征需要处理各分辨率中的不平衡信息。BSF对四层特征图进行重新缩放、集成和细化&＃xff0c;以实现对不平衡信息的处理。如下图(a)所示&＃xff0c;为了聚合多级特征&＃xff0c;对特征层使用上采样插值和自适应最大池。通过平均得到均衡的语义信息。在细化模块之后&＃xff0c;使用相同但相反的过程来增强原始特征。在这个过程中&＃xff0c;每一层从其他层获得相同的信息。如下图(b)所示&＃xff0c;通过使用细化模块进行细化&＃xff0c;细化使用非局部思想来增强融合特征并进一步改进结果。

D. 抽样方法

ME Mask R-CNN使用主要样本注意&＃xff08;PISA&＃xff09;作为采样方法&＃xff0c;具有精度和检测速度的优势。PISA是通过层次局部秩&＃xff08;HLR&＃xff09;和素数样本注意来实现的。分层局部秩&＃xff08;HLR&＃xff09;策略表明&＃xff0c;影响目标检测训练的正样本是IOU较高的样本&＃xff0c;而负样本是分类分数较高的样本。PISA使用IoU层次局部秩&＃xff08;IoU HLR&＃xff09;和分数层次局部秩&＃xff08;Score HLR&＃xff09;分别基于正样本和负样本的重要性进行排序&＃xff0c;如下图所示。

主要样本注意策略将更多注意力集中在主要样本上&＃xff0c;包括基于重要性的样本重新加权&＃xff08;ISR&＃xff09;和基于分类的回归损失&＃xff08;CARL&＃xff09;。PISA的训练过程增加了原始样本的权重&＃xff0c;使分类获得更高的得分&＃xff08;ISR&＃xff09;。联合目标函数用于学习分类器和回归&＃xff08;CARL&＃xff09;&＃xff0c;以提高原始样本分数并抑制其他样本分数。

6. 实验及结果

A. 实验细节

采集的图像数据由真实的列车平台视频和从试车线视频中选择的关键帧组成。为了提高模型的泛化能力&＃xff0c;每50帧选择一幅图像以获得不同的场景。经过处理&＃xff0c;获得了3000幅不同场景的图像。使用图像注释软件Labelme在注释。注释数据包括所有检测到的目标的位置和类别信息。标签和图像被制成COCO数据集格式。对障碍物图像类别进行细化&＃xff0c;将其分为11个类别&＃xff0c;即人、轨道、盒子、标志、广告牌、配电箱、书包、纸板、信号、平台和头盔。设置的实验场景为试车线、夜间和隧道线场景。测试现场线路采用自然光照明&＃xff0c;夜间试验采用列车探照灯照明&＃xff0c;隧道线路现场采用隧道照明设备照明。数据集按90%和10%的比例分为训练集和测试集。训练参数如下表。

B. 结果比较

为了简化结果表格&＃xff0c;分别命名了11个类别&＃xff0c;人员为C1&＃xff0c;轨道为C2&＃xff0c;箱子为C3&＃xff0c;标志为C4&＃xff0c;广告牌为C5&＃xff0c;配电箱为C6&＃xff0c;书包为C7&＃xff0c;纸板为C8&＃xff0c;信号为C9&＃xff0c;平台为C10&＃xff0c;头盔为C11。在实验中&＃xff0c;盒子、标志、书包、纸板、信号和头盔被定义为小目标。COCO检测和评估标准中的指标用于性能评估&＃xff0c;包括IoU阈值为0.5的平均精度&＃xff08;mAP&＃xff09;、训练时间&＃xff08;time&＃xff09;、参数数&＃xff08;Params&＃xff09;、每秒浮点运算&＃xff08;GFLOPs&＃xff09;和每秒帧数&＃xff08;FPS&＃xff09;。与其他主流目标检测算法的结果对比如下表所示&＃xff1a;

可以看出&＃xff0c;Mask R-CNN、Faster R-CNN和Cascade R-CNN等两级算法的映射相似&＃xff0c;Mask R-CNN的检测速度比其他两种算法慢。原因是添加到mask R-CNN算法中的mask分支可以进行语义分割&＃xff0c;这是一种比后续危险分类的检测框更细粒度的表示。当检测速度满足要求时&＃xff0c;这也是选择Mask R-CNN作为基线模型的原因。YOLOV4在检测精度方面不符合要求。如下图所示&＃xff0c;小目标的地图增加了19.35%&＃xff0c;但对于一些大目标和遮挡目标&＃xff0c;改进是有限的&＃xff0c;这可能是因为数据集中只有铁路场景&＃xff0c;大目标的障碍物较少。随后&＃xff0c;障碍物将被扩大&＃xff0c;以增加场景的多样性&＃xff0c;但检测精度已满足轨道边界检测的要求。

下图比较了ME Mask R-CNN和更快的R-CNN、YOLOV4、Cascade R-CNN在自定义数据集上的测试结果。ME mask R-CNN的mask分支可以检测像素级别&＃xff0c;并对被检测对象进行着色&＃xff0c;从而对对象的风险级别进行分类。当其他目标检测算法对障碍物风险等级进行分类时&＃xff0c;盒子检测结果容易造成大面积重叠&＃xff0c;导致风险等级的分类不明确。ME Mask R-CNN在不同的场景和不同的照明条件下都很稳定。

7. 结论

在这项工作中&＃xff0c;ME-Mask R-CNN被提出用于地铁列车障碍物检测。通过改进模型的局部容量和信息交换特性&＃xff0c;增强了融合网络的多尺度特性&＃xff0c;融合了不同层次的语义信息&＃xff0c;提高了小目标的检测精度。在工作机上的实验表明&＃xff0c;使用SSwin-Le变压器的mAP比使用SWN变压器的mAP提高了3.2%&＃xff0c;使用ME-PAFPN的mAP比使用PAFPN的mAP提高了4.2%。针对列车障碍物检测场景设计的ME Mask R-CNN使mAP比Mask R-CNN增加11.1%&＃xff0c;小目标检测精度提高19.35%&＃xff0c;检测速度与检测精度平衡。

文章末尾提出未来研究的方向&＃xff1a;

(1) 探索提高ME-Mask R-CNN的检测速度&＃xff0c;降低Transformer中多头部注意的计算复杂度&＃xff0c;并集成更多卷积以提高性能。研究模型部署技术包括修剪、量化和提炼。车载终端的硬件和软件用于加速模型的部署&＃xff0c;使算法可用。

(2) 优化数据集的长尾分布&＃xff0c;提高数据集的泛化能力&＃xff0c;增加更多的检测场景和小障碍类型&＃xff0c;优化小目标检测问题&＃xff0c;并使用跨域数据集证明模型的泛化性能。

(3) 将采用多模态检测方法&＃xff0c;设计基于视觉、激光雷达、毫米波雷达和其他多传感器融合技术的列车障碍物检测模型。

Attention

如果你和我一样是轨道交通、道路交通、城市规划相关领域的&＃xff0c;可以加微信&＃xff1a;Dr_JinleiZhang&＃xff0c;备注“进群”&＃xff0c;加入交通大数据交流群&＃xff01;希望我们共同进步&＃xff01;