基于改进SSD的铁路障碍物检测研究

基于改进SSD的铁路障碍物检测研究

焦双健，刘东，王超（中国海洋大学工程学院，山东青岛266100）0引言铁路列车在运行过程中容易遇到周围障碍物入侵铁轨的风险，极易发生安全事故，而且事故具有突发性，造成的后果十分严重。传统的人工巡检排查效率低[1]。目前主流的方法是将深度学习引入障碍物检测中，从而有效提高检测效率，降低运维成本，提高行驶安全系数。Oh等基于视觉识别，利用图像处理技术设计了车站安全平台系统，对乘客在站台的安全进行实时分析和预警[2]；Silar等基于光流估计和K-means聚类算法将流向量分类，以确定障碍物的位置[3]；史红梅等将机器视觉与嵌入式技术结合，提出一种障碍物自动识别方法[4]；同磊等基于机器视觉对铁轨位置进行识别定位，检测列车前方的障碍物[5]；郭保青等基于改进的卷积神经网络，使用AlexNet和HOG特征结合的方式提高了算法在铁路场景下的检测精度和速度[6]；徐岩等基于FasterR-CNN检测算法完成了高铁异物侵限检测研究，在一定程度的基础上提高了检测速度[7]。虽然目前国内外在此方面的研究都取得了一定的进展，但是对于不同目标检测算法在铁路场景下的适用性还有所欠缺。鉴于铁路障碍物数据集较少，上述研究在检测精度和速度方面均有提升的空间，故此类研究仍有开展价值。1FasterR-CNN与SSD目标检测算法1.1FasterR-CNN目标检测算法FasterR-CNN作为基于区域候选网络的目标检测模型，主要分为4个部分：1）特征提取卷积。卷积层将提取的特征图输入到区域建议网络和全连接层。2）候选区域生成。此部分由区域建议网络（Region-ProposalNetwork，RPN[8]）模块完成，其主要作用是生成区域建议框，将步骤1）的特征图通过归一化指数函数Softmax分成背景分类与预测框两部分。3）感兴趣区域池化（RegionofInterest，ROI）。对特征图和候选区域进行信息整合，实现从原图区域映射到卷积层区域，得到目标区域特征。4）分类与回归。利用Softmax损失和SmoothL1损失对分类概率和边界框回归训练，降低检测框和真实物体框的最小偏差。Faster-RCNN网络结构图见文献[8]。1.2SSD目标检测算法SSD是一种one-stage（一阶段）目标检测算法，相比FasterR-CNN具有明显的速度优势，相比部分YOLO[9]算法又有一定的精度优势。SSD目标检测算法中卷积层特征尺寸随着网络层的加深而减小，大尺寸特征图用来检测小目标，小尺度特征图用来检测大目标，能够保证大小目标都能被检测到；最后将所有预测框对比，使用非极大值抑制法去掉重叠框，将得分最高的位置框作为最终结果，以提高检测效率。SSD网络结构图见文献[10-11]。2铁路障碍物数据集的建立由于铁路障碍物数据集获取难度较大，故本文选择开源数据集与实拍数据集结合的方式建立数据集。2.1障碍物数据集分类根据近几年全国铁路交通事故统计，结合日常常见障碍物种类，将本文障碍物分为垃圾类（garbage）、动物类（animal）、车辆类（car）3类，如表1所示。其中垃圾类包含纸箱和瓶子，动物类包含牛羊和行人，车辆类只有汽车。数据集包含图像文件、session模式以及.mat格式的标注文件。表1数据集分类2.2数据集采集2.2.1开源数据集由于开源数据集各类场景丰富，可以对特定场景图像信息进行补充，因此通过对网络开源数据集进行对比并结合本研究场景的复杂性，选择并筛选部分MSCOCO2017、VOC2007、COCO开源数据集作为本文数据集。筛选原则为：在满足要求的前提下，选择不同背景、不同尺度的目标图像，以保证模型训练的鲁棒性。2.2.2实拍数据集为提高数据集场景多样性，在铁路叉道口处采集部分数据。拍摄天气包含晴天、阴天、雪雾天，采集时段覆盖早晨和傍晚。由于单张图像采集效率较低，故采取视频数据的形式，再用视频处理软件进行抽帧处理，设置帧数间隔为每1s提取一帧，截取完成后对图像进行筛选，删除相似度较大的图像，共提取到有效图像360张。3铁路障碍物检测模型的建立3.1实验环境配置本文实验环境配置如表2所示。表2实验环境配置3.2Faster-RCNN检测模型的建立本节在Faster-RCNN目标检测框架基础上，选择两种特征提取网络，VGG-16（VisualGeometryGroup）[12]和MobileNet-v2[13]，完成两个检测模型的训练和验证。3.2.1Faster-RCNN_VGG-16检测模型基于MatlabR2020b框架，完成对Faster-RCNN_VGG-16模型的搭建，命名为FR-1网络，对原始网络模型的参数进行参数分析及修正工作。模型原始参数如表3、表4所示。修正后的FR-1模型参数如表5所示。表3Faster-RCNN模型原始参数表4VGG-16特征提取网络原始参数表5FR-1检测模型修正参数对模型进行训练，将得到的数据进行整理，训练准确率曲线和损失函数曲线如图1所示。图1FR-1检测模型训练结果由图1可知，模型训练结果准确率接近91%。FR-1检测模型验证集验证结果如图2所示。图2FR-1检测模型验证结果3.2.2Faster-RCNN_MobileNet-v2检测模型基于MatlabR2020b框架，完成对Faster-RCNN_MobileNet-v2模型的搭建，命名为FR-2网络，对原始网络模型的参数进行参数分析及修正工作。特征提取网络原始参数如表6所示，FR-2模型的参数修正参考3.2.1节。表6MobileNet-v2特征提取网络原始参数对模型进行训练，将得到的数据进行整理，训练准确率曲线和损失函数曲线如图3所示。图3FR-2检测模型训练结果由图3可知，模型训练结果准确率接近90%。FR-2检测模型验证集验证结果如图4所示。图4FR-2检测模型验证结果3.2.3Faster-RCNN检测模型结果分析由于特征提取网络的差异，两个模型训练过程的准确率曲线和损失函数曲线不相同。通过整理，将各曲线放在同一坐标轴内讨论，对比结果如图5所示。图5不同模型中准确率与损失函数的对比从图5a）可以看出：在训练中FR-1曲线的震荡较大，迭代次数达到25次左右时，曲线趋于收敛，准确率达到92%左右；FR-2曲线在初期上升较为平缓，当迭代次数达到10次左右，曲线震荡较大，之后趋于收敛，准确率达到90%左右。从图5b）可以看出，训练初期梯度下降，在第一轮训练结束处发生震荡，体现出学习率的下降，当迭代次数达到20次左右时，曲线趋于收敛，之后的函数值在0～0.5之间轻微波动，且FR-1曲线损失值小于FR-2曲线损失值。两个检测模型在相应的迭代次数内均实现了训练准确率和损失函数的收敛，训练结果对比如表7所示。表7Faster-RCNN检测模型训练结果对比3.3SSD检测模型的建立在SSD目标检测模型框架下，选取3.2节中的两种特征提取网络，在网络结构不变的基础上，完成两种模型的训练及验证工作。3.3.1SSD_VGG-16检测模型基于MatlabR2020b框架，完成对SSD_VGG-16模型的搭建，命名为SSD-1网络。对原始网络模型的参数进行分析及修正工作，参数修正参考3.1节。对模型进行训练，将得到的数据进行整理，训练准确率曲线和损失函数曲线如图6所示。图6SSD-1检测模型训练结果由图6可知，模型训练结果准确率接近92%。SSD-1检测模型验证集验证结果如图7所示。图7SSD-1检测模型验证结果3.3.2SSD_MobileNet-v2检测模型基于MatlabR2020b框架，完成对SSD_MobileNetv2模型的搭建，命名为SSD-2网络，对原始网络模型的参数进行分析及修正工作。对模型进行训练，将得到的数据进行整理，训练准确率曲线和损失函数曲线如图8所示。由图8可知，模型训练结果准确率接近91%。SSD-2检测模型验证集验证结果如图9所示。图8SSD-2检测模型训练结果图9SSD-2检测模型验证结果3.3.3SSD检测模型结果分析由于特征提取网络的差异，两个模型训练过程的准确率曲线和损失函数曲线不相同。通过整理，将各曲线放在同一坐标轴内讨论，对比结果如图10所示。从图10a）可以看出：SSD-1曲线在前期震荡较大，迭代次数达到15次左右时，曲线趋于收敛，准确率达到92%左右；SSD-2曲线较为平缓，但准确率略低于前者，达到91%左右。从图10b）可以看出，曲线在开始训练阶段就出现了震荡，当迭代次数达到20次左右时，曲线趋于收敛，且SSD-1曲线损失值小于SSD-2曲线。图10不同模型中准确率与损失函数的对比两个检测模型在相应的迭代次数内均实现了训练准确率和损失函数的收敛，训练结果如表8所示。表8SSD检测模型训练结果对比3.4检测模型对比将同一种测试集放在4种网络模型上完成测试，对试验数据分析整理，得到4种模型对应的检测标签识别率和检测时间，结果如表9所示。表9四种模型测试比选结果由表9可知：FR-1检测模型的检测准确率最高，平均精度mAP为79.2%；SSD-1检测模型检测准确率稍低于前者，平均精度mAP为78.1%，但单张图像的检测时间较短。综合比较，本研究选择SSD-1检测模型为改进对象。4SSD-1检测模型的改进通过对4种检测模型的准确率和检测速度进行对比，最终选出最佳检测模型为SSD-1。对此模型进行改进，改进后的模型命名为New_SSD-1。4.1基于反卷积特征融合的模型改进原始模型的特征提取网络只进行多尺度特征的提取工作，未将不同层级间的信息连接起来，导致特征融合性差，存在局限性，特征图间的语义信息不充分。本文通过增加不同的特征提取层，并利用多尺度特征的优势，实现对目标的多尺度特征融合，从而提高检测准确率。特征图的维度与目标特征语义信息呈反比，为加强网络的特征表达和语义信息，特征图通过反卷积运算将高维中的低层特征反映到低维的高层特征里。反卷积运算公式为：式中：s表示步长；x是特征图的像素；k是反卷积中卷积核的大小；p是padding的值。基于原始模型，本文对5个尺度大小相同的特征提取层增加反卷积模块，便于融合不同特征图之间的特征。以一个特征提取层为例，其中s=1，i=3，k=3，p=0，输出Fde=5×5的特征图。融合反卷积过程如图11所示。图11融合反卷积过程改进后的SSD算法是将反卷积运算添加到顶层低维特征图做上采样，将低维特征图与高维特征图信息融合，使输出的尺寸和通道数与上层特征图一致，便于网络提取目标的特征，增强网络融合特征的能力，结构图如图12所示。图12改进后的特征提取网络结构图4.2New_SSD_VGG-16模型的训练与测试基于MatlabR2020b框架，完成对New_SSD_VGG-16模型的搭建，命名为New_SSD-1网络。将原始模型与改进后的New_SSD-1模型进行对比，将二者的训练准确率曲线和损失函数曲线放在同一坐标轴内分析讨论，对比结果如图13所示。图13不同模型中准确率与损失函数的对比从图13a）可以看出，改进后的模型初始准确率较低而后波动上升，当迭代次数达到30次左右时曲线趋于收敛，最终准确率接近95%；从图13b）可以看出，改进后的模型损失曲线总体呈现下降趋势，训练初期曲线下降速度快，而后趋于收敛，当迭代次数达到40次左右时，损失值收敛于0.1左右。将验证集在New_SSD-1模型上验证，验证结果如图14所示。图14New_SSD-1检测模型验证结果两种模型训练结果对比如表10所示。表10SSD-1模型改进前后训练结果对比将同一种测试集放在两种模型上进行测试，对试验数据分析整理，得到两种模型对应的检测标签识别率和检测时间，结果如表11所示。由表11可知：改进后的模型在不同的障碍物目标上的检测准确率均有提升，mAP达到82.4%，较未改进之前提升了4.3%，较FR-1模型提升了3.2%；对于小目标物体垃圾一类，AP为81.7%，较未改进之前提升了4.4%，较FR-1模型提升了3.3%；单张图片的平均检测时间为0.071s，较未改进前提升了14.5%，较FR-1模型提