基于改进refinede网络结构的多尺度特征融合目标检测方法

基于改进refinede网络结构的多尺度特征融合目标检测方法

近年来，随着人工智能技术的快速发展，已经开发出了基于深度学习的目标检测算法，并在辅助驾驶、视频监控、工业检测和机器人视觉服务等领域开展了目标检测任务。从设计原理来看，基于深度学习的目标检测可分为以R-CNN(Region-ConventionalNeuralNetwork)由于车辆驾驶场景下采集的图像较为复杂，存在小目标、遮挡目标等情况，因此本文基于RefineDet网络模型进行了一系列改进与优化，构建面向驾驶场景的多尺度特征融合的目标检测方法。1多尺度特征融合检测方法1.1在refinedet网络结构中嵌入armRefineDet为了保留浅层卷积神经网络提取的小目标特征信息，提升驾驶场景中不同尺寸目标的检测精度，在RefineDet网络结构中的ARM模块嵌入一个轻量级特征化的图像金字塔LFIP为了进一步增强RefineDet网络结构的特征提取能力，在RefineDet网络结构中的ODM模块之后嵌入多分支结构RFB1.1.1refinedet模块的多特征融合模型原LFIP网络是基于SSD框架上设计记RefineDet网络结构中第n层的特征图为f在此基础上，将检测层Conv5＿3、Fc7和Conv6＿2的调制特征图与前一层的调制特征图融合，可以有效地在较浅层特征中融合多个不同尺度的语义信息，提升对不同尺度目标检测的能力。记第n层的调制特征m由上述的分析可知，RefineDet网络结构中的ARM模块用于移除不包含目标的负锚点框，并初步调整锚点框的位置和大小。ARM输出主特征与LFIP网络生成的多尺度特征融合之后，使得提取的特征信息不仅具有丰富的空间细节信息，而且融合了不同尺度的语义信息，可提升特征层中锚点框初步分类和回归的输出效果，为ODM模块提供修正的锚点框以便于进一步回归和多类别预测。在检测速度方面，由于图像金字塔网络中的卷积层相对较浅，且采用最大下采样的尺度比原图缩小了8倍，故而对检测速度影响不大。在RefineDet网络结构中的ODM模块每个参与最后预测的P3、P4、P5与P6特征层后接一个感受野模块RFB为了减少参数量与计算量，采用两个级联的3×3卷积层替换单个的5×5卷积层。其中，第一层是3×3的卷积层，第二层是一个作用在第一层3×3输出表格上的全连接层设输入特征图尺寸为n×n×c由上面的分析可知，将网络中的5×5卷积替换成两个级联的3×3卷积，得到输出特征图的尺寸一致，且在当n>10时，两个级联的3×3卷积的参数量和计算量均少于单个5×5卷积。简而言之，该操作在保持感受野范围的前提下，可以有效减少参数量和计算量为了减少RFB模块的参数量和计算量，将模块中的5×5卷积替换成两个级联的3×3卷积，优化的RFB模块如图3所示。从RefineDet-RFB的应用效果来看，使用RFB可融合不同特征，提升RefineDet网络结构的特征提取能力，可以在兼顾检测速度的同时达到较好的效果。1.2收敛性转移函数ReLU激活函数虽然解决了饱和非线性激活函数梯度消失的问题，但存在均值偏移和神经元死亡等的问题，影响网络模型的收敛性PReLU函数在负半轴的斜率a式中，ε为损失函数，μ为动量，ε为学习率。1.3绿色实线的干扰RefineDet的损失函数L由ARM模块的二分类损失LRepulsionLoss损失函数的作用是使预测框（红色虚线）不受其他的目标框（绿色实线）的干扰，尽可能地向对应的目标框（红色实线）靠拢。如图5所示。RepulsionLoss损失函数由一个吸引项LL有所不同的是，原ODM模块的回归损失并没有设计排斥项，因此预测框容易受到附近其他的目标框或预测框的干扰。在排斥项中，LIoG(B为了减少预测框与附近目标框之间的交集，L其中，σ∈[0,1]，不同σ取值下Smooth由图可见，水平坐标x表示预测框B在此基础上，构建排斥项L由式可知，LL其中，将正样本P2原图像数据集因真实场景与公开的数据集在场景、图像质量和拍摄角度上存在较大差异，为了更好地模拟车辆驾驶视觉，本文方法的实验数据通过车载摄像机采集得到驾驶视角下不同场景的视频，车载采集摄像机如图7所示。车载摄像机从广东不同城市采集，包含广州、佛山、东莞等城市，涵盖了从上午10:00至下午17:00不同的时间段，采集到的200段视频分辨率为1920×1080pixel（像素点），帧率为每秒25帧，通过每秒抽取一帧的方式形成图像数据集，共48260张图片。从中随机选取9652张图片作为测试数据集，用于对网络模型的性能评价，其余38608张图片作为原始训练数据集。进一步，对原图像数据集的目标图像随机进行反转、缩放、亮度变化、对比度变化和饱和度变化等数据扩充，处理后形成训练数据集，共115824张图片，自建数据集样本如图8所示。实验主要对图片中的car（汽车）、bike（自行车、摩托车等）与pedestrian（行人）等交通参与者进行检测。3nd指标的计算本文方法采用AP(AveragePrecision，平均精度）、mAP(meanAveragePrecision）和FPS(FramesPerSecond）作为评价指标，具体计算和说明为：(1)AP为某个类别的平均精确度，对于第i个类别，选取不同的IoU阀值，平均精确度的计算公式为：其中，p表示精确度，r表示召回率，其几何意义是精确度和召回率所形成的曲线与水平轴围成的面积。(2)mAP为数据集中所有类别的平均精度的均值，类别数为m的均值平均精度的计算公式为：(3)FPS为每秒检测图像帧数，该指标不仅仅与算法模型的计算量相关，还与实验过程中的硬件性能相关。一般地，如检测速度不小于25frame/s，可认为该算法模型满足实时性要求。4实验与分析4.1系统平台测试本文实验在32GB内存、GeForceGTX1080型号GPU、IntelI7-7700型号CPU的硬件平台和Ubuntu16.04操作系统训练、测试，本文方法基于Caffe深度学习框架。4.2motionum和kras设置本文对网络模型采用端对端的方式进行训练。训练的图像大小为320×320，设置mini-batch大小为32，最大迭代次数为20万次，初始学习率base＿Lr设为0.01，分别经过50000、100000和150000次迭代之后，学习率减少为原来的1/10，动量Momentum设置为0.9，权值衰减Weight＿decay设置为0.0005。为了验证采用PReLU激活函数的网络模型收敛速度提高，本文在算法训练过程中分别采用ReLU和PReLU两种激活函数进行训练，如图9所示。随着迭代次数和训练时间的增加，两种方法的损失值逐步降低，整体趋势较为平稳。相对而言，在自建样本集训练过程中，采用PReLU激活函数的网络模型的收敛速度得到加快。4.3检测速度分析本文对RefineDet、RefineDet-LFIP、RefineDet-RFB、RefineDet-LFIP-RFB与本文算法在自建数据集测试子集上进行检测性能比较。其中，评价指标均考虑当IOU(IntersectionOverUnion，交并比）阈值为0.5的mAP，而检测速度不含图像读取和缩放图像的时间，仅为网络模型前向传播和输出检测结果的时间。如表2所示。由表可见，本文方法在自建测试集中的mAP为85.59%，均优于其他算法；本文方法的FPS为41.7frame/s，略低于其他算法，这是由于对网络模型进行了一系列改进与优化所致。本文方法检测速度大于25frame/s，说明可满足驾驶场景目标检测的应用要求。本文方法与RefineDet算法模型在测试集上对car（汽车）、bike（自行车、摩托车等）与pedestrian（行人）的目标检测结果如图10所示。其中图10(a）为原RefineDet算法模型的检测结果，图10(b）为本文方法的检测结果。从图10可知，在目标遮挡的情况下，本文方法仍然能够有效检测到大部分遮挡目标，并能够检测出交通道路较远处的小目标。从检测效果来看，本文方法较好地解决驾驶视觉下的遮挡目标检测和小目标检测的问题。5使用refinedet网络模型针对驾驶视觉下目标检测卷积神经网络模型检测精度较低的问题，提出一种基于改进RefineDet的轻量级目标检测方法。包括：(1）首先在RefineDet中嵌入LFIP子网络，RefineDet网络结构中ARM的主特征图与LFIP网络的多尺度特征图融合之后，提升了特征层中锚点框初步分类和回归的输出效果，为ODM模块提供修正的锚点框以便于进一步回归和多类别预测。此外，该方法加强了RefineDet网络结构预判特征的辨别力，增强网络特征的提取能力。(2）使用RFB可融合不同特征，提升RefineDet网络结构的特征提取能力，可以在兼顾检测速度的同时达到较好的效果。(3）将网络结构中多层神经网络中的激活函数替换为带有可学习参数的非线性激活函数PReLU，可以使得模型更好地收敛，在增加极少量参数的前提下提高准确率。(4）使用RepulsionLoss函数作为ODM模块的回归损失函数，可以更好地解决驾驶视觉下的遮挡目标的检测问题，使目标检测中的某预测框更靠近其对应的目标框，并使该预测框远离附近目标框及预测框。本文研究可为驾