基于单次多框检测器的内河船舶目标检测方法

基于单次多框检测器的内河船舶目标检测方法

随着内河航道的快速发展，内河航道的环境变得越来越复杂，船只的航行风险也越来越高。以往的导航模式无法满足确保航道安全的需要。因此研究各个水域监控点视频,建立一个内河道智能监控系统和管理平台非常重要。智能视频监控利用计算机视觉和图像处理的方法对图像序列进行目标检测、目标分类、目标跟踪以及对监视场景中目标行为的理解与描述。目标检测是后期进行目标跟踪、对行为进行理解的重要基础,属于最底层的视频监控体系,其性能好坏直接影响后续目标跟踪等算法的性能。与道路车辆检测不同,内河船舶的背景图像较为复杂,并且面临光照影响、船舶移动速度低和易受波光影响等挑战,增加了船舶检测的难度。一般的运动物体检测算法难以检测到内河船舶,因此有必要开发高效的内河船舶检测算法传统上有3种目标检测方法:光流法背景建模法是通过对当前帧与背景模板之间的差值做阈值化处理来提取出运动区域,该方法不仅可以适应多变的环境,还可以检测到完整的运动物体。因此,研究人员重点研究了背景建模法。其中典型的算法包括Wren等卷积神经网络(convolutionalneuralnetworks,CNN)是一种前馈神经网络,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程卷积神经网络主要由卷积层、池化层和全连接层组成。卷积层与前一层的局部接受域相连,做卷积运算并提取该局部区域的特征。池化层是对上一层的数据进行抽样或聚合,选择该区域的最大值(或平均值)取代该区域,使数据的敏感度大大降低,同时也在保留数据信息的基础上降低了数据的计算复杂度。全连接层在整个卷积神经网络中起到分类器的作用,将学到的分布式特征表示映射到样本标记空间。目前应用广泛的多目标检测算法的网络模型有FasterR-CNN1源检测算法的实现1.1网络模型的sd本文的SSD框架结构如图1所示,采用了VGG1.2位置信息SSD网络模型的训练同时对位置和目标种类进行回归,其目标损失函数是置信度损失和位置损失之和,其表达式为:式中:N为匹配的默认边框的数目;L(x,c)为置信度损失;L(x,l,g)为位置损失;z为默认框与不同类别的真实物体框的匹配结果;c为预测物体框的置信度;l为预测物体框的位置信息;g为真实物体框的位置信息;α为权衡置信损失和位置损失的参数,一般设置为1。置信度损失是希望预测的类别更加准确,位置损失希望预测的边界框和先验框的差距尽可能跟真实框和先验框的差距接近,这样预测的边界框就能尽量和真实框一样。在训练过程中,损失函数会计算真实值和预测值之间的误差,从而指导学习的走向,训练出性能较好的预测模型。1.3实际样本增强SSD把检测和分类一体化,实现端对端的训练。训练过程主要包括数据集构建和迁移学习应用。数据集包括训练集、验证集和测试集,采用了常州花园街大桥、淮安二堡船闸、无锡四河口、扬州茱萸湾等地的视频源。从视频源中提取1000张图片作为训练集和验证集,后2个视频中的图片用作测试集。样本的采集要兼顾不同的时间段,保证样本的全面性,这对于最后检测器的泛化性能有重要影响。与目标识别方法不同,SSD的训练样本需要手动标定其中的船舶,因此训练图片都是包含有船舶位置信息的图片。为了增加样本的多样性,缓解训练过程中的过拟合现象,本文对训练的船舶样本做样本增强,对每一个样本进行水平翻转和对比度调整,成倍的增加样本数量,如图2所示。通过样本增强,数据集的图片扩展到3000张。其中2100张训练集,900张验证集,图像尺寸为856×480,每批训练图片数量设置为24,迭代次数为20000。1.4泛化能力不强训练采用前文提过的SSD模型,因为标定的数据量只有3000张,在庞大的神经网络参数面前显得非常少,如果从头开始训练SSD网络,则参数不好调整并且特征提取泛化能力不强。因此在训练SSD神经网络时利用迁移学习技术,将原有模型的参数信息作为要训练的新模型的初始化参数。原有模型采用PASCALVOC数据集训练好的模型,PASCALVOC为图像识别和分类提供了一整套标准化的优秀的数据集,其模型前几层的特征层主要是图像的基本特征,这些特征与船舶具有相似性,存在可以迁移的目标基础,因此在训练船舶目标检测网络时可以只训练最后几层的特征层,在提高训练效率的同时,也可以实现更好的泛化能力。2linux环境本文选取在常州龙城大桥、无锡沿山大桥等3组船舶监控视频进行算法的验证与分析。仿真实验的操作系统为Ubuntu16.10,处理器型号为Inter(R)Xeron(R)E5-2650v2,主频为2.60GHz,显卡为NVIDIAGeForceGTXTITANBlank。将背景建模法与SSD算法的结果进行比较,从定性和定量两方面来评价本文SSD算法的目标检测效果。2.1sd检测结果对比图3与图4为监控视频下2种方法的检测结果。本文对比了背景建模法与SSD算法的船舶目标检测效果,其中背景建模基于Vibe算法。船舶在行驶过程中会产生波浪,由于波浪的影响,图3(a)中产生了误检现象,并且经Vibe算法检测的船舶框比真实框要大,而SSD算法的框图较之相对准确。对比图3(b)与图4(b)发现,当水面上产生波光或者岸边树叶晃动时,Vibe算法出现了漏检和误检现象,SSD算法并没有出现这种情况。SSD算法基于卷积神经网络,避免了复杂的特征提取过程,对识别位移、缩放和扭曲具有良好的鲁棒性,而Vibe算法依赖于背景建模效果,检测结果相对不稳定。综上所述,基于卷积神经网络的SSD算法可以有效解决波浪、树叶晃动等外界条件影响,具有良好的鲁棒性。2.2种方法对比实验结果为了进一步验证本研究方法的有效性,本文选取准确率P式中:TP为正确检测的船舶数量;FP为错误检测的船舶数量;TN为漏检的船舶数量。表1列出了2种方法在3组测试视频下的评价指标对比,实验结果表明,本文采用的SSD方法召回率R实验中SSD算法对所有船舶图片的平均检测时间为125ms,耗时高于背景建模法。在实际应用中,尽管该算法时间复杂度较高,但实时性可以满足实际要求。因此相比于背景建模法,基于卷积神经网络的SSD算法具有更高的检测率和更低的误检率,鲁棒性强,具有很好的应用前景。3基于ip-4-2迁移学习技术1)通过对训练的船舶样本做样本增强,可以丰富船舶图像训练集,更好的提取图像特征,泛化模型,也可以解决船舶样本数量不足的问题。2)利用迁移学习技术,先使用在ImageNet竞赛中训练好模型的前几层参数来提取浅层特征,