基于改进网络的高时程聚类的网络结构优化单木检测技术研究

基于改进网络的高时程聚类的网络结构优化单木检测技术研究

0果林目标检测难点江西省是中国最大的脐橙主产区，种植面积世界第一。在实际的果林监管规划工作中仍停留在传统的人工实地统计，其过程费时、耗力、周期长、成本高，果林智能产业化信息化建设明显滞后，严重阻滞了果林业的快速发展。遥感数据具有范围广、成本低、可满足实时监测果林分布等优点，对果林的单木检测能够高效统计种植面积，定位每一株单木在谷歌地图上的实际地理坐标，帮助政府及农场主更加精细化的管理果林种植，为管理者提供有效的决策依据。在果林目标检测过程中存在的难点主要包括目标之间的遮挡与覆盖问题，不同自然条件下的成像光谱问题等。Shafri等本研究以赣南地区信丰县脐橙园、赣县林地为研究区，以研究区内典型的脐橙树、松树为研究对象，首先对原始数据预处理得到瓦片正射影像，对获取到的遥感数据做DSM等影像预处理，通过K-means1区域剖面与数据预处理1.1苏集湿润气候概况研究区位于赣州市南部信丰县(114°87’E,25°46’N)，海拔变化范围0～100m，属于亚热带季风性湿润气候，年均温度18.9℃，最高气温39℃，最低气温1℃，年均湿度80%，年均降水量1680.2mm。赣南地区果园以脐橙种植最为出名，多为山地种植，特选此作为本次实验对象，以达到大范围监测统计、精准定位的目的。1.2实验数据集的建立分别以2019年8月、2019年11月通过无人机飞马D200机载SonyILCE6000镜头分别采集研究区域在不同高度、不同天气下的高分影像作为数据源，以此保证数据的广泛性，提升实验结果的泛化能力。实验数据采集设备如图1所示。在航拍脐橙果树前初始化无人机各级参数获取其重叠度，经Pix4Dmapper软件预设测区地理参考匹配值，经过加密点云LAS和三维网格纹理处理，对无人机的多组数据做空中三角测量计算（图2），对空中三角测量的计算结果做建模处理，获取到其清晰的三维模型（图3），继而可获取所需的栅格数字表面模型(DSM)以及正射影像图，并转换输出对应的谷歌地图瓦片作为实验数据。瓦片尺寸为2048像素×2048像素，共拍摄1000张图像，并选取具有训练价值、图像完整、清晰的单木遥感图800张，由于每张图像中的可检测的单木数量在10～200个不等，待训练样本充足。选取600张作为训练集，剩余200张为测试集。现有的脐橙果林目标检测数据集并不常见，大多无法满足实际自然条件下的复杂背景以及人为导致的目标分布密度不同的识别要求。在开始实验之前需要对采集的图片进行目标位置标注。由于数据集中每张图片内的目标数量过多，为减轻人工标记的工作量，通过模板匹配的方法来预标记待训练数据，即以模板图片作为搜索依据，在较大图像中进行滑动查找和位置搜索，将模板图像在待测图像上由左至右、由上至下的滑动检测，每次匹配的目标框大小恒等于模板图像的尺寸，进而进行像素比较运算，在像素比较运算过程中，采用标准（归一化）相关系数匹配方法，如式(1)～(3)。标准相关系数匹配方法主要是将模板矩阵均值的相对值与待匹配源图像矩阵均值的相对值进行匹配，并测量其相关系数，匹配结果取值范围为[-1,1],1表示匹配度最高，0表示毫无相关性，-1表示最差匹配结果。如图4所示，随机选取一颗树作为模板进行模板匹配计算，在匹配阈值为0.4的情况下经过NMS非极大值抑制算法得到的匹配目标框，经过人工筛选不符合期望的误识别，重新作为新的模板进行迭代匹配第2轮，模板匹配过程共耗时384.8s，最终经过多轮迭代及人工少量筛选得到带有标签的训练样本数据。2锚点预提取检测在深度学习目标检测领域中，Faster-RCNN在最初RCNN的基础上加入了一个新的网络——RPN，又在原有网络上增加了一个ROI池化层。整个网络模型主要基于卷积神经网络构建，Faster-RCNN通过卷积层得到特征图，滑动窗口对特征图上每一个位置根据不同的纵横比和尺寸映射回原图生成多个锚点(anchor)，为降低后续计算量庞大的问题，由RPN网络对这些锚点进行预提取。ROI池化层可接收任意尺度的输入，并固定尺度输出与后续全连接层相连，最终送入分类器和边框回归层，即可得到最终的检测结果。FasterRCNN中用于提取特征的基础网络是vgg16和ResNet101，这2种基础网络无论在VOC2007还是coco数据集上都取得了较高的检测精度和速度。但在小型密集的目标检测实验中发现，vgg16和ResNet101作为基础网络存在小目标大批量漏检与误检等缺点，考虑到是由于基础网络的特征提取利用相对不足，本研究借鉴了DeneseNet的密集连接思想，提出了DesFaster-RCNN网络结构，并结合K-means聚类分析先验数据分布，提高算法性能、减小运算成本。2.1图像尺度变换由于计算设备存在显存上的限制，卷积神经网络的设计对图像的输入尺寸也存在一定要求，故需要对实验数据的瓦片进行尺度变换至适宜的尺寸。考虑到需要保有图像的纹理特征，采用双三次插值法双三次内插值法属于立方卷积插值，相较于双线性插值BiCubic插值基函数如图6所示，该函数连续。BiCubic基函数如式(4)。式中，a常取-1～-0.5，由函数图像（图6）可知，a取值越小，计算后的图像内不同坐标位置下的贡献权重值的差距越明显，W(x)为贡献权重，根据不同位置求得的不同权重系数带入到双三次内插值的计算公式中[式(5)]。式中，(x多种图像尺度变换的实验方法对比如图7所示。通过对比4种常见的图像尺度变换方法（双三次插值、最近邻插值、Pillow库中resize方法、双线性插值），将一幅512×512的图像缩放至256×256。从图像效果上看，双三次插值、最近邻插值2.2基于k-meas聚类分析的目标检测算法在深度学习中，网络的深度决定了网络的性能。加深网络深度对图像的特征提取能力也会增加，但是也会面临梯度爆炸、网络退化等问题。为解决网络堆叠所带来的一系列问题，何凯明等式中，xResNet能够有效改善网络加深梯度导致的爆炸弥散等问题。为进一步降低网络训练参数、提高特征及原始样本的利用率，在实际检测任务中，遇到目标在整幅图像中占比较小时，由于多层卷积会导致目标信息丢失，通过密集连接网络(DenseNet)如图9所示，DenseNet由多个密集连接块(DenseBlock)组成，每个DenseBlock内部包含多个层间变换，如式(7)。式中，x2个相邻的DenseBlock之间通过Transition相连，Transition层包括BN、ReLU、Conv(1,1)、AvgPooling(2,2)，其主要目的是降低特征图的大小、压缩模型参数。为获得符合目标树种z的长宽比形态学特征上的初始目标候选框，可通过机器学习中的聚类算法对样本目标的长宽值进行聚类分析统计，得出最优的目标候选框的长宽比。在机器学习算法中K-means聚类属于无监督算法，根据给定数据集间的特征关系，按照样本间的实际距离将其聚类为K个簇，保证簇内的距离最小、簇间距离最大。通过计算评价聚类结果中各簇内部的紧密程度与簇间的分离程度关系MeanIoU(MeanIoU表示所有簇下的anchor与目标边框的IoU均值）来确定最佳聚类中心个数K的取值。为保证送入后续网络中anchor值初始化的合理性，需对样本数据做标准化处理，将其目标边框作为聚类特征数据输入，目标边框尺寸的大致分布如图10所示，待测目标分布较为集中，但由于实际大小不一，存在尺度差异。经多次迭代计算，计算多组K值下的MeanIoU如表2所示。簇的数量Clusters与其目标边框的IoU结果呈正比。由表2绘制图11,Clusters的数量与MeanIoU的增幅呈反比并伴随着庞大的计算量，给后续网络计算增加负担。改进的Faster-RCNN算法结构如图12所示。在深度学习目标检测领域中，Faster-RCNN在最初RCNN的基础上加入了一个新的网络——RPN，又在原有网络上增加了一个ROI池化层。整个网络模型主要基于卷积神经网络构建，Faster-RCNN通过卷积层得到特征图，滑动窗口对特征图上每一个位置根据不同的纵横比和尺寸映射回原图生成多个锚点(anchor)，为降低后续计算量庞大的问题，由RPN网络对这些锚点进行预提取。ROI池化层可接收任意尺度的输入，并固定尺度输出与后续全连接层相连。最终送入分类器和边框回归层，即可得到最终的检测结果。笔者提出一种基于K-means聚类分析的算法改进RPN网络中anchor的初始化机制，以及网络最后4层的权重结构来提升模型对自然环境下目标树种的检测能力并加快收敛。在目标检测任务中主要通过平均精度meanAveragePrecision(mAP)来衡量一个检测结果的优劣。根据不同的类别绘制出对应每一类的recall和precision曲线，AP即单类别检测曲线下的面积，mAP为多类别AP和的平均值。recall代表召回率，即预测结果中预测为正的正样本数量T4实验4.1主机及程序情况实验软件平台采用LinuxUbuntu16.04LTS系统、labelImage1.8.3、OpenCV4.1.2、tensorflow1.14.0、CUDA10.0.130,Cudnn7.4.2计算机配备了32GB内存，Intel(R)Xeon(R)CPUE5-2620v4@2.10GHz,4张GeForceRTX2080ti显卡。初始学习率为0.0001，训练15000次后学习率降低为0.001；动量因子为0.9；迭代训练20000次；每批次处理的数据量为128；采用L1平滑损失函数4.2方法和结果4.2.1desficin检测经过改进骨干网络后的Faster-RCNN模型与当下较为流行的其他3种模型做了检测性能对比（表3）。DesFaster-RCNN由于在特征图卷积过程中依然保留先前的特征进行学习，所以精度更高，网络模型体积相较于其他模型更小，检测速度相较于原本的Faster-RCNN更快。表明DesFaster-RCNN网络能够在压缩模型体积的基础上，进一步提升检测精度及速度。4.2.2k-me党组织聚类分析表4为在DesFaster-RCNN的基础上，加入K-means聚类分析的改进实验，根据训练经验拟定生成的anchors数量为9设计实验，图13为Clusters数量为9时K-means聚类分析输出的样本分布图，height和width表示anchor相较于原图宽高缩放后的尺寸，N表示在不同尺寸anchor下待检测的目标数量。设定相同数量下不同尺寸的anchor，对比最终检测精度，其中(0.03,0.05,0.07)为加入K-means聚类输出的结果，其他anchor尺寸为人工预设的多组对照实验。结果表明，相较于人工预设的anchor值，加入K-means聚类分析后的anchor尺寸可提高Faster-RCNN的检测精度并加速网络收敛。4.2.3clnuser聚类结果基于实验二的结论设计实验三。anchor尺寸全部经过K-means聚类分析，即在不同Clusters数量下的聚类结果，取消人工预设anchor尺寸。表5结果表明，Clusters数量为9时，DesFaster-RCNN的检测结果精度最高，并验证了随着Clusters的增加，anchor数量冗余导致计算量倍增，不利于网络收敛，检测精度降低。4.3思维网络模型训练迁移学习即将其他领域中学习到的知识或模型应用到不同但相关的领域中。卷积神经网络中，随着模型的层数复杂度的增加，模型的学习能力会有所提高。表6为在对DesFaster-RCNN训练的过程中，冻结骨干网络的特征提取层，调节后续网络结构。设计实验对比浅调网络模型的最后2层（分类得分层、边框回归层）、深调网络模型的最后4层（分类得分层、边框回归层、全连接一层、全连接二层）。经过迁移学习深调后，网络能够更有效地利用特征信息，对分类器以及回归精度有4个百分点的提升，整个训练过程中的各项损失值也更加收敛。4.4技术应用效果经过K-means改进的DesFaster-RCNN网络在实地自然复杂环境下的脐橙果树检测效果如图14所示。选取赣南地区宁都县果园作为无人机航测地块进行实地检测，结果如图15所示。并将其上传至已经构建的江西脐橙产业大数据平台中。在实地检测任务中，由图14a～b可知，阴天和晴天即使对无人机拍摄的成像效果存在较大的明暗差别，但检测效果较为准确，由图14c可知，虽然脐橙在不同生长时期、不同树龄的果树大小不一，在无人机拍摄成像效果上的像素占比不同，但依然可通过本研究提出的改进方法达到较为准确的检测效果，由图14d可知，脐橙果树大都较为粘连、密集，为遥感俯视图中的检测任务带来难题，本研究提出的网络改进方法可有效解决密集、粘连的脐橙果树检测计数问题。由图15可知，经过批量的瓦片识别后，根据瓦片的坐标信息转换成谷歌坐标格式，根据坐标信息上传拼接至谷歌底图，从而实现直观的审阅统计，将数据坐标信息储存到云数据库中，完成构建江西省脐橙产业大数据平台。5实验结果与分析针对脐橙果林统计在自然复杂环境下单木提取准确率较低的问题，提出了一种改进的多尺度卷积骨干网络Des-Faster-RCNN，并加入了K-means聚类分析改进网络参数设置，训练过程结合迁移学习的思想进行微调，实现对脐橙果树在不同自然环境、不同生长时期以及不同长势下的检测与检测，最终在测试集上的平均精度为97.6%，并与当下较为前沿的YOLOv3、FasterRCNN、SSD检测模型相比，均有不同程度的提升。为验证提出的改进算法的有效性及可行性，笔者