基于嵌入式视觉的无人机目标定位系统

基于嵌入式视觉的无人机目标定位系统摘要：物联网正在变得无处不在，在制造业的应用尤为广泛。作为第四产业的演进，物联网技术起着重要作用。在工业4.0、工业5.0这些正在蓬勃发展的领域或是具有广泛前景的领域都离不开物联网的。未来让世界真正实现“万物互联”的6G通信和元宇宙，也为物联网技术的发展起到大力推动作用。关键词：嵌入式视觉；阵列相机；无人机目标；定位系统引言随着无人机广泛应用于各个行业，无人机“黑飞”现象严重危害了公园、游乐场等地的公共安全和个人隐私安全。因此，用于抵制“黑飞”无人机的系统，反无人机系统的研发迫在眉睫。目标检测技术是反无人机系统中关键的一环，如何在复杂背景下对无人机进行实时检测是亟待解决的问题。在公园、游乐场等公共安全区域，无人机的飞行背景复杂、尺度较小，因此该复杂飞行背景下的无人机目标检测任务可以归为复杂背景下小尺度目标检测任务。在检测过程中，由于目标的背景复杂度高、小目标边缘特征不显著以及光照的影响，使得对小目标的检测非常困难。1无人机位姿的视觉测量方案目前，无人机位姿的视觉测量方案大多需要已知精确的几何尺寸作为先验信息，如需要明确具体的机型、在模型坐标系下关键点的三维坐标等，按照模型的使用方式不同，大致可将现有算法分为三类：第一类是PnP类算法，PnP是Perspective-n-Point的简写，这类算法需定义多个关键点，基于提取得到的关键点二维图像坐标和其先验的三维世界坐标的对应关系，完成无人机位姿的计算。这类算法灵活、快速，最早由M.A.Fischler提出，后续涌现了大量的改进算法。其中较为经典的为EPnP算法，通过设置4个虚拟控制点，可高效求解目标位姿。除了关键特征点，特征边缘也可用于这类计算。使用角点和边缘等多个特征，共同计算飞机位姿，以解决特征点易被自身遮挡的问题。尽管如此，这类算法由于使用的都是稀疏特征，在复杂条件下，如目标较远或成像质量较差等情况下，这类特征易被噪声淹没，以至于难以准确甚至无法完成图像特征的提取，进而导致算法失效。第二类是模板匹配算法，这类算法需要实现根据所需测量的模型制作包含大量不同位姿的模板库，然后将提取得到的目标图像与模板库进行匹配，找到对应的位姿。这类方法只能针对特定的某一机型完成测量，且模板库的制作过程烦琐，算法的泛用性较差。第三类是机器学习与深度学习方法，这类算法是指首先使用待测目标的数据集训练分类器或者神经网络，完成训练后，使用得到的权重进行位姿的回归计算。SVM分类器与RANSAC算法结合的方法，实现对三维目标的位姿测量。使用RGB图像并利用卷积神经网络（CNN）方法完成对目标位姿的测量。此方法计算直接，且通常具有较高精度；但是与模板匹配方法类似，也需要事先针对所处理机型制作大量数据集，较为繁琐。另外，使用深度学习方法直接进行位姿计算，网络规模通常较大，需要大量计算资源，不适合在机载环境中使用。2YOLOv5n算法改进无人机图像小目标较多、环境复杂、密集目标众多等问题，为实现无人机城市在巡检中对地面目标进行快速且精准识别，针对YOLOv5n进行改进，无人机图像输入的信息较大目标小，需要获取高质量的全局信息，在主干网络中引入BoT模块，在减少参数量的条件下，增强网络的检测精度与速度；特征融合网络中引入CBAM注意力机制，增强小目标的特征提取，降低背景对小目标的干扰；引入解耦头，增强网络提取特征图的信息，并在原有的网络中增加了一个20×20小目标检测层M，提高对无人机图像的检测精度。3无人机目标定位系统设计3.1阵列相机的搭建搭建阵列相机时，考虑到运用于无人机搭载，选用性能强劲的680PR0无人机，其三维尺寸为98cm×98cm×32cm，最大载质量2kg，完全满足搭载阵列相机的硬件条件，并且采用相同型号无人机作为后续实验识别定位目标。在设计阵列相机时，首先考虑所选镜头，这里单个镜头采用视觉识别定位领域最常用的Prime41相机，在跟踪范围方面具有极大优势，这一优势是多目相机阵列所倾向的，在这个跟踪范围内，Prime41相机使多目阵列相机能够有效地对前方环境做出不同的反应。根据实际无人机飞行识别定位跟踪目标，其与目标的间隔距离在0~10m不等，在经过多次实际实验考虑实用性、稳定性，最终以2m、7m作为分割，设计一种2×3的相机阵列，在僚机上挂载不同焦距的2×3相机阵列，并使用3组双目视觉定位的方法来对无人机队列的主机进行空间识别和定位。3.2硬件系统设计本文使用RISC-V架构的KendryteK210芯片作为嵌入式视觉的MCU，K210具有良好的功耗性能、稳定性和可靠性,其内置的神经网络处理器(KPU)算力可达到0.8TFLOPS，能够通过硬件加速实现嵌入式端的神经网络模型推理。目标定位模块的硬件系统以搭载K210芯片的MaixBit开发板为核心，同时与实现各项功能所必需的硬件模块相连接,以实现硬件系统的模块化。重量仅57.6g。针对夜间目标定位的需求，本文使用红外夜视灯和红外摄像头组成图像采集系统。USB转TTL模块用于开发板供电和串口通信，LCD显示屏用于调试设备时显示检测结果。3.3引入BoT模块BoT模块是一个由卷积神经网络（CNN）与Transformer的混合模型，该架构将自注意力应用于计算机视觉图像处理任务中，BoT模块是在经典网络ResNetBottleneck的结构上进行改进而来的，虽然3×3的卷积运算能够有效的获取局部的特征信息，使用多头自注意力机制MHSA（Multi-HeadSelfAttention）代替了ResNetBottleneck中的3×3卷积，不仅减少了参数量的计算从而加快了网络结构的检测速度，还提高了网络的检测精度。MHSA是多头自注意层，通过在二维特征图上实现全局注意力，使用的头的个数为4个，在计算自注意力之前，将输入的特征图分别与二维的1×1卷积，分别创造出查询矩阵Q、键矩阵S以及值矩阵M，分出多头分别进行注意力的计算，可以使计算量不会增加；同时引入二维位置编码Rh与Rw，进行矩阵求和，得到位置矩阵P，有利于理解输入像素点的顺序，查询矩阵Q分别与位置矩阵怕P、键矩阵S做矩阵乘法，得到矩阵QST与QPT，它们分别包含有不同的注意力信息。结束语本文所设计面向无人机的阵列相机搭配对应识别定位算法，相较传统双目相机，可以实现快捷相机组切换，获得更大的视野、更精准的视觉定位信息，应对无人机执行复杂任务，高速飞行中对于目标的快速识别定位都有着不错的表现。实验结果也表明这种阵列相机整体表现均优于传统双目相机，有着不错的实际应用价值。当然其中也有值得继续改进的地方，如对于无人机执行任务时，天气环境多变，阳光、大雾等天气因素都会影响到阵列相机的识别和定位，需要后续对于这些天气因素在系统中添加降光除雾算法，这将是后续研究方向。参考文献[1]黄嘉滨.基于视频流的无人机目标识别方法研究[D].西安理工大学,2021.[2]雒朝辉.基于无人机的森林