无人机自动空中加油技术的发展

无人机自动空中加油技术的发展

uninwaldung（iuv）已经发展了80多年。原始指南主要用于军事研究。近年来UAV在多场局部战争中卓有成效的表现使其军事价值得到了一致认可,为其在过去的20年中的快速发展提供了强大动力,各种高新技术在航空领域的广泛应用提高了无人机的性能,扩展了无人机的应用范围。目前无人机在军用和民用领域都有着广泛的应用,可以执行监视侦察、目标指示、实时监控、对地攻击及其他高风险任务等。无人机最突出的弱点是续航时间短和有效载荷不足,需要定期返回基地进行补给,这样就严重削弱了无人机遂行长航时和复杂任务的能力,限制了无人机的使用。同时,人们对无人机遂行任务能力的要求却越来越高,这两者日渐成为难以调和的矛盾。解决这一矛盾的方法之一是由地面维护人员靠近或进入任务区域对无人机进行地面支持,但这种方式效率较低且人员暴露的危险性较大。自动空中加油技术(autonomousaerialrefueling,AAR)为解决这个难题提供了有效的途径,它可以极大地提高无人机的使用效能,扩展无人机的使用范围。无人机自动空中加油技术(UAV-AAR)是基于传统的有人驾驶飞机空中加油技术发展而来的。有人驾驶飞机空中加油技术有2种实现方式:软管式和硬管式。软管式也称为插头-锥套式(probeand-droguerefueling,PDR)。在实施软管式空中加油时,加油机从尾部或者加油吊舱拖放出加油用的软管,软管的末端是特制的锥套,受油机飞行员通过操纵飞机使安装在机头的受油插头与锥套相互对接,对接后锥套内的阀门打开并开始加油。待加油操作完成后,受油机减速从而使插头与锥套分开。硬管式也称为伸缩管式(boom-andreceptaclerefueling,BRR),加油操作主要由加油员操纵加油机尾部伸出的伸缩管完成,与此同时受油机与加油机需要保持适当的相对位置和姿态。目前中国已经掌握了软管式空中加油技术并已形成战斗力,同时业已开始对硬管式空中加油技术进行预先论证研究。与硬管式相比,软管式加油技术的实现相对简单,但是其加油速度慢、对恶劣天气以及大气扰动的适应性差、对受油机飞行员技术要求高,这使得改造软管式加油技术使其适应自动空中加油的需求非常困难,因此软管式加油技术并不适用于UAV-AAR。在无人机自动空中加油的过程中,加油机和受油机(即无人机)之间的相对位姿估计是否精确是决定空中加油成败的关键性因素,这就要求研发更为可靠的高精度导航系统。传统的无人机导航系统一般是基于全球定位系统(globalpositionsystem,GPS)、惯性导航系统(inertialnavigationsystem,INS)等研发的组合导航系统,但是并不一定适用于无人机自动空中加油的工作环境,例如GPS卫星信号在加油过程中可能会被加油机遮挡或者受到干扰。视觉传感器(如摄像头等)具有更新频率高、重量轻、成本低等优点,因此将计算机视觉技术引入导航系统可以有效地弥补现有的常用传感器系统的不足,提高空中加油过程中相对位姿估计和导航的精度。此外,利用多传感器数据融合技术将来自视觉传感器、GPS和INS的数据进行融合后可以得到精确度更高的相对位姿信息。近十年来,研究人员针对软管式和硬管式自动空中加油技术都提出了相应的解决方案[6,7,8,9,10,11,12,13],但最近的研究热点和重点逐渐集中在基于视觉的硬管式自动空中加油技术,其典型系统框图如图1所示。现有的基于视觉的硬管式自动空中加油技术的解决方案又可以划分为基于特征跟踪和基于图像2类。1自动空中加油技术流程在研究无人机自动空中加油技术的时候,有如下假设:1)自动空中加油过程在中高空进行,加油机保持平飞状态;2)加油机和无人机上装载着GPS、INS、摄像头等常用的传感器系统;3)加油机和无人机之间的通信链路可以进行简单的通信。硬管式自动空中加油过程可以划分为以下4个阶段:1)会合阶段(rendezvousingphase)。在此阶段,无人机从执行任务的空域移动到指定的预接触(pre-contact)位置等候。预接触位置一般位于加油机的后下方,与加油机保持足够的安全距离。预接触位置的信息可以通过地面控制中心发送给无人机,也可以通过加油机和无人机之间的通信链路进行传送。2)近距逼近阶段(dockingphase)。为了完成空中加油,无人机需要移动到加油机后下方的加油接触(contact)位置,并保持一定的稳定状态。无人机从预接触位置机动到加油接触位置的过程就是近距逼近阶段。3)加油阶段(refuelingphase)。待无人机在加油接触位置上保持稳定之后,加油机上的加油员操纵机身尾部的伸缩管进行加油,并在加油完成后完成伸缩管的断开。在此过程中两机需保持编队飞行。4)脱离阶段(dismissingphase)。在这个阶段,无人机从加油接触位置移动到远离加油机的安全位置。至此,硬管式自动空中加油完成。基于视觉的自动空中加油技术所要解决的问题是在近距逼近阶段和加油阶段控制无人机完成预定的动作,同时,导航和控制系统的精度需要达到厘米级。一个完整的基于视觉的自动空中加油解决方案至少应包括以下内容:1)摄像头和辅助识别标志配置方案;3)多传感器融合算法;2位姿跟踪基于特征跟踪的解决方案需要已知飞机模型和视觉传感器位置信息等参数,其基本思路是提取视觉传感器获取的图像中特定的特征(如点、线等),然后进行跟踪,从而估计出加油机和无人机之间的相对位姿信息,并将估计得到的位姿信息应用于控制律中。这一类解决方案的典型代表有:Fravolini等设计的UAV-AAR导航和控制系统(简称为WVU系统)、Doebbler等设计和开发的解决方案(简称为VisBRR系统)等。2.1实验流程及仿真实验WVU系统的研究目标为:在近距逼近阶段,引导无人机从预接触位置移动到一个预先定义好的长方体空域内,并使其在加油阶段保持在此长方体空域内。Fravolini等针对上述目标开展了大量的研究工作,搭建了基于VRT(virtualrealitytoolbox)的仿真系统,通过仿真实验对比分析了多种可行的视觉处理算法。在WVU系统中,单目视觉传感器(摄像头)安装在无人机的机头位置上,指向斜上方以拍摄加油机的图像。为了便于进行图像特征的提取和跟踪,WVU系统在加油机尾部设置了多个点状的光学辅助识别标志物(如LED),以此作为待跟踪的图像特征。这些辅助识别标志点在加油机上的位置坐标是已知的。在第k个周期,记X(k)=[xk,yk,zk,ψk,θk,φk]T为加油机在摄像头参考系中的位姿信息,其中[xk,yk,zk]T为位置坐标,[ψk,θk,φk]T为姿态角。WVU系统将视觉处理流程划分为3个步骤:特征提取、特征点匹配和相对位姿估计,具体描述如下:1)对摄像头获取的图像进行特征点提取,得到特征点的坐标集合PD(k)。2)以GPS、INS的数据作为X(k)的估计X^(k)的初始值,采用针孔摄像机模型可以计算出辅助识别标志点在摄像头参考系中的位置坐标,记为点集合PP(k)。特征点匹配就是要找出PP(k)中的特征点在PD(k)中的对应坐标。当更新频率较高时,也可以采用X(k-1)(k≥2)作为X(k)估计的初始值。3)记ΔP(k)为匹配好的特征点在PD(k)和PP(k)中坐标的差值组成的向量,则相对位姿信息X(k)的估计问题可以表述为:选取合适的X^(k),使得‖ΔP(k)‖最小。这一问题可以用GaussNewton法等算法进行迭代求解。研究人员对上述3个步骤分别选取了2种可行的视觉处理算法进行性能和鲁棒性对比实验。实验采用了虚拟图像和“真实”图像2组数据,虚拟图像是由基于VRT的仿真系统中的仿真摄像头提供的图像序列,而“真实”图像则是研究人员在实验室里将一架翼展约为63.5cm的波音747-400飞机模型悬挂在半空中,从模拟无人机摄像头的方位进行拍摄得到的。在完成相对位姿估计之后,WVU系统采用了扩展Kalman滤波器(extendedKalmanfilter,EKF)对来自视觉传感器和GPS的数据信息进行融合,以期获得更高的导航精度。WVU的仿真系统建立了伸缩管的模型,对波音747和B-2飞机的模型进行调整后建立了KC-135加油机和ICE-101无人机的模型,同时还考虑了大气紊流和加油机尾涡的影响,并通过VRT实现了仿真过程的可视化。加油机和无人机的自动驾驶仪均采用LQR(linearquadraticregulator)方法进行设计。仿真结果表明WVU系统能够满足硬管式无人机自动空中加油厘米级的导航精度要求。2.2无人机加油接口的建立Valasek等针对软管式自动空中加油技术开发了主动视觉导航系统VisNAV,能够提供高精度的六自由度数据信息。针对硬管式自动空中加油,Doebbler等也开发了VisBRR系统,与VisNAV系统的主要区别是选用的视觉传感器和视觉处理算法不同。VisBRR系统的研究目标是:在加油阶段,当无人机到达加油接触位置后,引导伸缩管进入无人机机头上的加油接口并完成加油操作,同时不需要加油员进行操作。在VisBRR系统中,单目摄像头安装在加油机尾部伸缩管的上方,指向斜下方位置以拍摄无人机的图像;块状辅助识别标志被喷涂在无人机机头上的加油接口附近。VisBRR选用的视觉处理算法是主动可变轮廓(activedeformablecontour)算法,也称为visualsnake算法,它采用闭合的不相交的轮廓来分离图像中的目标区域。在VisBRR系统中,目标区域即块状辅助识别标志,并且该标志的形状、大小、位置和颜色等参数均视为已知,利用这些已知参数就可以实现对块状辅助识别标志的跟踪,进而估计出无人机和加油机的相对位姿。VisBRR基于VisualC++建立了仿真系统,加油机模型是基于波音747建立的,无人机模型UCAV6则是AV-8B飞机的约60%缩比模型。伸缩管控制器采用的是源自VisNAV系统的PIF-NZSP-CRW控制器。Doebbler等分别在无大气紊流影响、轻微紊流和中度紊流3种情况下进行了仿真实验。在伸缩管进入无人机上的加油接口的过程中,两者的相对速度不能过大以便尽可能地减小碰撞损伤。仿真结果表明:VisBRR系统能够引导伸缩管进入加油接口中,并且在保证最大相对速度小于0.5m/s的前提下精度可以达到±2cm。2.3路位姿估计模型郭军等通过引入3摄像头视觉传感器系统,改进了WVU系统存在的可视范围小、鲁棒性差等缺点。3个视觉传感器分别独立进行相对位姿估计,之后再对3路位姿估计信息进行融合,最终的融合结果是3路相对位姿的加权平均值。权重系数综合考虑了每路位姿估计信息的可信度和相容性指标,可信度指标与每一路检测到的特征点个数正相关,而相容性指标则与某路的估计向量和其他向量的距离负相关。Williamson等采用了与VisBRR系统类似的摄像头配置方案,但在受油机上安装的是点状视觉辅助识别标志,并且搭建了半实物仿真环境,其中伸缩杆、受油机均采用实物缩比模型,大大提高了仿真的拟真度。3基于三维模型的仿真实验基于图像的解决方案将视觉传感器视为二维传感器,直接将图像自身的特征如图像Jacobian矩阵、灰度值等引入控制律中。Weaver等提出的使用预测图像作为视觉辅助技术的解决方案(简称为Weaver系统)是基于图像的解决方案的典型代表。Weaver系统总体框图如图2所示。在Weaver系统中,单目红外摄像头安装在受油机机头位置,仰角为28°。加油机KC-135R不需要安装辅助识别标志。Weaver系统中处理的图像均为红外图像,这样做的好处是:与普通彩色图像相比,红外图像的复杂度更低,可以减少图像处理的计算量。Weaver系统中利用加油机的三维模型结合飞机之间相对位姿的预测信息来生成预测图像,其算法是基于VRT和KC-135R加油机的三维模型实现的,VRT使用基于OpenGL的技术来渲染生成预测图像。Weaver系统将生成的预测图像与实际测量图像进行图像比对,并将比对得到的图像误差输入EKF,与INS数据融合之后得到加油机和受油机的相对位姿信息。为了寻找能够更准确地评估预测图像与测量图像之间误差的图像比对算法,Weaver等利用格鲁曼公司(NorthropGrummancorporation)的飞行测试数据对算法进行了对比实验,这些数据包括2架飞机的时域位置信息和加油机真实的红外图像。仿真实验中测试了3种图像比对算法:图像强度差平方和(sumsquareddifferenceofintensity)算法、图像梯度(magnitudeofgradient)算法和带有上下限的图像梯度(gradientwiththreshold)算法。仿真结果表明:3种算法均有各自的优势和缺陷,组合使用图像强度差平方和算法和基于图像梯度的算法可能获得最佳的图像比对效果。Weaver等尚未完成整个解决方案的搭建和闭环实验,其下一步的工作是用无迹Kalman滤波器(unscentedKalmanfilter,UKF)取代目前用于状态估计的EKF,以期提高系统的性能和实用性。4比较与总结4.1基于特征跟踪的解决方案现有的自动空中加油解决方案大多数是基于特征跟踪的,这是因为无人机和加油机的模型以及视觉传感器位置信息等参数往往可以事先获得,所以基于特征跟踪的解决方案比较容易实现,而且其设计思路比较直观,便于应用现有技术。其缺点是导航精度高度依赖于特征跟踪的效果,一旦出现图像特征丢失或者错误匹配,就会造成导航精度的大幅下降。同时,这类方案的计算量比基于图像的解决方案的更大。此外,多数基于特征跟踪的解决方案采用的是单目视觉系统,因此存在着摄像头视野易受阻挡、可靠性低等缺点,采用多个摄像头可以在一定程度上弥补这些缺点。几个有代表性的基于特征跟踪的解决方案的对比如表1所示。不同于基于特征跟踪的解决方案,基于图像的解决方案仅使用能够从图像中直接得到的数据,不需要事先已知飞机模型和视觉传感器位置信息等参数,因而对摄像头参数和飞机模型的误差不敏感。但其缺点是不够直观、实现的难度较大,并且在运算中可能出现局部极小、矩阵奇异等问题,进而导致导航与控制系统出现误差甚至不可用。基于特征跟踪和基于图像这2类方案各有利弊,一个很自然的改进思路就是对这2类方案加以整合,在综合2类解决方案优点的同时避免它们的缺陷,引入切换机制是其中的一种可行途径。本文将切换机制应用到基于视觉的UAV-AAR过程中,以实现自动空中加油过程中2类解决方案的平滑切换。4.2tchssot-schemesorts系统sss基于切换模式的双目视觉解决方案(switchingschemebasedstereovisionsystem,SSSsystem)的主要内容如下:1张数和张数在SSS系统中,2个摄像头对称的安装在加油机尾部伸缩管的两侧,均指向后下方以获取无人机的图像,摄像头应当具备一定的角度调整能力。此外,需要在无人机机头上设置多个点状的信号灯作为辅助识别标志物,辅助识别标志点的个数为N。2无人机图像的预处理SSS系统的视觉处理模块包括一个基于特征跟踪的模块(featuretrackingbasedmodule,FTM)和一个基于图像的模块(imagebasedmodule,IM)。2个视觉处理模块始终同时运行,在近距逼近阶段和加油阶段分别互为主备,即FTM和IM组成两余度异构热备份视觉处理模块。在近距逼近阶段,SSS系统首先启动FTM,IM作为热备份;进入加油阶段后,由于2架飞机的距离进一步减小,无人机机头上的部分辅助识别标志物会离开摄像头视野范围,不利于进行特征跟踪,因此切换到IM,FTM则转为热备份。相对位姿估计的数据由加油机通过两机之间的通信链路发送给无人机。FTM采用与WVU系统类似的视觉处理流程,即首先从来自摄像头的图像中提取出所需要的图像特征点集合(该集合部分或者全部包含了无人机机头上的N个辅助识别标志点),然后在提取出的点集合中确定辅助识别标志点的对应坐标,再通过迭代算法估计出加油机和无人机的相对位姿。IM采用与Weaver系统类似的视觉处理流程。因为SSS系统选用的是彩色摄像头,所以需要首先进行图像边缘提取,分离出无人机的轮廓,之后再进行图像比对和相对位姿估计。摄像头采集的图像需要从RGB色彩空间转换到HSV色彩空间,然后分离出V通道的数据输入FTM和IM进行处理,这样可以减弱云彩等的干扰。在综合考虑了算法的运行速度、误报率(“误报”指的是提取的特征点并非所需的辅助识别标志点)和通用性(经过简单修改即可同时用于特征点检测和边缘检测)之后,视觉处理算法选用了SUSAN(smallestunivalvesegmentassimilatingnucleus)算法。3正常工作的位姿估计对FTM和IM分别定义阈值函数和切换阈值。FTM的阈值函数fF(k)定义为第k个周期(k≥1)FTM检测到的辅助识别标志点的个数,切换阈值TF取为N/2。若fF(k)<TF,则认为FTM进行相对位姿估计会出现较大误差甚至无法完成,故切换到IM。由于基于视觉的解决方案更新频率较高(不低于10Hz),而且自动空中加油过程中2架飞机的飞行状态比较平稳,所以相邻2个周期内两机的相对位姿不会出现剧烈波动。IM的阈值函数fI(k)可以定义为第k个周期和第(k-1)个周期(k≥2)IM估计得到的相对位姿差值的平方和,切换阈值TI可以根据2架飞机的实际性能参数和周期长度计算得到。若fI(k)>TI,则切换到FTM。如果在同一个周期内,FTM和IM均无法正常工作,那么就采用上一个周期的位姿估计结果;如果连续Nerror个周期出现FTM和IM均无法正常工作的情况,则发出警示信息、中止空中加油操作、指示无人机远离加油机,同时提示加油员进行手动干预。Nerror可以根据UAV-AAR允许的安全距离和两机的相对速度计算得到。4加权平均权重系数SSS系统中的2个摄像头分别独立进行相对位姿估计,视觉处理模块的最终输出结果采用2路估计值的算术平均值或者加权平均值,当采用加权平均值时,权重系数可以进行自适应的调整,以提高系统的适用性。同时,基于EKF设计自适应滤波器,对GPS、INS和视觉传感器的数据进行融合,在保证融合精度的基础上,尽可能地降低运算复杂度。5飞行控制器的设计与实现SSS系统的仿真环境基于MATLAB/Simulink和VegaPrime搭建。加油机和无人机分别采用波音747和F-16的缩比模型,它们的飞行控制器将采用常规的LQR方法进行设计。仿真环境中也将包括伸缩管的模型,并考虑大气紊流和加油机尾涡的影响。加油机、无人机、伸缩管和大气的动态模型以及飞行控制器均基于MATLAB/Simulink搭建。使用VegaPrime软件进行视景仿真渲染,生成UAV-AAR的三维实时场景,获取图像序列,在仿真实验中对选用的视觉处理算法进行验证和测试。视觉处理模块则基于VisualC++和OpenCV开源库实现。4.3关键技术在分析上述典型解决方案的基础上,基于视觉的UAV-AAR系统涉及的关键技术可以总结如下:1无人机加油机性能测试和鲁棒性测试计算机视觉处理算法是UAV-AAR解决方案的核心,是实现高精度、高更新频率的导航与控制系统的关键。对于可能适用的视觉算法应当进行充分的性能测试和鲁棒性测试,并根据无人机自动空中加油的具体情况加以改进。采用双目或者多目视觉系统,通过简单的三角变换就可以方便地获得目标物体的位置信息,并且不需要事先知道目标物体的三维模型,这将非常有助于提高加油机和无人机相对位姿估计的精度和处理速度。采用切换机制或者其他方式对基于特征跟踪和基于图像这2类解决方案进行整合,若能恰当选择阈值函数、切换阈值等参数,就可以在综合2类方案优点的同时避免它们的缺点。2图像显示传感器无人机自动空中加油技术对导航和控制系统的精度和更新频率要求都很高,因此对数据融合的精度和处理速度都提出了很高的要求。均衡和兼顾两方面的需求,选择合适的多传感器融合算法非常重要。与GPS、INS等常见的传感器系统不同,视觉传感器输出的是图像,因此UAV-AAR技术需要解决异类信息融合的难题。Kalman滤波器是目前公认的进行多传感器数据融合最有力的