一种基于激光视觉融合的自动补给对接系统及其工作方法

一种基于视觉合的自动对接统及工作1.本发明涉及人消防技术领域尤其是涉及一种基激光视觉融合的动补给对接系统及其作方法。背技：2.在一些火灾发区域，例如森、草场或者一些存易燃易爆品的地，往往容易突然发生灾，并且快速蔓，在消防人员到之前就会导致火灾以控制并造成重大损失。因此有必实现一种能够及发现火灾并迅速在期扑灭的无人消防统，现有的无人防系统中，无人上携带的灭火剂是限的，且在无人机查阶段，由于无机持续续航能力需求，携带灭火剂导致无人机重量上、速度下降、影巡查工作时间。为了实现无人机在查阶段无需携带灭剂，并在无人机现火情的时候，及时将给水管道快连接到无人机上进灭火，需要对无机和给水管道进行快速、准确的动对接。3.中国专利cn202010662961.4提供了一种无人机灭火剂快速补系统，无人机可以通过自带的吸泵进行主动补，也可以通过消车上的快速定位连装置进行被动补给实现了无人机无落地停机、在空进行快速灭火剂补、循环灭火作业。是，无人机以及防车需要人为遥等操作才可以进行给工作，不能实现人消防，同时遇火情较大的时候需要不断的补给，能会导致难以控火情。4.中国专利cn202011260580.x提供了一种消防用无人机对接装，消防无人机可以通过连接辅无人机进行供水用以无人机进行间断消防工作，实连续消防作业。但无人机与辅助无机连接补水也需进行人为操作，不在消防人员到达之实现无人作业，就无法将火灾遏在萌芽状态。而且人机能装载的水量限，需要不断地用辅助无人机进补给，耗费的人力力较多。5.综上所述，于无人消防系统缺少一种能对无人进行自动对接补的装置，以能够在火发生初期、消防员未到位的时候及时补给充足的灭剂对火灾进行控制此外，现有的对方法大多通过多传感器分别进行定、测距等工作，会生许多冗余的数，造成资源的浪。技实要素：6.本发明的目就是为了克服上现有技术存在的缺而提供一种基于光视觉融合的自动补对接系统及其工方法，以解决现无人机消防携带灭剂量有限、需要等消防人员的控制行补给，进而造不必要损失的问题7.本发明的目可以通过以下技方案来实现：一种于激光视觉融合自动补给对接系统，括补给平台、给部以及无人机本，所述补给平台设在可移动的消防小上，所述给水部装在补给平台上所述无人机本体与水部之间通过激光觉信息融合，以够实现自动对接8.所述给水部括给水管道，所给水管道的一端与防小车内的水箱连接，所述给水管道的主存放在消防小车存储箱内，当无机本体与给水部完成对接后，无人机本将携带给水管道空，实现持续灭作业。9.进一步地，述补给平台包括机部，所述停机部设置有用于连接装给水部的管道安装，所述管道安装的外围设置有管外圈，所述管道外包括可旋转的激光射圈以及双目相特征圈，所述激反射圈、双目相机征圈与无人机本体间相互协作，以无人机本体获取水管道的位置及深信息。10.进一步地，所激光发射圈上均设置有四个激光发镜，所述四个激发射镜之间共同形反射环，以对无机本体发出的激进行反射。11.进一步地，所双目相机特征圈于激光反射圈的外。12.进一步地，所无人机本体包括火枪、水泵箱、管对接头、两台可转视角的双目相机及两台激光测距，所述管道对接安装于无人机本体底部，所述两台双相机分别安装于人机本体两端的部，所述两台激光距仪分别安装于无机本体两侧，所灭火枪安装于无机本体的一端，所双目相机在无人机逻阶段为平视视，当无人机在巡阶段发现火情之后通过双目相机识别防小车及补给平的位置，双目相会根据跟踪消防小的位置向下翻转视，直至无人机本移动到补给平台方后，双目相机翻至俯视视角。13.进一步地，所给水部设置有无机连接头和电磁开，所述无人机连头设置在给水管道出口一端，所述人机连接头安装管道安装口位置，述电磁开关安装在水管道的出口边，所述无人机连头与管道对接头完对接后，所述电磁关被触发，以完管道对接头与给管道之间的吸附连。14.进一步地，所无人机连接头采电磁铁材料，所述人机连接头为圆台结构，所述无人连接头的顶面圆径小于管道安装的直径。15.一种基于激光觉融合的自动补对接系统的工作方，包括以下步骤16.s1、无人机在查阶段发现火情，双目相机启动，获取补给平台的置信息；17.s2、根据补给台的位置信息，人机朝补给平台移，同时双目相机随补给平台的位置下翻转变换视角直至无人机移动补给平台的上方，目相机由平视视角全翻转为俯视视；18.s3、双目相机拍摄的图像进行标检测，以获取给管道位置，使无机与给水管道之间成粗对准；19.s4、激光发射旋转形成激光反环，以便无人机以意航向向下降落，激光测距仪都能收到反射激光；20.s5、激光测距通过接收到的反激光，以获取给水道位置，使无人的管道对接口轴线给水管道轴线对，完成无人机与水管道之间的精对；21.s6、双目相机相机特征圈拍摄取测距特征点，两双目相机分别进双目立体匹配，以取特征点视差图之后分别进行双视差测距，根据测结果是否一致，以整无人机俯仰角，从而获取给水道前后深度信息；22.s7、两台激光距仪分别发射正调制激光，经过激反射镜的反射，过激光测距仪的鉴器接收反射的激，并通过往返激的相位差计算出给水管道的深度信息，据左右深度是否致，以调整无人的滚转角度，从而取给水管道左右深信息；23.s8、将给水管前后深度信息以给水管道左右深度息进行融合处理得到给水管道的深信息融合结果；24.s9、根据给水道的深度信息融结果，无人机在向降落过程中实时整自身位置，以保管道对接口轴线给水管道轴线对，同时结合无人机接头进行修正，使无人机降落至补平台、管道对接与给水管道的出口接上、触发电磁开、两端通过电磁附完成对接；25.s10、无人携带给水管道重升空，进行灭火作。26.进一步地，所步骤s6具体包括以下步骤27.s61、双目机拍摄图像后，图像进行灰度转化高斯去噪、图像强后输入图像语义分模型中，将给水道及相机特征圈息分割出来；28.通过opencv获取小外接矩形，两双目摄像头分别选外接矩形与相机特征圈的前、后切点作为特征点这两个特征点为台双目相机向下视与补给平台平面垂的交点，双目相至特征点的距离垂直距离；29.s62、记双相机左右两视图相机坐标系原点分为o1和o2，两坐标系的x1和x2轴为成中的水平方向，学关系上两轴重合；30.y1和y2轴成像中的垂直方，数学关系上，轴平行；31.z1和z2轴光轴，和成像平成垂直关系，数关系上，两轴平行32.s63、双目机坐标系原点o1和o2分沿z1和z2轴到各自成平面的距离就是相机的焦，记为f；33.两个原点间沿平方向即x轴方向的距离相机的基线，基长度记为b；34.世界坐标系中征点p(x，y，z)在两台双相机图像中的位分别是p1(x1，y1)和p2(x2y2)，其中，由于两机是水平并排组双目相机，所以y1＝y2，两点成像视差记为d＝x1-x2；35.s64、由双视差测距法可以到特征点p(x，y，z)的深度值：[0036][0037]两台双目相机分获取对应特征点深度值，根据偏调整俯仰角，确保人机前后方向与给管道呈水平状态得到给水管道前方向相同的深度值12。[0038]进一步地，所述骤s7具体包括以下步骤：[0039]s71、两台激光测仪的激光发射器激光反射镜的距离为z3和z4，记激光的发射的速度为，激光往返的总时为t，以z3为例，则有：[0040][0041]同理可知z4的算式；[0042]s72、记激光发射正弦调制光频率v，发射器发射与鉴波器收直接的激光相位差为则有激测距仪测量深度即为激光发射器激光反射镜的距离因此对应于z3，可得激光测距仪量深度值为：[0043][0044]同理可知对应于z4的光测距仪测量深值；[0045]s73、两台激光测仪分别获取对应量深度值，根据偏调整滚转角，确无人机左右方向与水管道呈水平状，得到给水管道右方向相同的深度34。[0046]进一步地，所述骤s8具体包括以下步骤：[0047]s81、将给水管道后深度信息z12与左右深度信息34经过信号处理、征提取、归一化处理后送神经网络；[0048]s34、构建孪生神网络，对z12以及z34进行打分，确定似度，当相似度于或等于预设阈时，对z12以及z34进行加权平均，到给水管道的深信息融合结果为[0049][0050]其中，f12、f34分别为z12和z34对应的权值。[0051]与现有技术相比本发明通过设置给平台、给水部及无人机本体，无机本体与给水部之通过激光视觉信融合，能够实现动对接，使得无人在巡查发现火情后能自发地移动至给平台，并与给管道对接，以携带水管道升空进行灭作业，不需要人辅助操作，在消人员到来之前能第时间将火势扼杀在芽状态，有效减火灾的影响、减经济损失。[0052]本发明通过在补平台的管道安装设置可旋转的激反射圈，使得无人本体上的激光测距能够在任意方向收到反射的激光无人机本体能够以意航向降落，不需调整方向对准，约了对接时间、高了对接精度；此，本发明采用锥台的无人机连接头使得无人机降落即使略有偏差也能过锥台修正实现成对接，进一步提了自动对接的准性。[0053]本发明通过在无机本体上设置可转视角的双目相以及激光测距仪，用双目相机、激光距仪与补给平台的相机特征圈、光反射圈协作，以现无人机本体与给管道之间的对准无人机获取给水道的位置及深度信，能够保证无人机体与给水管道之的自动化精准对。[0054]本发明利用双目机以及激光测距分别获取给水管的前后方向深度以左右方向深度，并给水管道的前后向深度信息与左方向深度信息进行据融合，以得到最的深度信息，由能够减少数据冗、降低自动对接的本，并且保证对精度、降低误差提高稳定性。附图说明[0055]图1为本发明的系外形结构示意图[0056]图2为本发明中补平台与给水部的视结构示意图；[0057]图3为本发明中补平台的俯视结构意图；[0058]图4为本发明中无机本体的结构示图；[0059]图5a为本发明双目相机的平视角示意图；[0060]图5b为本发明双目相机的俯视角示意图；[0061]图6为无人机本体给水部完成对接效果示意图；[0062]图7为本发明的无机本体与给水管对接的过程示意图[0063]图8为本发明中通双目相机获取给管道前后深度信息工作流程示意图[0064]图9为本发明中通激光测距仪获取水管道左右深度信的工作流程示意图；[0065]图10为本发明视觉、激光深度息融合的过程示意；[0066]图中标记说明1、补给平台，2、给水部3、无人机本体，11、停部，12、管道外圈，121、光反射圈，122，双目相机征圈，123、激光反射，21、无人机连接头22、电磁开关，31、灭火，32、水泵箱，33、管对接头，34、双目相机35、激光测距仪具体实施方式[0067]下面结合附图和体实施例对本发进行详细说明。[0068]实施例[0069]如图1～图6所，一种基于激光视融合的自动补给接系统，包括补给台1、给水部2及无人机本体3三个部分其目的是通过激视觉融合方式，以实现无人本体3与补给平台1上的水部2之间的快速精准接。[0070]补给平台1安装在移动的消防小车，补给平台1包括停机部11、管外圈12。停机部11供人机本体3降落后连接给部2所用，管道安装口置在停机部的中间位置管道安装口用于装给水部2，管道安装口外部为道外圈12，管道外圈12为激光反射圈121以及双相机特征圈122，激光反射121设有四个激反射镜123，可进行高速旋转使反射镜123能在整个圈范围内形成反射环激光进行反射，便于无人机本体3能以任何航向给水部2的给水管道深进行测量，不需对正机头朝向就直接降落，节省接时间；相机特征圈122位激光反射圈121外，供无人机本体3的双相机34选取测距特征点用。[0071]给水部2的给水管设有无人机连接21以及电磁开关22，无人机连接头21安装在补给平台的管道安装口，被无人机本体3连接后用于携带水管道升空，采用电磁材料，连接头是台的形状，保证人机降落过程中即略有偏差，由于锥顶面圆直径大小于管道安装口的小，无人机也能通锥台修正使连接口利对接。给水管边缘安装有电磁关22，与无人机连接成功后会触发电磁关22，完成两端的吸附连。给水管道的主体放在消防小车的管道储存箱，在无人机连接水管道之后，可无人机携带升空，水管道的另一端连着消防小车的水，以持续供给灭火剂。[0072]无人机本体3包括火枪31、水泵箱32、管道接头33、两台可旋转视角目相机34(安装无人机本体3的前后两端)、两台光测距仪35(安在无人机本体3的左右两)。[0073]其中，双目相机34可转视角，如图5a和5b所示，无人机巡逻段双目相机34为平视视，当无人机在巡阶段发现火情之后通过双目相机34识别消防小车及补给台1位置，双目相机34会根跟踪消防小车的置向下旋转视角，直至无人移动到补给平台1的上方，双目相机34视角旋至俯视视角。无人机通过目相机34以及激光测距仪35数融合确定给水管位置、深度，降落至给管道上方，管道接头33与补给平台1上已安装的给水管道通过触发电磁关22进行对接，对接完成后人机本体3携带给水管升空进行灭火作业[0074]将上述系统应用实际，其具体的接工作过程如图7所示：[0075]s1：无人机进巡查工作，当发火情的时候，位于人机前后两端的旋转双目相机启动，摄并识别出消防车及补给平台的置，开始往消防小及补给平台的方向动。[0076]s2：无人机朝给平台靠近，双相机则跟随补给平位置转动视角，至无人机移动到补给台正上方，准备落。[0077]s3：无人机前两端的两台双目相机视角动到俯视视角，拍摄的图像进行目标检测，找到水管道位置，无机与给水管道进粗对准。[0078]s4：给水管道圈带动安装在外上的激光反射镜开高速旋转，形成光反射环，以便无人以任意航向向下落时，激光测距都能接收到反射激。[0079]s5：无人机左两侧的两台激光距仪启动，通过激反射获取给水管位置，将无人机上管道对接口轴线给水管道的轴线齐，进行精对准。[0080]s6：选取给水道的特征点，两双目相机分别进行目立体匹配获取征点视差图，然后分进行双目视差测，根据测距结果否一致来调整无人俯仰角度，最终获管道前后深度信。[0081]s7：左右两台光测距仪分别发正弦调制激光，经激光反射镜的反，通过激光测距仪的波器接收反射的光，并通过往返光的相位差计算给管道的深度信息，据左右深度是否致来调整无人机滚转角度，最终获管道左右深度信息[0082]s8：将双目相以及激光测距仪取的深度信息经过号处理、特征提、归一化处理后送入经网络，并构建生神经网络，对目相机及激光测距获取的深度信息进打分，评价相似度。最后将输出结果进行融合，权平均得到深度信息最结果。[0083]s9：无人机向降落，通过视觉光融合的实时深度息辅助并不断调无人机的位置，保持人机的管道对接与给水管道保持准，辅以无人机连头修正完成无人机降落。无人机降到补给平台后，道对接头与给水管对接上，触发电磁关，两端通过电吸引完成对接。[0084]s10：无人机携带水管道重新升空进行灭火作业。[0085]在实现自动对接过程中，如图8～10所示其中所用的测距法为：[0086]1.双目相机获管道图像后，对像进行灰度转化、斯去噪、图像增后输入图像语义分割型中，将管道及征圈信息分割出。通过opencv获取最小外接矩形，前、置双目摄像头分选取外接矩形与道特征圈的前、后切点作为特征点，两点为两台相机下视线与补给平平面垂直的交点，机至特征点的距离垂直距离。[0087]2.记双目相机右两视图的相机标系原点分别为o1和o2，两坐标系x1和x2轴为成像中水平方向，数学系上两轴重合；y1和y2轴为成像的垂直方向，数学关系，两轴平行；z1和z2轴光轴，和成像平成垂直关系，数学关系上，两平行。[0088]3.相机坐标系点o1和o2分别沿z1和z2轴到各自像平面的距离就相机的焦距，记为f两个原点间沿水平向即x轴方向的距离为相机的基线，线长度记为b。界坐标系中的特征p(x，y，z)在左右两相机图像中位置分别是p1(x1，y1)p2(x2，y2)，其中，由于相机是水平并排成双目相机，所以y1＝y2，点的成像视差记为d＝x1-x2。[0089]4.由双目视差距法可以得到特点p(x，y，z)的深度值：[0090][0091]5.前后双目相分别获取对应特点的深度值，根据差调整俯仰角，保无人机前后方向与道呈水平状态，到前后方向相同深度值z12。[0092]6.左右两台激测距仪的激光发器到反射镜的距离为z3和z4，记激光的发射的速度为v激光往返的总时间t，以z3为例，则有：[0093][0094]z4同理。[0095]7.记激光发射正弦调制光频率v，发射器发射与鉴波器收直接的激光相位差为则有可得光测距仪测量深值(即激光发射器到反射的距离)为：[0096][0097]z4同理。[0098]8.左右激光测仪分别获取对应度值，根据偏差调滚转角，确保无机左右方向与管道呈平状态，得到左方向相同的深度z34。[0099]9.将无人机与目相机测量的深值送入神经网络，建孪生神经网络对z12以及z34进行打分，确定似度。当两者相时，将结果加权均，分别以f12和f34作为权值，得到终输出深度值：[0100][0101]综上可知，本发提供一种基于视激光融合的用于人消防系统的无人与给水管道进行自对接的技术方案当无人机巡查发火情后，无需人员制，能够在视觉及激光传感器的助下主动飞至补平台与给水管道进自动精准连接，然携带给水管道重升空进行灭火。此有效解决现有无机消防携带灭火剂有限、需要等待防人员的控制进补给的问题，有利后续及时可靠地对情进行控制、减经济损失。技特：1.一种基于激视觉融合的自动给对接系统，其特在于，包括补给台(1)、给水部(2)以及人机本体(3)，所述补给平(1)设置在可移动的消小车上，所述给水部2)安装在补给平台(1)上，述无人机本体(3)与给部(2)之间通过激光视信息融合，以能实现自动对接；述给水部(2)包括给水管道，所述给水管的一端与消防小内的水箱相连接所述给水管道的主存放在消防小车的储箱内，当无人本体(3)与给水部(2)完成对接后无人机本体(3)将携带给管道升空，实现续灭火作业。2.根据权利要求1所述的一种基于激光视觉合的自动补给对系统，其特征在，所述补给平台(1)包括停机部(11)，述停机部(11)上设置有用连接安装给水部(2)的管安装口，所述管道安装口外围设置有管道圈(12)，所述管道外圈(12)包括旋转的激光反射圈(121)以及双相机特征圈(122)，所述双目相机征圈(122)位于激光反射圈(121)的围，所述激光反圈(121)、双目相机特征圈(122)与无人机本体(3)之间相互作，以使无人机体(3)获取给水管道的位置及深度息。3.根据权利要2所述的一种基于激光视融合的自动补给接系统，其特征在于，所述激光射圈上均布设置四个激光发射镜(123)，所述四激光发射镜(123)之间共同成反射环，以对人机本体(3)发出的激光进行反射4.根据权利要求2所述一种基于激光视融合的自动补给对系统，其特征在于，所述无人机体(3)包括灭火枪(31)、水泵(32)、管道对接头(33)、两台可翻转视角的双相机(34)以及两台激光测仪(35)，所述管道对接(33)安装于无人机本(3)的底部，所述两台双目机(34)分别安装于无人本体(3)两端的底部，所两台激光测距仪(35)分别装于无人机本体(3)两，所述灭火枪(31)安装无人机本体(3)的一端，所双目相机(34)在无人机逻阶段为平视视角，当无机在巡逻阶段发火情之后，通过目相机(34)识别消防小车及补给平台(1)位置，双目相机(34)会根跟踪消防小车的置向下翻转视角，直至无人机体(3)移动到补给平台(1)上方后双目相机(34)翻至俯视视角。5.根据利要求4所述的一种基于光视觉融合的自补给对接系统，其特征在于，所给水部(2)设置有无人机连接(21)和电磁开关(22)，所述无人机连接头(21)设置给水管道的出口端，所述无人机连头(21)安在管道安装口位置，述电磁开关(22)安装在给管道的出口边缘所述无人机连接头(21)与管对接头(33)完成对接后，述电磁开关(22)被触发以完成管道对接头(33)给水管道之间的附连接。6.根据权利要求5所述一种基于激光视觉融合的动补给对接系统其特征在于，所无人机连接头(21)采用电磁铁材料，所无人机连接头(21)为圆锥结构，所述无人连接头(21)的顶面圆直径小于道安装口的直径7.一种基于激光视觉融合自动补给对接系统的工作方法其特征在于，包以下步骤：s1、无人机在巡查阶发现火情时，双目相机动，以获取补给台的位置信息；s2、根据补给平的位置信息，无人机朝给平台移动，同双目相机跟随补平台的位置向下翻变换视角，直至无机移动至补给平的上方，双目相由平视视角完全翻为俯视视角；s3双目相机对拍摄图像进行目标检测以获取给水管道置，使无人机与给水道之间完成粗对准；、激光发射圈旋转形成激反射环，以便无人以任意航向向下降落时，光测距仪都能接到反射激光；s5、激光测距仪通接收到的反射激光，以取给水管道位置使无人机的管道接口轴线与给水管轴线对齐，完成无机与给水管道之的精对准；s6、双目相机从相机征圈拍摄选取测距特征，两台双目相机别进行双目立体配，以获取特征点差图，之后分别进双目视差测距，据测距结果是否致，以调整无人机仰角度，从而获取水管道前后深度息；s7、两台激光测距仪分别发正弦调制激光，经过激反射镜的反射，过激光测距仪的波器接收反射的激，并通过往返激光相位差计算出给管道的深度信息根据左右深度是否致，以调整无人的滚转角度，从获取给水管道左深度信息；s8、将给水管道前后深度信以及给水管道左右深度信进行融合处理，到给水管道的深度信息融合结；s9、根据给水管道的深信息融合结果，人机在向下降落过程中实时调自身位置，以保管道对接口轴线给水管道轴线对准同时结合无人机连头进行修正，使无人机降落至补平台、管道对接口给水管道的出口对上、触发电磁开、两端通过电磁附完成对接；s10、无人机携带给水管道新升空，进行灭作业。8.根据权利要求7所述的种基于激光视觉融合的动补给对接系统工作方法，其特在于，所述步骤s6具体包括以下步骤s61、双目相机拍摄图像后对图像进行灰度转、高斯去噪、图像增强后输入像语义分割模型，将给水管道及机特征圈信息分割来；通过opencv获取小外接矩形，两双目摄像头分别取外接矩形与机特征圈的前、后切点作为特征点这两个特征点为台双目相机向下视与补给平台平面垂的交点，双目相至特征点的距离垂直距离；s62、记双目相机左右两视图相机坐标系原点别为o1和o2，两坐标系的x1和x2轴为成像中的水平方，数学关系上两重合；y1和y2轴为成像中的垂方向，数学关系上，两平行；z1和z2轴为光轴和成像平面成垂关系，数学关系上，两轴平行；、双目相机坐标系原点o1和o2分沿z1和z2轴到各自成像平面的距离是相机的焦距，为f；两个原点间沿水平向即x