一种消防机器人的极早期火情识别系统及识别方法与流程

一种消防人的早期火情系统识别法与1.本发明属于防领域，尤其涉一种用于消防机器的极早期火情识系统及识别方法。背技：2.目前，已在用中的消防机器主要采用遥控方式在火灾发生后进现场进行灭火作业，火装置对于起火位置的识别主要靠人工操作。3.例如，授权告日为2020年12月08日授权公告号为cn212090609u的实用新型专利，开了一种室内消机器人，其配备室内消防栓处，当生火灾时，室内的雾报警器将火灾号同时发送给消机器人和后方工作员。消防机器人到烟雾信号后，央控制系统开始作，根据信号指示往火源地。中央控系统可选择轮式履式行进方式，根据实际路况自由换两种行进方式。到火源后位于消机器人上的灭火开始工作，同时，爆摄像头和红外火探测器可收集火现场的状况并实传输给后方工作人，当火势扩大，灭器不能有效消灭源时，工作人员令消防机器人撤回并人为地就近安装防水管到消防机人的直流水枪上，消防机人便可对更大的火势进行救援4.该种消防机人的应用方式，够在在部分情况下替消防员进入危火灾现场，保障了消员与火灾现场的全距离，确保了防员的生命安全。5.但是，遥控消防机器人在实应用中仍然存在诸问题：6.(1)遥控式消防器人并无火情巡预防能力，只能在灾发生后代替消员进入现场危险地作业；7.(2)遥控式消防器人对于火情的别定位主要依靠专操作人员实现，法实现自主识别，易受到现场环境素及操作人员主因素干扰。8.图像识别，指利用计算机对像进行处理、分析理解，以识别各不同模式的目标和对的技术，是应用度学习算法的一实践应用。9.图像的传统别流程分为四个骤：图像采集→图像预处理→特征提取→图像识别。10.如果能够使得防机器人具备图识别功能，使其能在巡视路途中，据其拍摄到的图像行识别，则可以现在起火前对异高温点的识别，以在刚刚出现火情时及时发现，实现早期火情的识别定位。11.因此，实现随图像识别技术及器人技术的发展，现极早期火情的别定位，提高火情防及干预的智能程度，能够有效短火情识别时间，接减少火灾导致的命财产损失。技实要素：12.本发明所要解的技术问题是提一种消防机器人的早期火情识别系及识别方法。其利可见光图像检测块、红外热成像测模块、激光测距对异常高温点进行定位追踪，可实起火前的异常高点的识别和极早明火火情的识别。时，光电检测设保持与消防机器消防水枪的联动最终完成消防水枪于起火前异常高温或极早期火情的位识别和距离识。13.本发明的技术案是：提供一种防机器人的极早期情识别系统，包可移动式机器人的体和设置在本体的消防水枪，其征是：14.在机器人的本上设置一个旋转台；在旋转云台上置一个可调节俯角度的消防水枪；旋转云台上设置见光图像检测模、激光测距仪及红热成像检测模块；述可见光图像检模块、激光测距及红外热成像检测块设置在同一检测面上；15.所述的可见光像检测模块通过摄的可见光图像信对早期明火火情行识别判断；所述红外热成像检测块用于拍摄红外图，获取视场中各点位的温度情况，终可根据热图中常高温点位的分识别出高温隐患点极早期明火火情点所述的激光测距用于对可见光视或红外视场中出现高温隐患点或极早明火火情发生点行距离识别，实图像中深度信息的取；16.通过旋转云台自由旋转，包括见光图像检测模块激光测距仪及红热成像检测模块在的光电检测设备能够对机器人的周任意空间位置进探测；17.在机器人的本中设置一个控制，用于对可见光图信息、红外图像息及激光测距信息行融合处理，计高温隐患点或极期明火火情的位置息、温度信息，可输出最终的检结果；18.消防机器人在着预定的巡视路进行巡视期间，旋云台按照制定的视策略开始带动可光图像检测模块红外检测模块、光测距模块转动，对机器人四周方位进检测；19.若图像视场内位发生异常，旋云台改变转动策略接收控制器的实数据进行旋转，使电检测设备所在测平面的中心位对准目标点位；此，控制器控制激光距仪进行测距；20.根据红外检测备和可见光图像测模块的检测结果对消防水枪进行准操作/位置校准操；21.完成以上步骤，消防水枪所对的俯仰角度即为明火情或高温隐患的相对位置，激光距仪测距所得到最终距离，即为枪出射口与目标点离；22.所述消防机器的极早期火情识系统，利用可见光像检测模块、红热成像检测模块、光测距仪对异常温点进行定位追，实现起火前的异高温点的识别和极期明火火情的识，同时，可见光像检测模块保持与防机器人消防水枪联动，最终完成防水枪对于起火异常高温点或极早火情的方位识别和离识别。23.具体的，所述旋转云台包括纵旋转部和横向旋转。24.所述的可见光像检测模块为可光相机。25.所述的控制器fpga处理模块构成。26.进一步的，在述旋转云台上还置有补光灯，所述补光灯与可见光像检测模块设置在一平面上；所述补光灯在夜间或明不足场景下使用保障可见光图像检模块能够在低照条件下使用。27.本发明的技术案，还提供了一采用上述消防机器的极早期火情识方法，其特征是包括以步骤：28.步骤1：在防机器人的巡检路中，通过可见光像检测模块及红外成像检测模块对消机器人的周围空位置进行探测；取可见光图像检测块拍摄的可见光信以及红外热成像块检测模块拍摄红外热图信息；29.步骤2：通深度学习算法及火高温点特征，分可见光图像检测模拍摄的可见光信息及红外热成像模检测模块拍摄的外热图信息，判断异常点位是否属于期明火火情或者高温度隐患点；30.步骤3：异点位类型判断：在见光图像下，利深度学习算法对场内的待巡检目标设或场地部分结构行深度学习，实在可见光图像中提结构特征；在红外像下，根据火焰周围温度的不同进行异常点判断；合可见光和红外两方式，最终确认要测距的点位；31.步骤4：激测距点确认：红外成像检测模块中红外十字分划线为备使用前提前进行定的分划线标志，调整旋转云台该十字分划线对准一点位后，代表红检测模块所构成光电检测设备的心点对准该点位，该点位与中心位置连线同红外热成像检测模中镜头分布面垂；32.激光测距分划同样为提前标定的分划标志位，当标志分划线对准一位置即代表激光距仪的中心点对该位置；33.步骤5：激测距：完成分划线准后，开启激光距，即可测出激光距中心点与目标点的相对距离；此，系统的水平方旋转角度信息、竖方向旋转角度信息即为激光测距对目标点的方位信；对以上数据进行存，进行下一步作；34.步骤6：位校准操作：包括根实际位置，校准情图像所处实际位信息，以便于机器获取真实位置；35.步骤7：在防水枪的控制系统输入可见光图像测模块、红外热成检测模块或激光测的当前方位信息与目标点位之间距离信息，然后对防水枪的竖直偏转度、水平偏转角、最终喷射距离行计算。36.具体的，在步2中，若异常点位为过高度点，则在进行准后直接利用激光测距仪开始距；若异常点位明火火情，需要行测距点识别。37.进一步的，所激光测距仪对过温度隐患点或极早明火火情进行方识别及测距时，需据火情状态的差，选择不同的测步骤：38.对于过高温度患点，调整旋转台，使得红外热成检测模块的红外字分划线对准目标激光测距仪对过温度隐患点进行距，获取过高温度患点的角度参数、离参数，保存过温度隐患点的角参数、距离参数，行下一步操作；39.对于极早期明火情，利用红外图、可见光图像进边界分析，确定标点、测距点；然调整旋转云台，得红外热成像检模块的红外十字分线对准目标，激光距仪对极早期明火情点进行测距获取极早期明火火点的角度参数、距参数，保存极早明火火情点的角参数、距离参数，行下一步操作。40.具体的，在对防水枪的竖直偏角度、水平偏转角、最终喷射距离行计算时，设定消水枪中心点位置可见光图像检测块、红外热成像检模块或激光测距构的光电检测设备中心点在同一垂直线上，距离为l；消防水枪中心点位与旋转云台的竖直旋转结构心点在同一水平线上；41.当光电检测设对准目标点，且测到光电检测设备火情隐患点间的离为d时，为使水枪准目标点，旋转台的竖直旋转结构顺时针旋转的角为β；42.则竖直旋转结需顺时针旋转的度β的具体值为：[0043][0044]此时，水枪出射到目标点的距离df，df具体值为：[0045][0046]通过以上计算，可将需要进行调的角度参数β输入至消防机器控制系统，进行校准操；[0047]计算所得实际距df，即为消防水枪出射方与目标的实际距离[0048]本发明技术方案述的极早期火情别方法，融合可光、红外热成像、光测距仪的数据，控制器中完成运，将图像所示的置信息转化为基于器人本体回转基准真实位置信息，过消防机器人自对于火情的精准定，提升火情识别的能化程度，减少工参与程度；既对极早期明火火情行定位识别，也对高温隐患点进定位识别，缩短了场消防响应时间有利于对火情的极早制，减少因火情成的生命、财产失。[0049]与现有技术比较本发明的优点是[0050]1.本发明的技方案，实现了对极早期火情的自动别，包括火情发的温度、视觉面积、置信息；解决了统火情识别方法只能依靠人工识别机器人只能识别火发生无法识别火具体方位的问题实现了消防机器人于火情的精准定位极大提升了火情别的智能化程度减少了人工参与；[0051]2.本发明的技方案，提供了基图像信息的火情位校准方法，该方利用图像信息数据，图像所示的位置息转化为基于机人本体回转基准的实位置信息，便于防机器人进行精的火情干预；[0052]3.本发明技术案中所述的火情别系统，融合可见、红外热成像、光测距仪的数据，在制器中完成运算将运算后的结果输给机器人，提高运算效率；[0053]4.采用本发明技术方案，既能极早期明火火情进定位识别，也能高温隐患点进行定位别，使得机器人更早介入的火情展过程中，缩短了器人对火情识别的间，消防响应时，有利于对火情极早控制，减少因情造成的生命、财损失。附图说明[0054]图1是本发明极早火情定位识别系的硬件模块组成示图；[0055]图2是本发明极早情识别系统工作程方框图；[0056]图3是本发明极早情识别系统识别法示意图；[0057]图4是本发明极早情识别系统目标准方式示意图；[0058]图5是本发明极早情识别系统位置准流程示意图；[0059]图6是本发明极早情识别系统位置准计算模型示意图[0060]图中1为可见光图检测模块，2为激光测距仪3为红外热成像检测模，4为补光灯，5为旋转台，6为消防水枪，7为机人本体。具体实施方式[0061]下面结合附图和施例对本发明做一步说明。[0062]本发明技术方案供的一种消防机人的极早期火情别系统，包含可见图像检测模块、激测距仪、红外热像检测模块、补灯、旋转云台。整识别系统安装在机人本体上，并与防水枪进行联动[0063]所述识别方法是于可见光检测数、红外热成像检数据、激光测距检数据及自动追踪技，来实现对于起前异常高温点、早期明火火情的温、位置精准识别和位。[0064]一、消防机器人硬件组成：[0065]如图1所示，所述防机器人的极早火情识别系统由可光图像检测模块1、激光测距仪、红外热成像检模块3、补光灯4、旋转云台5、制器组成。整个识别系安装在机器人本7上，并与消防水枪6进行联动[0066](1)可见光图像检模块：[0067]可见光图像检测块由可见光相机成，其主要作用通过拍摄的可见光像信息对早期明火情进行识别判断[0068](2)激光测距仪：[0069]激光测距仪用于可见光视场或红视场中出现的高隐患点或极早期明火情发生点进行距识别，实现图像深度信息的获取[0070](3)红外热成像检模块：[0071]红外热成像检测块用于拍摄红外图，获取视场中个点位的温度情况最终可根据热图中常高温点位的分识别出高温隐患或极早期明火火情；[0072](4)补光灯：[0073]补光灯在夜间或明不足场景下使，保障可见光图检测模块能够在低度条件下使用；[0074](5)旋转云台：[0075]旋转云台包括纵旋转部和横向旋部。可在水平方及竖直方向两个自度进行旋转。可光图像检测模块激光测距仪、红外成像检测模块、光灯均安装在旋转云上，通过旋转云的自由旋转，可上述检测设备对机人四周任意位置进探测。[0076](6)控制器：[0077]其控制器由fpga处理块构成。fpga处理模块用对可见光图像信、红外图像信息及激光距信息进行融合理，计算高温隐点或极早期明火火的位置信息、温度息，并可输出最的检测结果至消机器人。[0078]可见光图像检测块、激光测距仪红外热成像检测块以及补光灯，构一组光电检测设备在系统参数的设中，将可见光图检测模块或红外热像检测模块的中心作为光电检测设的中心；进一步，还可作为极早火识别系统的视觉中。[0079]二、识别系统的作流程：[0080]该系统的工作流如图2所示。[0081]开始识别时，旋云台按照制定的视策略开始带动见光图像检测模块红外检测模块、激测距模块转动，机器人四周方位行检测。[0082]若图像视场内点发生异常，旋转台改变转动策略接收fpga处理模块的实时数据进行旋转使红外检测中心置对准目标点位此时，fpga处理模块控制激光测距仪进测距。[0083]因红外检测设备可见光图像检测块和水枪在竖直水平安装位置均存差异，故需要再次消防水枪进行对操作。[0084]完成以上步骤后消防水枪所对应角度即为明火火及高温隐患点的相位置，最终所得距即为水枪出射口目标点距离。[0085]激光测距仪对极期明火火情或高隐患点进行方位别及测距时，需根火情状态的差异选不同的测距步骤[0086]三、极早期火情别系统火情识别法：[0087]图3所示为极早期情识别系统火情别方法光电检测设的识别方法示意图：[0088]step1：在消防机人的巡检路途中通过可见光图像检模块及红外热成检测模块对消防机人的周围空间位置进行探；获取可见光图检测模块拍摄的可见光信息以红外热成像模块测模块拍摄的红热图信息；[0089]step2：通过深度习算法及火焰高点特征，分析可见图像检测模块拍的可见光信息以及外热成像模块检模块拍摄的红外图信息，判断该异点位是否属于早期火火情或者过高度隐患点；[0090]若为过高温度点则可校准后对直利用激光测距仪始测距；[0091]若为明火火情，接测距无法测出确距离，需要进测距点识别；[0092]step3：异常点位型判断。可见光像下，利用深度学算法对场地内的巡检目标设备或场部分结构进行深学习，实现在可光图像中提取结构征；红外图像下可根据火焰与周温度的不同，进判断。结合两种方，最终确认测距点。[0093]step4：激光测距确认。红外热成检测模块中，红外字分划线为设备用前提前进行标定分划线标志位，整旋转云台，该字分划线对准某一位后，代表该可见图像检测模块、外检测模块或激测距仪设备所在的心位置(亦可称为光检测设备的中心置)对准该点位，且该点位与心位置的连线同检测设备头分布面垂直，示意如图4中所示。[0094]激光测距分划线为提前标定好的划标志位，当该志分划线对准某一置即代表激光测距对准该位置。[0095]step5：激光测距完成分划线对准，开启激光测距，可测出可见光图检测模块中心点与标的相对距离。时，系统的水平向旋转角度信息、直方向旋转角度信即为可见光图像测模块对于目标的方位信息。对以数据进行保存，进下一步操作。[0096]四、极早期火情别系统位置校准[0097]由于极早火情识系统的视觉中心系统安装的几何心存在偏差，因此要根据实际位置校火情图像所处实位置信息，以便机器人获取真实位，其位置校准流程图5中所示。[0098]在消防水枪偏转度模型中输入光检测设备当前方信息、距离信息，后根据极早期火情识系统结构特征，竖直偏转角度、平偏转角度、最终射距离进行计算。[0099]如图6所示，在结上，消防水枪中点位置与可见光图检测模块、红外成像检测模块或光测距(亦可合并简称为光电测设备)的中心点在同垂直直线上，距离为；消防水枪中心点置与旋转云台的直旋转结构中心点同一水平直线上[0100]整套火情识别系在水平方向上投的几何关系如图6所示，即当光检测设备对准目标点，探测到光电检测备与火情隐患点的距离为d时，为使水枪对准目标点，直旋转结构需顺针旋转β角度，β具体值为：[0101][0102]此时，水枪出射到目标点的距离df，df具体值为：[0103][0104]经过以上计算，可将需要进行调的角度参数β输入至消防机器控制系统，进行校准操。[0105]计算所得实际距df，即为消防水枪出射方与目标的实际距离[0106]本发明的技术方，将图像所示的置信息转化为基机器人本体回转基的真实位置信息，现了对于极早期情的自动识别，过消防机器人自动于火情的精准定位极大提升了火情别的智能化程度减少了人工参与；时，所述的火情别系统，融合可光、红外热成像激光测距仪的数据在控制器中完成运，将运算后的结传输给机器人，高了运算效率。[0107]本发明的技术方，既能对极早期火火情进行定位别，也能对高温隐点进行定位识别，得机器人能更早入的火情发展过中，缩短了机器人火情识别的时间，防响应时间，有于对火情的极早制，减少因火情造的生命、财产损失[0108]本发明可广泛用自动化消防产品设计及制造领域技特：1.一种消防机人的极早期火情别系统，包括可移式机器人的本体设置在本体上的消防枪，其特征是：机器人的本体上置一个旋转云台；旋转云台上设置一可调节俯仰角度消防水枪；在旋云台上设置可见光像检测模块、激光距仪及红外热成检测模块；所述见光图像检测模块激光测距仪及红外成像检测模块设在同一检测平面；所述的可见光图检测模块通过拍摄可见光图像信息早期明火火情进识别判断；所述的外热成像检测模块于拍摄红外热图获取视场中各个位的温度情况，最可根据热图中异常温点位的分布识出高温隐患点或极早期明火火情；所述的激光测距仪用对可见光视场或外视场中出现的温隐患点或极早期火火情发生点进行离识别，实现图中深度信息的获；通过旋转云台的由旋转，包括可见图像检测模块、光测距仪及红外成像检测模块在内光电检测设备，能对机器人的四周意空间位置进行测；在机器人的本中设置一个控制器用于对可见光图信息、红外图像息及激光测距信息行融合处理，计算温隐患点或极早明火火情的位置息、温度信息，并输出最终的检测结；消防机器人在着预定的巡视路进行巡视期间，旋转云台按照制定的巡策略开始带动可光图像检测模块红外检测模块、激测距模块转动，对器人四周方位进检测；若图像视内点位发生异常，转云台改变转动策，接收控制器的时数据进行旋转使光电检测设备所检测平面的中心位对准目标点位；时，控制器控制光测距仪进行测距根据红外检测设备可见光图像检测块的检测结果，消防水枪进行对准作/位置校准操作；成以上步骤后，防水枪所对应的仰角度即为明火火或高温隐患点的相位置，激光测距测距所得到的最距离，即为水枪出口与目标点距离；述消防机器人的早期火情识别系，利用可见光图像测模块、红外热成检测模块、激光距仪对异常高温进行定位追踪，实起火前的异常高温的识别和极早期火火情的识别，时，可见光图像检模块保持与消防机人消防水枪的联，最终完成消防枪对于起火前异常温点或极早期火情方位识别和距离别。2.按照权利要求1所述的消机器人的极早期火情识系统及识别方法其特征是所述的转云台包括纵向旋部和横向旋转部3.按照权利要求1所述的防机器人的极早火情识别系统及识别方法，其特是所述的可见光像检测模块为可光相机。4.按照权利要求1所述的消防机人的极早期火情别系统及识别方法其特征是所述的制器由fpga处模块构成。5.按照权利要求1所述的防机器人的极早火情识别系统及识别法，其特征是在所述旋转云台上设置有补光灯，述的补光灯与可光图像检测模块设在同一平面上；所的补光灯在夜间照明不足场景下用，保障可见光图检测模块能够在低度条件下使用。6.一种采如权利要求1所述消防器人的极早期火情识别法，其特征是包以下步骤：步骤1：在消防机器的巡检路途中，通过可光图像检测模块红外热成像检测块对消防机器人的围空间位置进行探；获取可见光图检测模块拍摄的见光信息以及红外成像模块检测模块摄的红外热图信；步骤2：通过深度学习算法及焰高温点特征，分析可光图像检测模块摄的可见光信息及红外热成像模块测模块拍摄的红外图信息，判断该常点位是否属于期明火火情或者过温度隐患点；步骤：异常点位类型判：在可见光图像，利用深度学习算对场地内的待巡目标设备或场地分结构进行深度习，实现在可见光像中提取结构特征在红外图像下，据火焰与周围温的不同，进行异常判断；结合可见光红外两种方式，终确认需要测距点位；步骤4：激光测距点确认：红外成像检测模块中红外十字分划线设备使用前提前进标定的分划线标志，调整旋转云台该十字分划线对某一点位后，代表外检测模块所构成光电检测设备的心点对准该点位且该点位与中心位的连线同红外热像检测模块中镜分布面垂直；激光距分划线同样为前标定好的分划标志，当该标志分划对准某一位置即表激光测距仪的中点对准该位置；步5：激光测距：完成分划对准后，开启激测距，即可测出激光测距中心与目标点位的相距离；此时，系的水平方向旋转角信息、竖直方向旋角度信息，即为光测距对于目标的方位信息；对以数据进行保存，进下一步操作；步6：位置校准操作：包括据实际位置，校准火情图像所实际位置信息，便于机器人获取实位置；步骤7：在消防水枪的控制系中输入可见光图检测模块、红外成像检测模块或激测距的当前方位信、与目标点位之的距离信息，然对消防水枪的竖直转角度、水平偏转度、最终喷射距进行计算。7.按照权利要求6所消防机器人的极早期火识别方法，其特是在步骤2中，若异常点位为过温度点，则在进行校后直接利用激光距仪开始测距；异常点位为明火火，需要进行测距点别。8.按照权利要求6所的消防机器人的早期火情识别方法，其特征是述激光测距仪对高温度隐患点或早期明火火情进行位识别及测距时，根据火情状态的异，选择不同的距步骤：对于过高度隐患点，调整转云台，使得红热成像检测模块的外十字分划线对目标，激光测距仪过高温度隐患点行测距，获取过温度隐患点的角度数、距离参数，存过高温度隐患的角度参数、距参数，进行下一步作；对于极早期明火情，利用红外热、可