巡检机器人云台远程控制系统的设计

巡检机器人云台远程控制系统的设计彭道刚;关欣蕾;戚尔江;王立力【摘要】巡检机器人云台控制系统是机器人完成巡检任务的关键部分之一，建立了机器人终端和远程监控间的通信，制定了精简的云台通信协议，设计了远程监控人机交互界面，提出按权重分配带宽算法来提高图像传输质量，最终实现云台的远程控制.测试结果表明，该云台远程控制系统稳定可靠，提高了通信效率，对巡检行业具有一定的适用性和参考价值.【期刊名称】《电气传动》【年(卷)，期】2018(048)011【总页数】5页(P43-47)【关键词】巡检机器人;云台控制协议;Socket通信;带宽分配算法【作者】彭道刚;关欣蕾;戚尔江;王立力【作者单位】上海电力学院自动化工程学院，上海200090;上海发电过程智能管控工程技术研究中心，上海200090;上海电力学院自动化工程学院，上海200090;上海发电过程智能管控工程技术研究中心，上海200090;上海电力学院自动化工程学院,上海200090;上海发电过程智能管控工程技术研究中心，上海200090;上海电力学院自动化工程学院，上海200090;上海发电过程智能管控工程技术研究中心，上海200090【正文语种】中文【中图分类】TP249巡检机器人可代替人工完成紧急、困难、危险、繁重和重复性的劳动，并提高工作效率。人工巡检正逐步被机器人巡检代替［1］。目前，巡检机器人在变电站、光伏电站、火力发电、高电压架线等多行业中得到应用或研究［2-5］。为了完成巡检任务，机器人通常需要携带红外热成像仪和可见光摄像头，由云台控制其方向的移动，并将采集到的图像和视频等信息传送到远程监控中心，远程监控端也要保证能够控制云台的运行。因此，云台的远程控制系统是巡检机器人的关键系统之一。本文设计了一套云台远程控制系统，首先设计了巡检机器人自主模式下云台的控制，包括云台控制协议和自主巡检流程的设计；其次建立了机器人终端和远程监控端的通信，针对图像传输质量问题，采用了基于权重分配带宽的算法，并用C++语言在MFC平台上设计了友好的监控交互界面等，最终完成了云台远程控制系统的设计。1云台远程控制系统总体结构设计巡检机器人的远程云台控制系统由图像采集系统、云台控制系统、机器人工控机和PC控制界面4部分组成，其实物连接图如图1所示。图1中，图像采集设备包括可见光摄像头和红外摄像头，云台设备安置在巡检机器人上，构成巡检机器人的视觉平台。图1云台控制系统实物连接图Fig.1PhysicalconnectionofPTZcontrolsystem为满足需求，此设计选用的视觉系统平台配置高精度云台，可以检测每个角落；并搭载高清摄像机，用来读取仪表示数、视频拍摄等；所选红外热像仪的测温范围-20^-650^，进行测温获取红外图像等。控制核心设备工控机也安置在巡检机器人上，是完成自主控制的必要设备，也是与后台监控通信的桥梁。最后选用远距离、信号强的无线网络设备，与远程监控系统完成通信。巡检机器人云台和工控机间选用网线通信，采用RJ45接口；巡检机器人与远程监控后台通过WiFi建立Socket通信，确保自主巡检模式下，巡检机器人能控制云台并保存数据，同时，远程监控也能控制云台并获取相应数据，从而实现高效巡检。2自主巡检下的云台控制巡检机器人需要完成自主巡检，即一键开机后按已设定的路线自主完成巡检任务［6］。同时，当远程监控设备打开后，需将实时监控画面传输到监控室，并能够"听从"后台发来的命令。2.1云台控制协议在自主巡检模式下，巡检机器人需按照设定路线自主巡检，工控机和云台之间的通信采用以太网通信。针对云台的控制协议，有通用的PELCO_D等协议［7］，为了提高通信效率，针对云台控制设计一套私有的协议，其帧格式如表1所示。表1云台控制帧格式表Tab.1FrameformatforPTZcontrol帧头SOF类型TYP命令符CMD长度LEN信息INFO校验CRC帧尾EOI帧格式中，SOF和EOI分别为起始码和结束码；TYP为帧类型，00为读取设备当前状态，如查看监控视频等，01为写入命令类型，主要指一些操作如抓图、归位等功能，10为数据反馈类型，主要包括云台预置位的选择等功能；CMD为命令码，当帧类型为00和01时，命令码为0x00，当帧类型为10时，命令码为所设置的云台预置位信息；LEN为返回信息长度；INFO为返回信息，00类型返回设备ID、位置坐标等信息，01类型返回信息为空，10类型则返回云台此刻的仰角等信息；CRC为校验码。此套控制协议确保机器人终端内云台的控制和远程云台的控制协议一致，精简了控制协议，提高了整个系统的适用性。2.2自主巡检流程本机器人终端与后台断开连接的情况下，即无人监管模式下，巡检机依然需要能够完成巡检工作，即自主巡检。在无人监管模式下，巡检机器人需要实现完全自主巡检，因此需要云台控制系统设计一套自主巡检算法。如果为每一次的巡检都单独设计一套算法，不仅繁琐工作量大，且通用性差、不可靠。考虑到每次巡检的任务都是对仪表进行拍摄，其动作具有一定的相似性，在充分利用云台预置位的基础下，设计一套自主巡检控制算法，具体流程如图2所示。图2自主巡检流程图Fig.2Independentpatrolflowchart首先需要根据待检测仪表、设备等位置信息设置好云台的预置位，并逐一进行编号;其次保存设定好的巡检时间列表，由定时器触发；然后，巡检机器人周期性地对设定好的待检测设备进行采集，直至完成所有的巡检工作。3远程监控系统的设计巡检机器人在作业的过程中，即使具有自主巡检和报警功能，也应受操作人员的监控，以确保安全［8］。而远程监控系统是操作人员获取当前巡检机器人运行状态、查看现场采集数据及下达命令的唯一界面。远程监控系统的设计主要包括机器人终端和远程监控端通信的建立、监控系统界面设计、数据库查询等。3.1机器人终端和远程监控端通信的建立机器人终端和监控端的距离通常较远，且考虑到机器人工作环境的复杂性，实施布线工程大，因此选择无线通信方式。目前无线通讯技术发展很快，较为成熟的有红外、蓝牙、GPRS及4G，WiFi，ZigBee等［9］。其中红外、蓝牙和ZigBee传输距离相对较短，GPRS难以满足视频数据流的带宽要求，4G价格昂贵，且偏远地区不能保证覆盖完好，因此采用WiFi通信。在无线局域网基础上，采用面向连接的TCP(transmissioncontrolprotocol)传输协议，设计了WindowsSocket通信。远程监控终端和机器人终端之间使用C/S(client/sever)模型，采用IP地址+协议+端口来唯一标识网络中的应用进程，连接过程需要进行“3次握手”，即交换3个分组。应用到远程监控通信中，建立通信流程，如图3所示。图3Socket通信连接图Fig.3Socketcommunicationconnectiondiagram在发送和接收数据之前必需先建立连接，软件运行后，机器人终端为服务器端，先创建一个用户监听的套接字，并调用Listen（）函数，使之处于监听状态，当监控端调用Connection（）函数，向服务器发出连接请求后，服务器调用Accept（）函数，通过请求创建服务Socket，接着进行数据的传输。在数据传输结束后，双方均调用CloseSocket（）函数关闭套接字。在远程监控系统中，监控终端承担着图像采集、图像处理、视频压缩、与机器人终端通信等任务，此程序采用了阻塞性套接字I/O模式来满足通信的可靠性。为了提高系统的可靠性和稳定性，并支持多个后台同时监控，此程序采用了多线程技术。在MFC中，使用CWinThread类创建多线程函数为ListenThreadFunc（），Socket代码在此线程里执行。3.2基于权重的带宽分配算法在实际应用中，传输实时监控录像需要占用大量的带宽，而无线传输带宽又有一定的限制，可能在传输过程中会造成网络拥堵，导致丢帧，获取的监控画面质量差，极不利于后期的图像处理，甚至无法完成正常的巡检工作［10］。考虑到巡检机器人在巡检中任务的不同，可根据当前的任务需求，适当地降低一些与当前任务不紧密相关的图像传输质量，提高当前任务所需的图像质量，从而更好地完成巡检任务。因此，本文提出了基于任务权重的带宽分配算法。图像质量的好坏跟画面的分辨率和帧率有直接的关系，图像信号的数据量与图像分辨率和帧率的关系如下式：式中：D为图像信号的数据量大小；F为图像信号的帧率；R为图像信号的分辨率;d为取决于图像信号的编码协议。采集到的图像信号在传输过程中，要根据制定的协议将其分割成不同的数据包，因此图像传输中所占据的网络带宽B与图像的数据量D也成正比关系。结合不同巡检任务对不同图像传感器的需求，图4为巡检机器人带宽控制系统框图。图4带宽控制系统框图Fig.4Blockdiagramofbandwidthcontrolsystem图4中，8(x)为权重函数的输入量，是巡检机器人的任务向量，即测温或读取仪表示数的需求；e‘[8(x)]为经过权重函数计算后的预期传输权重；Bt为当前网络带宽;W:H为图像长宽比。首先，根据可见光拍摄和红外温度检测任务的不同设计出任务权重函数，再通过计算得到各图像传感器当前应采集的图像帧率和分辨率，再发送给各传感器来执行。权重计算函数如下式：式中：mi,ni为系数，取决于第i个图像传感器的权重值取值范围。由于Si(x)的取值范围介于0和1之间，为了保证图像传感器的预期权重在实际权重&范围内，mi和ni应当满足：巡检机器人主要携带的是高清可见光摄像头和红外摄像头，正常情况下，两者都处于工作状态，利用带宽分配算法，对两路信号的传输带宽进行分配。当拍摄可见光时，可将焦距作为高清摄像机预期权重的依据；而当采集红外图像时，可用最高温度作为红外热像仪的预期权重依据。高清相机的预期权重值如下式：式中：z为当前焦距系数；zmax为最大焦距系数。红外拍摄预期权重函数如下式:式中：T为当前拍摄画面中的最大温度值；Tmin,Tmax分别为设定的最低和最高温度。3.3远程监控的软件设计远程监控使用套接字通信，软件应用程序采用面向对象的方法。针对监控系统采用面向连接即TCP协议的传输方式。使用MFCWinsock实现通信连接，主要利用CSocketFile和CArchive类来实现文件的传输。界面是人机交互的唯一界面，含盖功能较多，需要实时显示监控画面、接收所抓取的画面、测得设备温度、高温报警等，还应有历史记录查询等功能，其设计的友好性尤为重要。此设计根据实时性对监控界面进行分类设计，其结构如图5所示。在程序设计中，主要包括3个功能类：云台操作控制功能类CPTZButton、红外播放功能类CIIrPlay和可见光播放CVisualPlay类，其中主要核心函数及功能描述如表2所示。此外，程序还设计了删除预置点、云台移动速度控制、云台测温范围设定、云台光圈焦距调整和录像等功能。图5远程监控界面设计图Fig.5Remotecontrolinterfacedesign表2核心函数及功能描述表Tab.2Corefunctionanddescriptiontable函数名voidDoLogin（）voidStartplay（）voidStopplay（）voidCapture（）voidPresetSet（）voidPresetGoto（）voidPtzAuto（）功能描述向设备注册开始播放视频停止播放视频抓图功能设置预置点调用预置点云台开始自动扫描4系统测试目前，该云台控制系统已经搭载在巡检机器人样机上进行测试，机器人样机如图6所示。图6巡检机器人样机Fig.6Physicaldiagramofpatrolrobot为验证此云台远程控制系统设计的实时性、画面传输质量及传输带宽分配算法的有效性，在实验室环境下进行实验平台的搭建和测试。测试平台设备参数如表3所示。根据表3中的设备参数，由式（2）得出可见光摄像机和红外热像仪各自的传输权重计算公式为在实验中，若待检测任务为读取仪表示数，依据摄像机焦距预期权重来进行带宽分配。可见光摄像机得到更高的传输权重，实验结果如图7a所示。图中可见光图像清晰，非主要任务的红外采集图像较为模糊。若待检测任务主要是温度的检测，依据温度值作为预期权重来进行带宽分配。红外热像仪得到更高的传输权重，实验结果如图7b所示。图中红外图像清晰，可见光图像略为模糊。由此可见，通过传输带宽分配法可以有效分配缓解网络拥堵现象，从而提高监控的有效性和准确性。表3远程云台控制系统设备参数Tab.3RemotePTZcontrolsystemequipmentparameters项目高清摄像机红外摄像机无线网络云台监控端操作系统数据库数值分辨率：320x180~1280x720pixel帧率：5~30f/s分辨率：80x60~320x240pixel帧率：1~25f/s频率：2.4GHz协议：802.11n带宽：10Mb/s覆盖范围半径：2100m水平：0°~360°垂直：-35°~70°Windows7SQLSever图7带宽分配算法效果对比图Fig.7Thecomparisonofusingbandwidthallocatedalgorithm远端实际操作界面设计效果部分如图8所示。图8远程监控操作图Fig.8Remotemonitoroperationdiagram程序设计了可见光和红外登陆界面、云台控制界面、红外图像控制界面及录像功能等。其中巡检日志查询、存储设置、报警界线设置等功能都为非实时界面。经多次测试，此云台远程控制系统稳定可靠，传输画面质量高，可以精确地控制云台全方位转动、缩放及聚焦。5结论详细介绍了自主模式下云台和工控机间的通信、机器人终端和远程监控间的通信，并设计了友好的远程监控界面。采用了基于权重的带宽分配算法，保证画面传输的质量。并在实验室内搭建环境进行测试验证。测试结果表明此系统运行完好、实时性高且系统控制精度高，满足自主巡检的要求，同时实现了远程控制，适用于巡检。但针对无线通信设备在具体应用时，需要增加设备，如在变电站，障碍物多、电磁干扰严重等情况，则需要机器人终端和远程监控端增加无线网桥等设备来确保通信的稳定性，后期工作