计算机本科毕业设计-物联网环境下电梯节点状态信息的图像采集与识别系统设计

PAGEPAGE1PAGEPAGE2物联网环境下电梯节点状态信息的图像采集与识别系统设计摘 要由于社会在不断地发生变化，科学技术也在慢慢的进步，城市里出现了越来越多高高的楼层，电梯也逐渐在人们日常生活中占据十分重要的地位。由于人们生活质量变好，安全指数以及智能化程度则是人们对电梯更高的标准。这两种指标是电梯被投入使用前一定要达到的，而且还是维持电梯正常运作的重要要素。目前的电梯故障判断和预警系统的发展相当不成熟，尤其是传统机型在一开始研发时，就没有将故障信息是否能远距离传递加入到基本功能中，导致了系统智能化的发展阶段尤其久。另外，电梯是一种相对来说较为独特的设备，它一定要符合国家对特殊设备设定的标准，因此，对其进行简单的修整是不现实的。本文根据目前电梯故障监测预警系统存在的种种问题，采用基于物联网的收集图片和辨认技术，在不需要对电梯主机进行修整的情况下，实现对电梯的错误数字代码的自动辨认，得到电梯运行情况，并快速且完整地报备错误类型，从而加强电梯的智能程度以及安全指数，从而大大减少管理人员的管理工作。关键词：物联网电梯；图像采集；图像处理目 录TOC\o"1-3"\h\u16953第一章绪论 32015研究背景 36530研究意义 328741研究文献 328325第二章 电梯节点状态信息的图像采集与识别系统总体结构 414975系统结构 421809功能与模块 520685系统实验平台介绍 626512第三章 电梯节点状态信息的图像采集 6118电梯节点状态信息图像采集系统概述 628776相机标定 714870电梯图像采集系统实现 829740第四章 电梯节点状态信息的图像采集与识别系统数码管字符检测算法 85495字符检测算法原理及优缺点 917435基于字符亮度特征的数码管字符检测算法原理 915634电梯节点状态信息的图像采集与识别系统数码管字符识别算法 920022第五章 电梯节点状态信息的图像采集与识别系统的实现 1018085用户界面 1014840信息上报 1127018运行测试 118160第六章结论 1218608参考文献 13PAGEPAGE13PAGEPAGE10第一章绪论研究背景随着人们生活质量的提高，越来越多的高楼出现在了城市之中。电梯则成为627.83万部。电梯的安全性能直接影响到居民的在新闻媒体上经常能够看到，这对于大众的生命状况以及财产均产生了很大的威胁。因此，安全指数如何、运行情行的监测、运行问题的识别和报警、日常护理还有应急步骤等均被人们毫不动摇地关注着。通过对电梯运作情形的实时监测，（维修者监测终端电梯品牌特别的多，型号也有一定的划分标准，安装方式也不统一，而且各品牌的电梯的防护体系也完全不一样，其他人无法获得相关信息，因此，用户和维修人员都没有办法直接在相关界面上得到数字代码。在这一时期，已经拥有成熟应对技术的针对电梯问题展开实时维修的人员也不多，往往在电梯出现问题时，维修者基本不会在现场，这样就难以及时展开修整工作。现在，大多数电梯监测系统基本上均要业主或业主自行组织的、由业主自行管理或维修的电梯综合成为一种线性联机管理网络。通过该电梯管理系统在很大程度上能够实现自动获取电梯运行数据、自动故障报警等必要服务，不过其限制条件很多，一般只能使用电梯的内部和外部信号，所以其采集信息和故障报警等方面尚未广泛地投入到电梯的监测工作中。正是基于这样的环境，物联网升降机出现在人们生活中。研究意义该系统仅仅当将摄像头在电梯中放置到正确的地点的时候，能够清楚地获取电梯主板上的数字代码的图片就达到了目的，根本不用更换本来就存在的控制线路，也不用增加传感器，对于原有的系统工作根本没有任何影响。本篇文章的研究意义特别的明显。该系统的投入使用能够在很大程度上改善电梯的安全指数。本文的研究总结能够对国内的电梯安全保障体系开展一定的改进工作，根据目前市场上的应用状况和对增强电梯安全运行指数的的目的进行评价，该体系的市场研究开展是有必要的。研究文献因为物联网技术的精进地特别快，在各行各业都能够应用到这一技术，尤其KopetzH认为，物联网能够在产品和网络之间建立一定的联系，允许用户和提供者之间的联同时物件也能够透过网路进行远距离的遥测，最终达到远距离调整物件的效果。本文还解释了物联网技术的特别之处究竟是什么，即将智能芯片嵌入到智能产品中，从而使其的使用范围更大。WhitmoreA等人认为，物联网的主要理念是，所有的对象都能够根据已经协商好的条例与网络建立联系，同时基于通讯的方式，将网络中的对象均向智能化方向发展，从而实现对目标物体的智能定位、区分和监控，最终实现用户的预期结果。李光宇根据性能的差异把智能电梯的智能维护系统进行了划分，分别是：智能电梯维护平台、基于案例系统的问题预警体系、电梯定位功能，在一定程度上增强了电梯的安全指数。未来，根据准确的资讯及通讯手段，把日常生活中的物件与网路更好地糅合联系到一起，最终可以出现更20201.93NeweG,对其信息安全进行深入的研究。第二章 电梯节点状态信息的图像采集与识别系统总体结构系统结构本篇文章的目标是针对小区内不同单元的电梯发生状况的信息进行看管、收集和区分，当电梯出现问题的时候，把信息传递给物业管理中心，同时联系维护人员展开对于解决电梯状况的工作，从而实现小区内的电梯系统能够相互接通。如若电梯发生问题，电路主板上面将会出现一些数字代码，不同的错误码表传递出不同的故障信息，如果可以辨认出一个数字代码，就能够得到它所代表的USB像机进而得到电梯故障数字的相关图片。摄像机需要与楼房各个单元的电脑建立联系，同时与电梯控制箱互相接触。根据摄像机能够捕获到的图像，经过一定的步骤最终得到数字代码的含义。在此基础上，调查MySQL数据库中的数字代码含义，与发生故障的电梯所显示出的数字展开配对，最终得到故障电梯的地点、名称以及何种状况，然后经过系统向维修者传递问题状况资料，使维修者可以携带合适的工具展开维修工作。功能与模块图2.1系统信息流方框图图像采集模块。故障代码的图像获取是对故障码进行分辨的首要步骤。信息采集人员通常会选用摄像机、USB摄像头、或者是影像收集卡＋专业摄像机等设备来获取相应的照片，以达到将真实的画面转换成电脑能够接受的资料。当选去USBOpenCV来作为获取照片的USB的校准进行了详细的说明，目的是避免由摄像头不稳定而造成图片的不清晰这一问题。图像预处理与字符识别模块。相机所拍摄到的照片进行冲印，所显示出来的通常是彩色的，同时也因为拍摄时周围环境的干扰而导致所得的信息不准确，会RGB进行解决。所以，应该对收集的照片提前进行处理。在这一研究中，对于照片的提前处理侧重在调节图像的灰度、降噪和图像二值化等方面。将相关问题都解决KNN的信息处理。故障信息数据库模块。该系统对于电梯的生产商并没有强制的要求，因为不同型号的电梯所展示出不同的故障，不管是数字要求和所反映的内容都有很大的差异，所以必须设置电梯产生故障时所显示数据的含义，并且也要对电梯可能存在的故障所对的代码都存在这一数据库中，这样当电梯产生故障时，才能根据其MySQL牌、型号、故障代码信息，并将对应的代码收集到数据库中，所收集的信息应该与生产商提供的相同。电梯节点状态信息管理系统服务端模块。在电梯街店状态信息管理系统中，他们搜集各小区电梯发生的错误运行，并且及时的将这种情况发送到掌管的电脑中，通过对电梯型号和所得故障代码来了解电梯发生的具体故障，并通过对故障原因的确定，通过互联网通知在线的管理人员，进而及时将损坏的电梯恢复正常运行。系统实验平台介绍电梯是我们日常生活中经常用到的工具，居民能否安全出入也离不开电梯的正常运行，因此如果在电梯中进行对其系统的研究不利于居民的安全，所以在本项目中，选择使用相关的软件来完成成像实验、照片获取实验、识别算法开发和检查校正等一系列任务。本项目用到的相关平台有：电梯板模拟系统、相机成像系统、Windows系统数据处理平台等。电梯主板模拟系统采用单片机模拟板，他能够交。七段数字管在升降机主板上所显示的错误代码迅速表达出来，并且也可USB的优点是能够快速连接相应的软件，同事所获取的照片也非常清晰，这正是我们Windowspc中的特性。OpenCV包含了成熟的电脑视觉处理算法[32，33]，这一功能OpenCV让相关的工作人员在技术革新方面有更多的时间去钻研。第三章 电梯节点状态信息的图像采集电梯节点状态信息图像采集系统概述纵观整个系统的工作流程，我们可以发现，照片的获取是一个重要的信息传照片不清晰将会导致所得的结果不够精确。该文主要阐述了关于获取照片系统的设计和实现。该系统有相机校准和照片收集这两个板块，照相校准是为了避免在获取照片时发生的偶然误差导致所得的结果不精确，照片的收集系统任务就是获取相应的图片。成像目标分析。在此项目中，采集信息的重点注意对象为主板故障代码。在升降机的主板上，所涉及到的相关器件并不少，而当电梯产生故障时，做展示出来的故障代码通常会使人眼前一亮，他会展示出自己的光芒，通常以数字的形式展现在眼前。因为这一研究研究重点是等电梯故障时所显示的代码，而不是当电由于当电梯展示自己所存在的故障时，用发光的形式来吸引人们的注意，所以在拍照时，经常把曝光时间缩短，从而减少外界因素带来的误差，也使故障代码的划分和辨别更加容易。系统数据传输方式。当收集到电梯产生故障照片时，应该将照片进行相关的整理，才能更加清楚的了解电梯的运行情况。影像处理有两种方式，第一个是将图像传递给物业的电脑端，第二睡觉信息传达给控制电梯的电脑。针对第一种处理方法来说，到我们搜集到相关的照片时，必须要把我们所得到的照片及时的传904KB。在系统同时有大量的升降机进行工作时，由于网络带宽过窄，从而不能及时收到消息，如果同时收到许多照片，也不能及时处理从而造成数据丢失等一系列问题。在小区主电脑上对得到的照片进行整理，仅把最终的结果传送到小区中央电脑，图片最后一次传送的资料仅为数个字节，大大减轻了网络传送的负担。另外，主控电脑也只负责自己所掌管的电梯，以目前电脑的技术，可以轻松的完成任务。所以在这一研究中，采用将照片在电梯主控电脑上进行规整，将最终数据转达给物业管理中心电脑。相机标定空间目标的三维几何位置及其与其相对应的点的关系取决于所相机的成像结合模型。成像结合模型的参数与摄像机的参数相同，对相机参数都改变是根据相机来决定的。对于相机参数的校准与所得数据的准确性有着密不可分的关系。因为装电梯所需要的资金和安装电梯时所需要的空间不足，但是对于丞相摄像机的成像范围和聚焦距离都有着很高的标准。所以在拍摄过程中，可能会出现照片边缘发生信息干扰，这影响对图片的分析。所以必须先对摄像机进行校准，了解摄像机的具体参数，对图片进行更加严格的修改，来除去影响照片的因素，能够让我们更加清楚的了解到电梯所出现的故障。针对由于摄像机校准问题，张正友发明了新的测量方法。要求摄像机对于主板进行各个方位的拍照，找出板上和平面之间的联系，运用数学知识获得相应的数据。该方法的提出，大大降低所消耗的资金，并且操作方便，健壮性好，精确度高。到目前为止，这类方法收到同行的大力支持。电梯图像采集系统实现在完成相机标定得到相机内参数矩阵和畸变参数之后，由于这些参数都只与相机和镜头本身相关，而与相机的位置和姿态无关，所以，对于任意的图像，都可以使用这一套参数进行畸变校正。基于这一点，电梯图像采集系统在从相机得到原始图像之后，可以直接使用这一套参数先对图像进行校正再进行后续处理。同时，由于电梯图像采集系统与后续的电梯图像预处理和识别系统关系紧密，所以，本节只讨论电梯图像采集系统的硬件连接方式以及图像采集流程，具体的实现过程，将在下一章图像预处理与识别系统中进行进一步论述。硬件连接。图像采集系统主要由摄像机、图像采集计算机组成。摄像机由相机和选定的镜头组成，通过合适的支架固定在电梯主板控制柜内，通过镜头实时USBWindowsUSB计算机有多个USB口，所以，可以通过一台采集计算机完成一个单元中多台电梯的数据采集工作。图像采集计算机接收图像信号之后，对图像进行预处理和识别，得到当前电梯主板上所显示的状态信息，并通过网络(有线网络或无线网络)传输到物业管理中心的服务器上，从而完成图像的采集和识别工作。3.1图像采集系统硬件连接图像采集流程。与普通图像采集系统的差异，主要在于过程中，需要先对相机的具体参数，例如采集图像大小、曝光时间、输出模式、输出帧率等参数进行设置，在获取图像原始数据之后，通过之前标定的相机内参数，对相机图像进行校正之后，再完成图像输出到后续图像预处理环节，完成整个图像采集的流程。第四章 电梯节点状态信息的图像采集与识别系统数码管字符检测算法字符检测算法原理及优缺点字符检测算法从原理上来说，主要分为传统字符检测与最近兴起的基于深度其主要步骤包括灰度化、二值化、倾斜检测与校正、降噪，版面分析与理解，文字分割等步骤。由于电梯主板上数码管字符存在于印刷电路板上，电路板上各种其他器件，对字符检测过程中的版面分析、理解过程影响严重，使得传统的字符检测算法无法直接应用于电梯数码管字符的检测过程中。近年，随着深度学习的SegLink、EAST等网络结构是其中的佼佼者。这些网络结构主要用于自然场景中的文字检测，对于英文字母的检测效果好，可以降低字符尺度、旋转、噪声等因素对字符检测结果的影响。但这些算法有一个共同的问题，要想使算法具有对某一且数据集的规模通常极其庞大，通常都需要百万级的样本图像数。建立这样规模的电梯数码管图像本身的工作量极大。基于字符亮度特征的数码管字符检测算法原理算法流程。通过对电梯主板图像的分析，发现主板图像上数码管显示的数字具有亮度大、恒定的特点，而其他的电路器件比如电阻、电容、芯片等元件，由于本身并不会主动发光，只会对环境中的光进行反射。所以在成像时，数码管中点亮的笔画可以视为光源，因此成像后在图像上的亮度大，而其他元件成像后的亮度小，因此，可以以亮度作为字符的特征，将目标（数码管字符）与背景（电路板上的其他元器件对于输入的彩色图像先经过灰度化转换为灰度图，而灰度图中的灰度值可以近似的表示图像上各个像素的亮度值。之后，经过图像几何校正，消除由于相机镜头等因素引起的图像几何畸变，防止因字符在图像边缘区域而导致的图像畸变影响再进行二值化，将图像上的背景区域与前景区域分割开来。最后，对于前景中的字符区域，由于后续字符识别的要求，需要对前景区域进行分割，使得每一个输出区域内部只包含一个字符。电梯节点状态信息的图像采集与识别系统数码管字符识别算法在电梯连接点处的信息收集和信息判断系统中，主界面中的电子管显示出的维修信号会影响社区物业、维修人员对电梯问题的分析和判断。如果将电梯的故障问题判断错误，这会导致维修人员不能迅速到达事发现场对故障问题进行排除和修理，很大程度上影响安保人员对电梯的及时维修。所以，显示器上的数字识别器需要很好的识别能力，需要快速且精准的识别。为了实现显示器上的识别功能，对字符进行有效的识别并判断。研究从两个方面进行，一方面是从字符识别的校准率进行研究，另一方面对执行算法的完成时间进行判断。在研究中，字符识别功能的可靠性是通过字符识别的准确程度来判断的。在这之前将要检测的数据储存在一起，同时所有的数码图片以及相对应的答案已经确定，将这么一组图片收集成集合作为测试所用数据。为了减少由于图片的出现顺序不同导致算法结果的错误，在常规的检测中顺序都是随机的，同时在测试的时候对图片的选取应就需要按顺序将图片传入到检测程序中来，将被检测的图片的正确结果和实际检测结果进行对比，如果对比结果显示检测正确，那么就可以判定识别算法功能完整，反之则认为功能有误。第五章 电梯节点状态信息的图像采集与识别系统的实现通过上文的论理论述和算法应用，摄像头收集到的图片信息以及电梯状态的显示内容的识别方式完成了确立，下文将继续路数对电梯状态信息的收集以及识别算法的搭建和完善。用户界面用户端口是用户系统的主要显示面。因为该电梯系统被安装于电梯的主控服务器上，因此在系统设计时会注重，在软件安装完成后可以在无人管理的情况下长期且持续的运行，同时还要能完整的实现各项功能。用户端口主要有三个部分组成，其中有有效区域设定，图片采集及显示功能，所处地区显示功能。5.1主界面其中，有效区域调整界面是系统安装人员在安装系统时，通过该界面调整粗分割的区域，对摄像机拍摄的画面进行字符区域粗分割。在设置完成后，将保存配置，在下次重新启动时，直接加载上次的配置值而不需要重新设置。在主界面中，显示摄像机采集的画面以及字符区域粗分割、字符分割的结果，并且显示电梯的本地信息，比如，电梯品牌、安装位置以及当前状态码信息的识别结果。为了保证用户界面良好的响应速度，将字符识别功能运行于独立的线程中，确保主界面能够流畅的响应用户的操作。在界面中，有效区域页面指的是当工作人员进行系统配置时，通过有效区页面对图像区域进行粗分割，即将摄像头所拍摄的图像在字符区进行画面分割。在配置成功后，对配置数据进行存储，等到下一次机器重启后，仍旧以设置好的数据进行运行。在用户页面中，将摄像机收取的图像和对区域分割的成功在显示器上演示出来，并且备注电梯系统的所处位置及机体信息，机体信息包括电梯的厂商，状态信息，运行时间等。为了是操作者能够实现更方便的操作，将字符识别程序添加到系统中来，并独立运行，保证操作主页面的流畅和便捷。信息上报电梯运行状态信息的上传主要有两种方式：第一种是电梯系统的上传程序自ip信息等内容。第二种则是上传电梯中的环境因素，例如当电梯状态改变时的新旧状态信息UDP息传送到社区物业的服务器中。这个过程中，系统本身的数据将会吧系统的实时运行状态才去心跳包机的方式进行信息输送。在系统的开启之后，会定期下向社区物业的服务器传送心跳包数据。如果系统没有定时发送且发送超时时，社区服务器端将会自动认定电梯的状态处于失联掉线状态，今儿认为电梯出现了故障问题，及时告知维护人员迅速赶去实施维修。运行测试进行课题研究时，研究人员将电梯的电路主板上的显示器情况进行了电路信息模拟，建造了仿真模型进行实验，实验台上制作一种四位数的显示器，使用单片机可以控制显示器上掩饰的内容同时还可以随时进行转换。在实验中，研究人员将实时的电梯出现的四十多个故障信息专送到实验台中，同时定时将故障信息进行随机转变。将识别程序设置在实验台上并，同时开始对图片的信息搜集和辨别。检测系统吧摄像头收集到的每一个图片进行检测和判断，同时将识别结果被分到工作记录上来。实验完成后，对比研究图像和记录信息的内容，判定系统的识别结果和实际的图片中表明的故障信息是否相同，并计算系统的识别正确率，今儿判定功能的优劣。从识别结果上来讲，检测功能的正确率能做到完全正确。但是由于在实际应用中，为了降低外界因素对电梯运行的影响。识别时电梯显示板显示的是常规情识别码的信息内容比较的单一。因此识别功能很容易做到完全正确。第六章结论本研究针对电梯连接点的事务管理系统中的电梯状况信息收集功能，信息数据库管理功能，服务器管理程序，客户界面端口功能等方面进行详细的论述。此（1）本次研究对信息收集问题进行详细讨论，包含对电梯状态信息收集功能中的图像标记，片信息处理，数据字符识别等问题的详细的理MYSQL（3）将服务器端口的程序流程进行系统化Android行设计的，保证了电梯实时状态管理系统的用户显示界面。伴随着经济水平的提高和国家基础建设的推荐，电梯一定会由独立向着网络化、交互式系统进行转型，但是对很多的老式电梯来讲，改建耗资太大，工程实施难度高。电梯状态信息管理系统的推行可以将改建耗资大大降低，同时完善电梯的智能化十分便捷，拥有很强大的受众市场，研究价值很高。参考文献中国报告网.2019年中国电梯行业分析报告-产业竞争现状与发展规划趋势[J].北京邮电大学学报,2010,33(3):1-9.孙其博,刘杰,黎羴,等.物联网:概念、架构与关键技术研究综述[J].北京邮电大学学报,2010,33(3):1-9.KopetzH.InternetofThings.Real-TimeSystems.SpringerUS[J].InformationSystemsFrontiers,2011:307-323.WhitmoreA,AgarwalXuL.TheInternetofThings—Asurveyoftopicsandtrends[J].InformationSystemsFrontiers,2015,17(2):261-274.李光宇.[D].,013.MiorandiD,SicariS,PellegriniFD.Internetofthings:Vision,applicationsandresearchchallenges[J].Adhocnetworks,2012,10(7):1497-1