基于ARM的嵌入式图像监控系统研究硕士学位论文.docx

ii study of an embedded image monitoring system based on arm discipline: control theory and control engineering student signature: supervisor signature: abstract with the rapid evolution of digital image, embedded computer and communication technique, embedded image monitoring system becomes a new researching interest. however, a large number of pointless pictures are transmitted back to the monitoring center, which increases communication quantity and surveillance load; generally, the images definition in remote surveillance is low because of its limited transmission channel. an improving way is moving object detection in the front of system, and snatching a high definition picture when motion happens and then transferring back to the monitoring center. this method can settle the contradiction between definition and transferring speed. in the dissertation, a kind of embedded image monitoring system based on arm is discussed. the system has the functions of motion detection and picture transmission based on gprs, and improves the flexibility of setting and the definition of abnormal picture. the system takes lpc2210 based on arm7 core as its central processor, and embedded os c/os-ii as its software platform. moving object detection adopts a method of dynamic difference background image, whose principle is to calculate difference picture among the current frames and background images and take the motion adjudging threshold which owns maximum information entropy to determine moving area; and dynamically updates background by using kalman filter. thus, the system realizes the judgment of the moving area under the complicated changing background. the monitoring system adopts embedded web server technology to send warning information and on-the-spot picture to the remote monitoring center. the wired or wireless remote transmission channel (ethernet or gprs) can be adopted between the center and the front control point, and has the features of mutual supplement, convenience and flexibility. and gprs communication terminal adopts wavecom wireless module to transmit monitoring image through wireless common network. in the dissertation, the principle and implementation of embedded image monitoring system based on arm are discussed. experimental results show that the implemented system performs well in accurately detecting motion and low-level far；and the gprs iiitransmission is so steady that the shutdown moment is few. meanwhile, the realization of the image monitoring system provide a initial platform for the subsequent research, such as object sorting, object tracking, remote transmitting, scene controlling etc. key words: image monitoring; embedded system; arm; c/os-ii; motion detection; tcp/ip; gprs; embedded web server i基于 arm 的嵌入式图像监控系统研究 学科：控制理论与控制工程 研究生签字： 指导教师签字： 摘 要 随着数字图像技术、嵌入式计算机技术和通信技术的飞速发展，嵌入式图像监控系统己成为当今监控领域的一个新的研究热点。然而，大量无意义画面的回传在增加通信量的同时，并没有减轻监控图像判读的工作量；而受有效传输速率的限制，远程图像监控系统的清晰度一般较低。在前端对图像进行运动检测和分析，并在符合规则时抓拍高清晰度图片传回监控中心，可有效解决清晰度和传输速率间的矛盾。本文提出了一种基于 arm 的嵌入式图像监控系统，它在前端实现了运动检测，并采用 gprs无线信道进行远程图像传输，提高了监控系统的布站灵活性和特异图像的清晰度。 系统以基于 arm7 内核的嵌入式微处理器 lpc2210 为核心，嵌入式实时操作系统c/os-ii 作为软件开发平台。运动目标检测采用动态差分背景图像法，其原理是利用序列图像中当前帧图像减去背景图像，并采用使信息熵最大化的运动判决门限判定运动区域；采用 kalman 滤波动态背景生成实现了背景的动态更新；从而实现了复杂变化背景下图像运动区域的判决。监控系统采用嵌入式 web 服务器技术将报警信息及现场图像发送至远程监控中心；中心与前端监控点间可以采用有线（以太网）或无线（gprs）的远程传输信道，这两种传输方式具有互相弥补、方便灵活的特点。远程传输采用 gprs 通用无线分组协议，并采用 wavecom 通信模块实现了利用现有的无线公网传输实时远程监控图像。 文中给出了系统设计及实现的全过程。实验结果表明，所提出的运动检测算法具有较高的检出率和较低的虚警率；所实现的 gprs 传输运行可靠、掉线率较低。同时，该图像监控系统的实现也为后继的目标分类、目标跟踪、远程传输和对现场的控制等研究工作，提供了一个初步的平台。 关键词：图像监控；嵌入式系统；arm；c/os-ii；运动检测；tcp/ip；gprs； 嵌入式 web 服务器 ii4.4.2 运动目标检测实验 . 39 5 ethernet 的图像传输.41 5.1 嵌入式 tcp/ip 协议栈 .41 5.1.1 zlg/ip 简介47. 41 5.1.2 zlg/ip 的 socket api 函数介绍. 43 5.2 嵌入式 web服务器.45 5.2.1 http 协议简介48. 45 5.2.2 嵌入式 web 服务器设计 . 46 5.2.3 html 网页设计. 47 5.3 图像传输的实现 .48 6 gprs 远程无线传输的设计与实现.50 6.1 gprs 简介 .50 6.1.1 gprs 特点 . 50 6.1.2 gprs 系统结构 . 51 6.1.3 gprs 业务解决方案 . 52 6.2 gprs 传输模块方案设计 .53 6.2.1 主要功能和特点 . 53 6.2.2 系统结构 . 54 6.2.3 系统选择 . 55 6.3 系统实现 .57 6.3.1 硬件实现 . 57 6.3.2 软件实现 . 60 6.4 gprs 远程无线传输的实现 .64 6.4.1 gprs 传输模块测试 . 64 6.4.2 通过浏览器访问远程图像监控点 . 66 7 结论与展望 .67 攻读硕士学位期间发表的论文.68 致 谢.69 学位论文知识产权声明.70 学位论文独创性声明.71 参考文献.72 附 录 a.75 i主要符号表 符号 名称 i 当前帧图像 b 背景图像 ip 图像灰度概率 h ( b ) 背景熵 h (o ) 目标熵 s ,t 阈值 g 增益因子 1 ,2 权值系数 i目 录 主要符号表. i 1 绪论 .1 1.1 课题研究的目的意义、主要内容及关键问题 .1 1.1.1 课题研究的目的及意义 .1 1.1.2 课题研究的主要内容 .1 1.1.3 课题研究的关键问题及解决途径 .2 1.2 国内外发展动态 .3 1.2.1 图像监控的动态及趋势 . 3 1.2.2 嵌入式技术发展现状及其前景131415. 5 1.3 论文结构安排 .7 2 系统总体方案设计 .8 2.1 系统设计原则 .8 2.2 系统结构及工作原理 .9 2.2.1 系统功能组成 . 9 2.2.2 工作原理及功能要求 . 10 2.3 系统设计 .10 2.3.1 系统硬件模块框图 . 11 2.3.2 系统软件模块框图 . 12 3 嵌入式核心平台建立 .13 3.1 lpc2210 资源规划 .13 3.1.1 arm 微处理器体系简介. 13 3.1.2 lpc2210 硬件资源与结构. 15 3.2 嵌入式实时操作系统c/os-ii .17 3.2.1 c/os 内核介绍21222324. 17 3.2.2 c/os-ii 在 lpc2210 上的移植2526. 19 3.3 开发环境简介 .22 3.3.1 开发硬件平台. 22 3.3.2 开发软件平台. 23 4 图像采集及运动检测的实现.25 4.1 图像采集 .25 4.1.1 图像传感器简介28. 25 4.1.2 摄像头接口电路设计 . 26 4.1.3 摄像头驱动程序设计 . 28 4.2 运动检测的研究 .32 4.2.1 运动检测简介 . 32 4.2.2 运动目标检测算法43-46. 34 4.3 图像运动检测的实现 .36 4.4 实验结果与分析 .38 4.4.1 动态背景更新实验 . 38 1 绪论 11 绪论 1.1 课题研究的目的意义、主要内容及关键问题 1.1.1 课题研究的目的及意义 随着嵌入式计算机技术、通信技术、数字图像技术等的发展，监控技术也得到了迅速发展1；基于 pc 的远程图像监控系统得到了迅速地普及。这种监控系统可被广泛应用于那些对于安全要求敏感的场合，如停车场、仓库、超市、自动贩卖机、atm和交通管理等。当场景里出现可疑行为时，监控系统能及时向保安人员发出警报，从而避免犯罪的发生。由于基于 pc 的远程图像监控系统结构复杂，稳定性、可靠性不高，价格高昂、操作烦琐等缺陷，不能满足某些监控领域的应用要求2。 随着人们期望监控点的增多，对监控点的期望也在增多：期望监控点能够方便安装省去繁琐的布线、期望监控点能够减轻监控人员判读图像的工作强度前端智能图像处理、期望能够省去中心的巨额投入通过简单的设备进行监控。这些期望导致一种新型监控系统的诞生基于嵌入式技术、网络技术和无线技术的带有前端图像处理功能的远程监控系统。 这种监控系统通常以嵌入式系统作为核心处理器，集成了嵌入式系统成熟的图像处理技术、网络通信技术、web 技术等，利用现有的计算机网络通信信道进行远程图像的传输，省去了繁琐的视频布线及昂贵的中心设备，前端具有图像检测功能，通过任何一台可以上网的计算机甚至手机即可获得监控现场的画面。由于具有以上的优点，这种图像监控系统的开发和设计正越来越多地受到人们的瞩目。基于嵌入式技术的智能图像监控系统必将有良好的应用与发展前景，由它代替当前普遍应用的基于pc 的远程监控系统将成为必然趋势3。 本文顺应图像监控领域的发展趋势，在总结多种形式的远程图像监控系统利弊的基础上，探讨了一种具有前端运动目标检测、有线（以太网）和无线（gprs）传输技术相结合的基于 arm 的嵌入式图像监控系统。 1.1.2 课题研究的主要内容 本文以远程图像监控系统领域现阶段的技术为参考，设计并实现了一种基于 arm内核的高性能的嵌入式微处理器和嵌入式实时操作系统c/os-ii 的远程图像监控系统。该系统在对现场图像进行监控的基础上，嵌入了图像前端处理的功能，对所监控的视觉范围实现运动目标检测，并将现场图像通过有线（以太网）或无线（gprs）的方式发送至远程监控中心。这两种传输通道分别采用了嵌入式 web server 技术和gprs 技术，在远程传输中起到互相弥补、传输方式灵活的作用。同时，这个图像监控系统平台也为后继的研究工作（包括目标检测、目标分类、目标跟踪、远程传输和对西安工业大学硕士学位论文 4监视器监视器控制键盘画面切换和画面切割视频矩阵控制器c录像机. 图 1.1 本地模拟监视系统结构图 b数字图像监控系统 数字图像监控系统不仅符合信息产业的未来发展趋势，而且代表了监控行业的未来发展方向，蕴藏着巨大的商机和经济效益，成为目前信息产业中颇受关注的数字化产品。特别是近年来，随着技术的进步和社会经济的不断发展，客观上对图像监控系统的准确性、有效性和方便性提出了更高要求。具体地讲，主要体现在以下两个方面：一是需要实施图像监控的范围更加广阔，由传统的安防监控向管理监控和生产经营监控发展，而且对同一套系统的覆盖面和实施距离也提出了更高的要求，通俗地说就是要达到点多面广；二是要求监控系统与管理信息系统、网络系统结合，实现对大量视频数据的压缩存储、传输和自动处理，从而达到资源共享，为各级管理人员和决策者提供方便、快捷、有效的服务。数字图像监控系统一般可以分为二类： （1）基于pc的多媒体监控系统 进入20世纪80年代，随着数字化技术的发展，给图像监控带来了一次技术革命。人们慢慢地从过去模拟处理方式转向数字处理方式，开始使用pc机来处理图像信号。利用计算机的数据处理能力与显示器的高清晰度，将视频信号通过视频采集卡采集到计算机中，显示在显示器上，大大提高了图像的画质。 基于pc的多媒体监控系统是一般采用下面的结构：在远端监控现场，有若干个摄像机、各种检测、报警探头与数据设备，通过各自的传输线路，汇接到多媒体监控终端上，多媒体监控终端可以是一台pc机，也可以是专用的工业机箱组成多媒体监控终端。除了处理各种信息和完成本地所需要的各种功能外，系统利用视频压缩卡和通信接口卡，通过通信网络，将这些信息传到一个或多个监控中心。 基于pc的多媒体监控系统功能较强，但稳定性不够好、功耗高、需要有专人值守。其结构图如图1.2所示。 西安工业大学硕士学位论文 2现场的控制等）提供了一个初步的平台。本文就基于嵌入式的系统总体设计方案、图像运动目标检测的方法及实现、嵌入式 web server 的设计及图像传输和基于 gprs 图像传输模块设计等四个问题进行了研究。 a基于嵌入式的系统总体设计方案 在嵌入式图像监控系统中，需要由多个功能事件构成并协同工作，才能实现整个系统的有序高效的运行。然而，各功能事件（任务）均运行于功能不像其它商业rtos那么强大的嵌入式操作系统c/os-ii之上，以及各个任务所能调用的硬件资源极其有限，这就增加了各功能任务进行协作的复杂性。因此，需要对整个系统进行总体分析规划，制定一种有序且高效的系统协作机制。 b图像运动目标检测的方法及实现 作为智能化的嵌入式图像监控系统，在系统中具有自适应入侵检测功能是必然的。因此，本文在总结当前各种先进的运动目标检测算法利弊的基础上，结合嵌入式系统资源有限的特点，重点研究了一种新型的自适应背景的运动目标检测算法，并在目标系统中编程实现。实验结果表明，该算法在现场环境不变或渐变的情况下，能较好的对运动目标进行检测，并且背景图像能够自适应环境的变化而自动更新。 c嵌入式web server的设计及图像传输 对于远程的嵌入式图像监控系统，其传输信道的可靠性、方便性和灵活性是基本的要求。系统的有线传输信道采用基于以太网的嵌入式web server来发布现场图像。因而，只要有以太网的场所即可搭建此监控系统，这给用户带来了极大的方便，也省去了特意建网的费用；远端的监控人员只要打开普通的ie浏览器即可监视现场的情况。实验结果表明，该嵌入式web server能稳定的工作，采用服务器拖拽技术动态地更新远端监控人员的网页，并将清晰的画面传输出去。 d基于gprs图像传输模块的设计 系统的另一种传输方式是无线信道，采用 gsm 的 gprs 网络将图像发送出去。因而，必须去了解 gprs 业务的相关知识，包括无线链路的建立，数据的传输和链路的断开等，设计一个基于 gprs 的图像传输模块。这无疑给系统的实现增加了另一挑战。实验结果表明，该基于 gprs 的图像传输模块能够稳定的完成无线链路的建立，数据的传输等工作，并能进一步改进为通用的无线数据传输模块。该模块为以后更多的应用提供了一个良好的无线传输通道。 1.1.3 课题研究的关键问题及解决途径 本课题的关键技术包括基于熵的图像运动检测算法及实现，以及基于gprs的远程传输。 a基于熵的图像运动检测算法及实现 采用动态差分背景图象法进行运动目标检测时，从序列图象中当前帧图象减去背景图象后，判定差分图像中活动区域（像素点）的阈值是算法的重点；需要寻找一个合适的阈值来分割当前帧图像与背景图像的差分图像，以便使二值化后的图像能更正确地反映原图像的运动目标。本文在总结前人研究成果的基础上，选择基于熵的阈值确定算法。西安工业大学硕士学位论文 3该运动检测算法的基本思想是，采用当前画面与动态更新背景的差分图像，选择使目标和背景的信息量（熵）达到最大值的灰度值作为分割的阈值，认为超过该阈值的部分即为图像中的运动部分，再对该部分进行目标大小的估计，从而判断目标是否存在及目标是否构成威胁。 为了获得较高质量的运动区域，还需要对背景图像进行更新以使背景图像能够自适应外部环境的变化，减少动态场景变化对运动分割的影响，有效地抑制光照变化、气候变化、飞鸟的介入等外界因素对于运动检测的影响。动态背景更新算法采用采用一阶kalman 滤波实现。 算法采用c语言实现。为加快检测算法的速度，图像采用灰度图像。文中给出了算法的实现流程以及所实现背景更新和运动检测的效果。 b基于gprs的远程传输 gprs51general packet radio service，为通用分组无线业务的简称，是通过公共移动通信网络gsm系统传输tcpip分组数据的有效手段。gprs链路的建立是实现基于gprs的远程传输的关键点，需要经过附着至网络、启动gprs连接（包括启动ppp协议拨号连接）等步骤建立gprs链接，并建立与监控中心的tcp连接。在数据传输过程中，需要对gprs链路和被传的数据进行检测，以避免链路的异常断开。 文中给出了作者采用arm7实现对gprs模块实施控制并实现gprs链路建立、tcp/ip数据传输的硬件和软件设计；详细的设计过程在论文第六章中给出。 1.2 国内外发展动态 1.2.1 图像监控的动态及趋势 图像处理以其直观、方便、信息内容丰富而被广泛应用于许多场合。在电子技术、通信技术和计算机技术发展的过程中图像处理的技术水平，直接反映了不同阶段的技术水平，人们往往把当时最先进的相关技术应用于该领域。图像处理技术是图像监控系统的关键技术之一，可以这么说，从模拟图像监控系统到数字图像监控系统是监控系统发展的趋势，是数字化技术和计算机技术发展的必然结果。根据图像处理技术发展的不同阶段，图像监控系统大致可分为两个大阶段12： a本地模拟图像监视 从摄像机、电视机出现的那天起，原始的图像监视系统就己诞生。它被广泛应用于保安、生产管理等场合。本地图像监控系统主要由摄像机、视频矩阵、监视器、录像机等组成，由视频线、控制线缆等连接。其最大优点是图像清晰、不丢帧，系统相对比较简单。虽然目前还在很多场合使用，但是应该算是图像监视系统的早期实现方式。 本地图像监视系统一般采用模拟方式传输，采用视频电缆（或光纤），因此传输距离不能太远，主要应用于小范围内的监控，如楼层监控等，监控图像一般也只能在控制中心查看或者以录像带的方式录制。其结构图如图1.1所示。 西安工业大学硕士学位论文 6统通常由嵌入式处理器、嵌入式外围设备、嵌入式操作系统和嵌入式应用软件等几大部分组成。 b嵌入式技术发展现状 随着信息化、智能化、网络化的发展，嵌入式系统技术也将获得广阔的发展空间。进入20世纪90年代，嵌入式技术全面展开，目前己成为通信和消费类产品的共同发展方向。在通信领域，数字技术正在全面取代模拟技术。在广播电视领域，美国己经开始由模拟电视向数字电视的转变，欧洲dvb（数字电视广播）技术己在全球大多数国家推广。在个人领域中，嵌入式产品将主要是作为个人移动的数据处理和通信软件。由于嵌入式设备具有自然的人机交互界面，gui屏幕为中心的多媒体界面给人很大的亲和力。手写文字输入、语音拨号上网、收发电子邮件以及彩色图形、图像已取得初步成效。对于企业专用解决方案，如物流管理、条码扫描、移动信息采集等，这种小型手持嵌入式系统将发挥巨大的作用。自动控制领域，不仅可以用于atm机、自动售货机、工业控制等专用设备，和移动通信设备、gps、娱乐等相结合，嵌入式系统同样可以发挥巨大的作用。 今天嵌入式系统带来的工业产值己经超过了1万亿美元。1998年11月在美国加州举行的嵌入式系统大会上，基于rtos的embedded internet成为一个技术新热点。在国内，“维纳斯计划”和“女蜗计划”一度闹得沸沸扬扬，机顶盒、信息家电这两年更成了it热点，而实际上这些都是嵌入式系统在特定环境下的一个特定应用。据调查，目前国际上己有两百多种嵌入式操作系统，而各种各样的开发工具、应用于嵌入式开发的仪器设备更是不可胜数。 嵌入式技术的迅速发展不仅使之成为当前微电子技术与计算机技术中的一个重要分支，同时也使计算机的分类从以前的巨型机、大型机、小型机、微机之分变为通用计算机与嵌入式系统之分。嵌入式的应用更是遍及金融、航天、电信、网络、信息家电、医疗、工业控制、军事等各个领域，以致有些学者断言，嵌入式技术将成为后pc时代的主宰。 c嵌入式技术发展前景 以信息家电为代表的互联网时代嵌入式产品，不仅为嵌入式市场展现了美好前景，注入了新的生命；同时也对嵌入式系统技术，特别是软件技术提出新的挑战。这主要包括：支持日趋增长的功能密度、灵活的网络联接、轻便的移动应用和多媒体的信息处理，此外，当然还需对付更加激烈的市场竞争。 （1）嵌入式应用软件的开发需要强大的开发工具和操作系统的支持 随着因特网技术的成熟、带宽的提高，icp和asp在网上提供的信息内容日趋丰富、应用项目多种多样，像电话手机、电话座机及电冰箱、微波炉等嵌入式电子设备的功能不再单一，电气结构也更为复杂。为了满足应用功能的升级，设计师们一方面采用更强大的嵌入式处理器如32位、64位risc芯片或信号处理器dsp增强处理能力；同时还采用实时多任务编程技术和交叉开发工具技术来控制功能复杂性，简化应用程序设计、保障软件质量和缩短开发周期。 目前，国外商品化的嵌入式实时操作系统，己进入我国市场的有windriver、 西安工业大学硕士学位论文 7microsoft、qnx和nuclear等产品。我国自主开发的嵌入式系统软件产品如科银coretek公司的嵌入式软件开发平台deltasystem，它不仅包括deltacore嵌入式实时操作系统，而且还包括lamdatools交叉开