嵌入式系统调研报告

北京联合大学嵌入式系统设计与应用调研报告学院：专业：课程：班级：姓名：学号：年月日基于流媒体技术的网络化嵌入式视频监控系统北京联合大学XXX原作者：陈耀武,伍鹏,汪乐宇(浙江大学仪器科学与工程学系,浙江杭州310027)摘要:视频监控系统是日常生产生活中的重要辅助设备,提出并研究设计了基于流媒体技术的网络化嵌入式视频监控系统.以高性能嵌入式处理器、DSP处理器和嵌入式Linux操作系统为核心进行系统设计.系统通过DSP处理器进行视频信号的MPEG4数据压缩,在嵌入式处理器上采用流媒体技术通过网络传播实时视频流.详细论述了系统设计、硬件设计和软件设计,并给出了实际运行结果.关键词:视频监控系统;流媒体;MPEG4;嵌入式系统StreammediatechnologybasednetworkembeddedvideomonitoringsystemCHENYao-wu,WUPeng,WANGLe-yuAbstract:Thevideomonitoringsystemisanimportantassistantdeviceinourlife.Anetworkembeddedvideomonitoringsystembasedonthestreammediatechnologyispresentedanddeveloped.Thesystemisdesignedoftheembeddedprocessor,theDSPprocessorandembeddedLinuxoperatingsystem.ThevideocompressionpartofthesystemisbasedontheMPEG4嵌入式Linux操作系统越来越多地成为嵌入式系统设计的主流.其具有任务调度、存储管理、消息队列、中断处理等现代操作系统特征;并且针对嵌入式系统进行了优化,具有体积小、固化容易、现场实时反应能力强、可靠性好等特点;而且操作系统本身包含TCP/IP协议栈,以及大量跟硬件相关的驱动程序.另外Linux操作系统上的开发资源十分丰富,为嵌入式软件开发人员提供了良好的开发平台.硬件驱动程序位于嵌入式Linux操作系统之中,是上层应用软件和下层嵌入式硬件之间的唯一桥梁.对于特定的嵌入式硬件就需要编写特定的驱动程序.在该系统中主要开发了高速SPI接口驱动程序模块,这样上层嵌入式流媒体服务器就可以通过SPI接口驱动来接受DSP压缩好的MPEG4视频数据.嵌入式流媒体服务器是系统嵌入式软件设计的核心部分.首先通过串口驱动程序来设置DSP的压缩过程并启动压缩,接着通过高速SPI驱动程序获得DSP压缩好的MPEG4数据,转换其为适于流式传输的数据后通过基于IP多播技术的实时传输协议RTP(realtimetransferprotocol)、实时传输控制协议RTCP(RTPcontrolprotocol)、会话描述协议SDP(sessiondescriptionprotocol)[4]等一系列标准的IP实时多媒体数据传输协议传送到网络上.1.4嵌入式流媒体服务器软件详细设计嵌入式流媒体服务器整个软件采用C++语言编写,图4是该软件的静态UML类图设计.如图4所示,整个系统其实就是由CMediaFlow类所代表的视频媒体数据流.数据流由一系列节点串连而成.抽象类CMediaNode类抽象代表这些一系列的节点,每一个节点其实就是一个线程,而每个线程都有一个消息队列(CMsgQueue类),用来接受相应的消息(CMsg类)作出处理动作.具体来讲,CMediaSource类派生至CMediaNode类代表所有数据流源头的节点,也就是数据流的入口点.同样的,CMediaSink类也派生至CMediaNode类代表所有数据流的接受节点,可以用来表示数据流的出口点.CMediaFrame类代表这个数据流中真正的数据,它从数据源流向数据流的出口.CVideoSource类是派生至CMediaSource类,代表视频数据的入口点,它调用嵌入式Linux操作系统的SPI驱动来获得实时的视频数据.CRtpTransmitter类派生至CMediaSink类,代表视频数据的出口点,它封装了基于流媒体技术的网络化嵌入式视频监控系统对网络RTP/RTCP协议的操作,把视频数据流直接发送到网络上.CHttpServer类实现了一个简单的HTTP服务器的功能,主要是可以通过HTTP协议传送SDP文件给客户端,客户端获得SDP文件后就可以根据SDP文件的描述信息来获得视频流的IP多播包.CSdpFile类实现了对SDP会话描述协议文件的操作,根据当前的视频流配置信息产生SDP文件.图5为嵌入式流媒体服务器软件UML动态序列图.具体的动态流程描述如下:系统初始化过程程序入口main函数首先创建CMediaConfig类对象pConfig,并从配置文件里获得配置信息而初始化该对象.pConfig对象里面包含了整个系统的配置信息,比如视频源类型、视频压缩编码器类型、网络传输的设置等等.根据pConfig对象的配置来创建类CMediaFlow的对象pFlow,并且Start这个数据流.pFlow对象会去创建视频数据源对象CVideoSource和数据流的出口对象CRtpTransmitter.用CVideoSource的AddSink操作告诉CRtpTransmiter类的对象是数据源的接收者.启动CRtpTransmitter的对象,同时创建CSdpFile类对象,并通过GenerateSdpFile操作来产生SDP描述文件.创建CHttpServer类对象,并启动HTTPserver服务,提供SDP文件下载.视频流处理发送过程.pFlow对象调用CVideoSource类对象的StartVideo操作来启动视频流.从SPI驱动获得MPEG4的数据帧,接着创建CMediaFrame类的对象pFrame,用ForwardFrame操作把MPEG4数据帧送入接受者CRtpTrans-mitter类的对象.CRtpTransmitter类的对象调用DoSendFrame函数通过网络发送该MPEG4数据帧.CVideoSource类对象通过RealseFrame操作释放该MPEG4数据帧,并销毁pFrame对象.重复以上过程就可以得到连续的视频流数据.中止该视频流的过程.Main函数调用pFlow对象的Stop操作来中止该视频流.pFlow对象会依次去停止和销毁CVideoSource类对象和CRtpTransmitter类对象,删除SDP文件,销毁CS-dpFile类对象,停止和销毁CHttpServer类对象.Main函数销毁pFlow对象,销毁pConfig对象并结束程序.1.4客户端视频监控软件的设计由于服务器端采用标准的RTP协议,客户端播放软件只要遵循该协议,就可以获得视频流.服务器端采用IP多播技术,只需发送一份数据包就可以支持多客户端同时监控,而不会增加服务器的负担.一般来说,客户端只要安装有与DSP的MPEG4压缩算法相应的解码器,然后使用Re-alOne等标准播放软件都可以作视频流的播放了.也可以根据RTP协议,自己编写客户端播放软件来进行视频监控.2系统实践该系统已经在实验室和一些现场进行过系统实践,如图6和图7的屏幕截图所示.3结论根据当前计算机网络技术和视频数据压缩技术的发展现状,提出并研究设计了一个基于流媒体技术的网络化嵌入式视频监控系统.该系统以高速发展的嵌入式网络技术为核心进行设计,具有很好的可靠性和性能价格比.该系统在一定应用场所已得到了试验应用.参考文献:[1]GREIFFENHAGENM,COMANICIUD,NIEMANNH,etal.Design,analysisandengineeringofvideomonitoringsystems:anapproachandacasestudy[J].ProceedingsoftheIEEE,2001,90(10):1498-1517.[2]ZingirianBagliettoMaresca,Migliardi.MPEGCodingofHighwayMonitoringVideoSequences[M].Univer-sityofGenoa,Italy:InternalReportDIST,1996.[3]SCHULZRINNEH,CASNERS,FREDERICKR,etal.RTP:atransportprotocolforreal-timeapplica-tions[J].RFC3550,2003.[4]HANDLEYM,JACOBSONV.SDP:sessiondescrip-tionprotocol[J].RFC2327,1998.[5]ADSP-BF531/ADSP-BF532/ADSP-BF533.BLACKfinEmbeddedProcessorPreliminaryDataSheet[M].Ana-logDevices,Inc,2003.[6]IntelCorporation.IntelPXA26xProcessorFamilyDeveloper'sManual[M],2003.论文认识体会 这篇论文写的是关于基于流媒体技术的网络化嵌入式系统在视频监控中的应用。通过阅读这篇论文，我认识到现如今随着网络、通信和数字信息技术的不断进步，监控系统的组成模式也在快化和发展中。视频监控系统是安全防范系统的组成部分，它是一种防范能力较强的综合系统。视频监控以其直观、方便、信息内容丰富而广泛应用于许多场合。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，涌现出大量的嵌入式视频监控系统。视频监控技术的发展大致可分为四个阶段：闭路电视系统构建的模拟系统、数字信号控制的模拟视频监控系统、数字硬盘录像设备为核心的视频监控系统和现在的数字网络视频监控系统。我认为论文中设计的视频监控之所以采用嵌入式Linux系统是因为嵌入式Linux操作系统越来越多地成为嵌入式系统设计的主流.其具有任务调度、存储管理、消息队列、中断处理等现代操作系统特征;并且针对嵌入式系统进行了优化,具有体积小、固化容易、现场实时反应能力强、可靠性好等特点;而且操作系统本身包含TCP/IP协议栈,以及大量跟硬件相关的驱动程序.另外Linux操作系统上的开发资源十分丰富,为嵌入式软件开发人员提供了良好的开发平台.硬件驱动程序位于嵌入式Linux操作系统之中,是上层应用软件和下层嵌入式硬件之间的唯一桥梁.对于特定的嵌入式硬件就需要编写特定的驱动程序.在该系统中主要开发了高速SPI接口驱动程序模块,这样上层嵌入式流媒体服务器就可以通过SPI接口驱动来接受DSP压缩好的MPEG4视频数据.嵌入式流媒体服务器是系统嵌入式软件设计的核心部分。通过这篇论文我体会到嵌入式系统已经涉及到生活中各项领域，不仅是视频监控领域，还有手机，PDA，机顶盒，高清电视，路由器，汽车电子，智能家电，医疗仪器，航天设备等等这些都是嵌入式系统的典型应用。嵌入式系统将会有更加广阔的发展空间。课程总结通过8周的嵌入式系统课程学习，我对嵌入式系统以及ARM微处理器有了更加深刻的认识。以往我对嵌入式系统是极其陌生的，并且认为这是非常难理解和学习的。但经过了上学期微机原理和本学期的嵌入式系统课程，我对这个系统有了全新的认识。课本对该系统的描述：嵌入式系统是“控制、监视或者辅助装置、机器和设备运行的装置”。这主要是从应用上定义的，从中可看出嵌入式系统是软件和硬件的综合体。但上述定义并不能充分体现出嵌入式系统的精髓，目前国内一个普遍被认同的定义是：以应用为中心、以计算机技术为基础、软件硬件可裁剪、适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。我对这个系统的理解是这样的：嵌入式系统是集系统的应用软件与硬件于一体，类似于PC机中BIOS的工作方式，具有软件代码小、高度自动化、响应速度快等特点，特别适合于要求实时和多任务的体系。不仅如此，我认为嵌入式系统是面向用户、面向产品、面向应用的，嵌入式系统是与应用紧密结合的，它具有很强的专用性，必须结合实际系统需求进行合理的裁减利用。嵌入式系统和具体应用有机地结合在一起，它的升级换代也是和具体产品同步进行，因此嵌入式系统产品一旦进入市场，具有较长的生命周期；嵌入式系统是将先进的计算机技术、半导体技术和电子技术和各个行业的具体应用相结合后的产物。这一点就决定了它必然是一个技术密集、资金密集、高度分散、不断创新的知识集成系统；除了嵌入式系统，我对ARM