数字化家庭图像监控系统

1、吴捷等:数字化家庭图像监控系统数字化家庭图像监控系统吴捷张光卫李波(北京航空航天大学计算机系数字媒体室北京100083)摘要根据家庭安全防范的需要,设计实现了经济实用的数字化家庭图像监控系统。该系统以Windows、Java2为开发平台,以廉价的USB摄像头为图像采集设备。针对USB摄像头采集图像效果差,提出了一种快速有效的运动对象检测和分类算法,并能在异常发生时快速报警。同时利用媒体的流化技术和RTP/RTCP协议,实现了视频流的实时播放、传输和存储。关键词数字图像处理,家庭安全,图像监控,运动对象检测0引言家庭监控系统涉及3个关键问题:低成本,一般城市家庭能够接受;异常检测准确、系统可靠,

2、虚假报警和漏报率低;异常发生时的快速报警机制。术,一般由传感器、拟技术的固有缺陷,多问题,。、系统庞大,;由于无法对模拟视频信号施加异常检测算法,监控功能只能靠传感器完成,不但增加了成本,误报率也较高;录像存储介质为磁带,难以进行有效的信息查询和检索;模拟视频图像的传输需要架设单独的视频传输线路且存在信号衰减问题,难以进行远程传输,无法利用计算机强大的运算能力和日益普及的计算机网络;在异常发生时无法及时通知用户等。Dihom(DigitalHouseMonitor)是根据家庭安全防范的需要研制的数字化家庭图像监控系统,能够很好地解决上述问题。该系统仅需要在家用电脑上配置USB摄像头和相应的软件

3、,其成本符合广大中国家庭的购买力。本文第1节简要介绍Dihom系统的功能特点,第2节1Dihom的功能Dihom的功能框如图所示。、Dihom系统)放置在居,Internet和短消息中心,同时拍下现场的图片(帧数可调)并以Jpeg方式压缩,再把多个Jpeg图片用Winzip格式压缩,并作为附件给用户发送Email。这样用户收到短消息后再检查Email就可对家中情况有清楚的了解。用户也可以远程登录到家中计算机,实时观看家中的情况。系统的主要功能和特点有:成本低,仅需要一个USB摄像头和一台家用电脑,目前众多城市家庭都配有微机,同时越来越多的居民小区开始为住户提供上网环境。录像、拍照功能,Diho

4、m能采用多种格式进行录像,也能在实时播放的视频流中抓拍单帧图片,图片采用JPEG格式存储。采用先进的异常检测算法,可以过滤由于USB摄像镜头的图像稳定性差、以及由复杂的场景引起的图像变化,从而有效减少误报的发生。多种报警方式,当发现异常情况时,系统自动进行视频流存储和报警。报警方式有给设定的手机号发送短消息,以及向设定的电子邮件地址发送报警Email等。采用流化技术实时传输视频流,家庭成员可以远程登录到家中的计算机,在异地观察家中正在发生的现场情况,视频传输率可达315frame/s。讨论视频媒体的流化技术在本系统中的应用,第3节介绍Dihom的运动对象检测和异常事件分类算法,第4节给出试验结

5、果。国家自然科学基金(69974005)和教育部博士点基金资助项目。女,1975年生,硕士生;研究方向:数字图像处理。联系人。(收稿日期:2002201208)25高技术通讯2002.05而有意义地变化的数据,其重要特征是需要严格按照时间进行处理,因而时基媒体经常称为流媒体(Streamingmedia)。流媒体技术经常用于在基于IP的网络上传输视频流、音频流。发送端把流媒体拆分成IP包(Packets)后发送到网络上。每一个包都要被打上严格的时间戳,在接收端必须按照时间戳对接收到的包进行重新组装然后播放1。从用户的角度看,流与通常的文件传输不同,因为文件传送一般要等全部文件下载到本地以后再进

6、行处理,流媒体却是图1Dihom的功能2流媒体技术在Dihom中的应用时基媒体(time2basedmedia)是指随时间的变化边接收边处理。图2是流媒体的传输与处理过程。Java媒体框架JMF(JavaMediaFramework)2是在Java应用程序和Applets小程序中处理流媒体的应用程序接口(API)和技术。利用JMF可以捕图2流媒体的传输与处理捉、存储、传输媒体,通过plug2inAPI接口也可以扩展JMF的功能。图3为JMF的高层体系结构。其中在高层API中有以下重要的类:DataSource用来表示各种视频源;DataSink从DataSource中读取数据,然后输出到新的目

7、标,如保存进文件,发送到网络等;Player和Processor用来呈现(Presentation)媒体的Beans,Player从DataSource获得数据然后直接在输出设备上播放。Processor除了具有Player的功能外,还可以对DataSource的数据进行处理生成一个新的DataSource。流媒体在IP网络上传输时往往采用基于UDP的RTP(RealTimeProtocol)协议3,RTP协议为应用程序传送实时数据(音频、视频等)提供了端到端的网络传输功能。RTP协议不提供资源预留,也不提供服务质量保证(QoS)。其数据传输通过控制协议(RTCP)来增强,RTCP监视数据传输

8、,并提供一些控制和识别功能。RTP和RTCP独立于传输层26图3JMF的高层体系结构和网络层,JMF提供了实现RTP/RTCP协议的API。根据Java的媒体处理框架,本文设计了Dihom的系统结构(见图4)。Dihom运行时首先查找视频采集设备并用JMF的DataSource对象表示,然后利用克隆(Clone)技术把数据源克隆为4个,分别用于进行播放、录像、传输和检测,4个处理过程分别在4个线程内进行。播放线程由数据源创建播放器并回吴捷等:数字化家庭图像监控系统放采集的视频流。存储线程由数据源创建DataSink对象完成视频流的存储。传输线程由数据源创建Processor,然后再创建Data

9、Sink对象并把视频流发送到网络上,接收端根据接收到的视频流创建新的数据源和播放器(Player),从而在接收端播放出视频流,实现实时传输。异常检测线程由数据源创建Processor,根据时钟以20frame/s左右的速度在视频流中取得视频数据,执行异常检测算法,发现异常后创建报警线程,报警线程又创建短消息报警线程和电子邮件报警线程,前者以数据报的方式向短消息中心发送信息,通过短消息中心发送短消息给用户,电子邮件报警线程在视频流中抓取现场图片,保存成若干Jpeg文件,再用Winzip格式压缩成一个文件,并把该文件作为附件以电子邮件的形式发送给用户。4(1)。根据面向对象的分析方法建立整个系统的

10、模型,在此基础上合理划分整个开发任务;采用Java面向对象的特点编写代码,层次结构清楚,增强了系统的可移植性以及代码的可重用性。(2)采用JMF媒体流化技术,从而可以用统一的框架实现视频流的采集、播放、存储和传输。(3)实现了基于RTP、RTCP协议的实时视频流传输。利用JMFRTPAPIs,根据RTP/RTCP协议完成了视频流的实时传输,并且结合系统的需要,对媒体传输的格式进行了扩充,实现在IP网络上实时传输和接收从摄像机采集的视频信息。(4)利用Java内置线程机制实现了在服务器端的多任务并行。Dihom系统在服务器端创建了多个线程,分别完成视频流的获取与播放、传输、存储、异常检测以及报警

11、等工作,不仅提高了系统的执行效率,而且增强了系统的稳定性和安全性。而发生改变。另外,家庭监控场景可能比较复杂,例如室内的窗帘飘动、室外的树叶晃动和雪雨等都会造成图像变化,从而使得如何区分“背景引起的异常(无需报警)”和“真正的异常(需要报警)”很困难。本文提出了一种解决上述问题的异常检测算法(见图5):针对窗外远处发生的事件以及背景噪声3Dihom的异常检测算法由于Dihom采用廉价的USB摄像镜头,图像稳定性较差、图像背景颜色可能随前景对象的闯入图5异常检测算法流程27高技术通讯2002.05可能引起图像背景产生一些小的变化,形成小尺寸对象,Dihom采用Morphology尺寸滤波消除这些

12、小尺寸的对象,从而减少了错误异常报警率。由于图像背景颜色不稳定,使得传统的根据像素亮度的检测方法4无法得到准确的运动对象,本系统提出联合利用YUV颜色空间图像像素亮度和色彩分量检测运动对象。背景维护是基于背景减算法检测运动对象的关键,在Dihom中作者提出一种新的背景维护算法背景自适应3关键值法。由于许多因素都会使得在当前视频流中探测到运动对象,例如有人闯入、窗帘飘动等,Dihom的异常事件分类算法对其加以判断和分类,对有人闯入等事件产生异常报警,窗帘飘动事件则不需要报警。311联合利用YUV颜色空间图像像素亮度和色彩像素点是否有运动变化,这个数组称为掩模映射表(MaskMap):1当(x,y

13、)为运动像素时Mn(x,y)=0否则M是运动对象的二值图像,不但可用来掩模视频帧从而分割出运动对象,还可用于运动对象的跟踪、分析和分类。312Morphology尺寸滤波消除小尺寸对象的一种有效算法是采用Mor2phology尺寸滤波,它不但实现简单而且速度快,能够满足实时要求。所有Morphology滤波算法都是由两个最基本的操作来定义的,一个操作称腐蚀操作(erode),另一个称膨胀操作(dilate)5。腐蚀和膨胀一般配对使用,先腐蚀再膨胀称为开启操作,先膨胀然后再腐蚀则称为关闭操作。尺寸滤波一般采用开启操作,通过设定结构化元素H,在本系统中。尺寸滤,。为了减少这种副作用,本文在开启操作

14、之后再紧跟一次关闭操作,或以现有运动像素为种子使用区域增长法6,获得完整的对象图块。313背景维护背景维护是基于背景减算法检测运动对象的关键,它直接影响检测出运动对象的完整性和准确性。背景的维护方法有多种,文献4对背景维护问题进行了深入的讨论,Grimson等采用高斯混合模型对背景进行估计7,文献8统计每一个像素在无对象情况下强度的变化范围作为前景对象的判定阈值。在Dihom中作者提出背景自适应3关键值法,其核心思想是对每一个背景像素使用3组矢量:RGB变化的最大值(Xmax,bi)、最小值(Xmin,bi)和当前混合值(Xmix,bi)来表示合法背景像素的允许取值(i为帧号),并采用IIR滤

15、波对它们进行如下更新。(1)当光线自然变化(不是开关灯引起的),并且无异常对象存在时,3组向量自适应学习:Xmin,bn+1=min(Xmin,bn,Xcn)Xmax,bn+1=max(Xmax,bn,Xcn)分量检测运动对象在家庭监控中摄像机一般是固定的,若图像格式采用YUV,视频采样时间间隔t,当t=nt时捕获到第n帧图像。用Ycn(x,y)、Ucn(x,y)和Vcn(x,y)分别表示当前帧像素(x,y)的亮度、U分量和V分量,Ybn(x,y)、Ubn(x,y)和bn(x,:YcnY<TYn22和(Ucn-Ubn)+(Vcn-Vbn)<TUVn其中TYn、TUVn分别表示亮度和

16、色度允许的误差阈值,上述公式(略去坐标)的第二项可以理解为相应像素点颜色之间的色度距离。当有对象闯入时一般会破坏上式的成立,从而可以找出运动的像素并分割出闯入的对象。背景中的静止对象也可能移动,上述方法得到的运动像素可能包含对象移动留下的空穴。由于空穴在随后的视频帧中不会移动,因此可用相邻帧差法来消除空穴,Dihom采用3帧帧差法判定某个像素是否是背景对象留下的空穴。综合上述两种情况,运动像素的判定公式为:Ycn-YbnYcn-Ycn-2TYn,Ycn-Ycn-1TYn22TYn和(Ucn-Ubn)(Ucn-Ubn-1)2+(Vcn-Vbn)TUVn2+(Vcn-V2-1bnVbn-1)TUV

17、n)+Xmix,cnXmix,bn+1=Xmix,bn(1-(Ucn-Ubn-2)+(Vcn-Vbn-2)2TUVn用一个与视频帧尺寸相同的数组M来记录各28其中Xcn为当前帧RGB向量,为背景更新的速度:=0,使用固定不变的背景(初始背景);=1,使用当前帧作为背景;0<<1,背景由前一时刻的背景吴捷等:数字化家庭图像监控系统与当前帧混合而成。(2)当光线有突变时(由开关灯引起的),3组向量按当前帧重置:Xmin,bn+1=Xcn,Xmax,bn+1=Xcn,Xmix,bn+1=Xcn(3)当有对象闯入时,背景保持不变。为避免将运动对象的部分像素学习为背景像素,采用:Xmin,b

18、n+1=Xbn,Xmax,bn+1=Xbn,Xmix,bn+1=Xbn背景亮度的变化可用来判定检测到的运动对象是否因开关灯而引起。开关灯事件不应引起系统报警,因而进行背景亮度分析有助于降低系统的误报率。背景亮度使用平均背景亮度Yb来度量:W-1H-1W-1H-1Yb=66Yn(x,y)(1-Mn(x,y)(1-Mn(x,y)(4)在运动像素的判定公式中TYn、TUVn取固定值,得到合法的背景像素判定公式为:XYUV=CXRGBmin(abs(Xmin(1)-Xcn(1),abs(Xmax(1)x=0y=066其中Yn(x,y)为当前帧各像素的亮度,Mn(x,y)为当前帧的掩模表。用Yb0表示发

19、现有异常对象时前一帧的背景亮度,Yb1表示检测到异常对象时第一帧的背景亮度,两帧平均亮度的变化为:Y=Yb1-Yb0如果Y大于某个值则认为发生了开灯事件,如果Y小于某个负值则认为发生了关灯事件。-Xcn(1),abs(Xmix(1)-Xcn(1)<Tymin(Xmin(2)-Xcn(2)+(Xmin(3)-Xcn(3),2222Xmax(2)-Xcn(2)+(Xmax(3)-Xcn(3),Xmix(2)-Xcn(2)+(Xmix(3)-Xcn(3)<TUV224实验结果PIII2350,摄像镜接口的2000b型号。系统SUN公司JAVA开发工具包JDK113,异常报警模块作为一个线

20、程运行,帧尺寸176×144,采样周期50ms,异常检测结果见表1。表1Dihom的异常检测结果事件名称开、关灯窗帘运动窗外灯光人闯入异常检测异常报警虚假报警率漏报警率(%)(%)次数次数524241616736121513610130160160-0其中C为颜色空间RGB到YUV的变换矩阵,TY为亮度变化判定阈值,TUV为色度变化判定阈值X(i)(i=1,2,3)分别表示R,G,B,化起见,。314异常事件分类对象,例如有人闯入,背景中原来静止的对象出现移动,开灯或关灯,风吹动窗帘等。运动对象分析程序应对这些事件加以分类,对出现危及户主家庭生命和财产安全的事件产生异常报警,而对其他

21、运动对象或异常避免虚假报警。Dihom使用的异常事件分析算法有对象运动距离分析、开关灯事件检测和皮肤探测,每种算法都能满足实时处理要求。当异常监控线程首次探测到运动对象之后(记录掩模表为M0),进入运动对象跟踪过程,在一定的时间范围内监视运动对象质心(几何中心)的移动变化,如果对象跟踪超过预定的时间或者物体质心变化超过规定的阈值(记录掩模表为M1),则结束对象运动距离分析,记录对象移动的最大距离和此时对象的图像。对象的移动距离定义为:d=xc1-xc0+yc1-yc0可以看出Dihom不仅能探测出所有真正的异常,而且能有效地减少虚假报警,达到了实用化要求。参考文献:1LuJ1Signalpro

22、cessingforinternetvideostreaming:are2view1In:ProceedingsofSPIEonImageandVideoCom2municationsandProcessing,Jan1,20002SunMicrosystems1JavaTMMediaFrameworkAPIGuide1Nov1,19993SchulzrinneH,etal1RTP:atransportprotocolforreal2timeapplications1RFC1889,InternetEngineeringTaskForce(IETF),Jan1,1996其中(xc1,yc1),

23、(xc0,yc0)分别为M0和M1的重心。运动距离分析可用于确定闯入对象是否是人,有人闯入时人的运动距离一般比较大,而背景中振动对象(如树叶、窗帘等)和突然开关灯的运动距离比较小,因此可以消除虚假报警。29高技术通讯2002.054CollinsRT,etal1Asystemforvideosurveillanceandmonitoring1MU2RI2TR200212,http:/www1cs1cmu1edu5章毓晋1图像处理和分析1北京:清华大学出版社,19996ToyamaK,KrummJ,BrumittB,etal1Wallflower:prin2ciplesandpracticeofbackgroundmaintenance1In:Proc1InternationalConferenceonComputerVision,19997GrimsonW,LeeL,RomanoR,etal1Usingadaptivetrackingtoclassifyandmonitoractivitiesinasite1In:Proc1ofCVPR98,1998