（生物医学工程专业论文）夜间监视系统的研究.pdf

a b s t r a c t a b s t r a c t t h ei n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e m ，an e wk i n do fd i g i t a ls u r v e i l l a n c es y s t e m b a s e do nt h ea n a l y s i sa n dp r o c e s s i o no fv i d e oc o n t e n t ，i sp l a y i n ga ni n c r e a s i n g l y i m p o r t a n tr o l ei nt h en a t i o n a le c o n o m y t h ek e yt e c h n o l o g yi n c l u d e sm o t i o nd e t e c t i o n a n db a c k g r o u n du p d a t i n g o n eo fp r i m a r yc o m p l i c a t i o n sd e t e r i o r a t i n gt h es t a b i l i t yo f an i g h tm o n i t o r i n gs y s t e mi sl i g h t i n gv a r i a t i o n t h i sp a p e rs t u d i e so nt h i sp r o b l e m b a c k g r o u n ds u b t r a c t i o na n df r a m ed i f f e r e n c em e t h o da r ec o m m o n l yu s e dm o v i n g o b j e c t sd e t e c t i o nm e t h o d s b a c k g r o u n ds u b t r a c t i o ni ss i m p l eb u tl i a b l et ob ea f f e c t e d b yl i g h t i n gv a r i a t i o n f r a m ed i f f e r e n c em e t h o di sr o b u s t t o l i g h t i n gv a r i a t i o nb u t d i f f i c u l tt os e g m e n ta n dr e c e i v eaw h o l em o v i n go b j e c t a i m e da tt h i si n s t a n c e ，i nt h i sp a p e r , an e wm o t i o nd e t e c t i o nm e t h o di sd e v e l o p e d b yc o m b i n i n gt h eb a c k g r o u n ds u b t r a c t i o na n df l a m ed i f f e r e n c em e t h o d st o g e t h e rw i t h ab a c k g r o u n ds e l f - u p d a t i n gm e t h o d ，i nw h i c hs e v e r a li m a g ef r a m e sa r ep r o c e s s e d c o m p r e h e n s i v e l y t h i sm e t h o db e a r sn o to n l yt h ec h a r a c t e r i s t i c “e x a c tt os u r v e y o b j e c t ”o fb a c k g r o u n ds u b t r a c t i o nb u ta l s ot h ec h a r a c t e r i s t i c r o b u s t t ol i g h t i n g v a r i a t i o n s ”o ff l a m ed i f f e r e n c e ，f u r t h e rc o n s i d e r i n gt h eb a c k g r o u n ds e l f - u p d a t i n g a r i t h m e t i c ，t h ep r o p o s e dm e t h o di ss u p p o s e dt ob ea b l et oi m p r o v eo b v i o u s l yt h e s t a b i l i t yo fav i d e os u r v e i l l a n c es y s t e m ，e s p e c i a l l yo n eu s e da tn i g h t s o m ep r et r e a t m e n t s ，l i k ec o n v o l u t e s i m p l ef i l t e r i n ga n dm o r p h o l o g i co p e r a t i o n e t c ，h a v e a l s ob e e n p e r f o r m e d t ot h ei m a g e sa f t e rs u b t r a c t i o nt os o l v e n o i s e d i s t u r b i n gp r o b l e m ，f u r t h e re n h a n c i n gt h es t a b i l i t ya n ds e c u r i t yo fav i d e o s u r v e i l l a n c es y s t e m t ov a l i d a t et h ef e a s i b i l i t yo ft h ep r o p o s e dd e t e c t i o na n dt r a c k i n gm e t h o d ，a p r o t o t y p es y s t e mh a sb e e nb u i l ta n dt e s t e di n d i f f e r e n te n v i r o n m e n t s e x p e r i m e n t r e s u l t ss h o wt h a tt h ep r e s e n t e dm e t h o di se f f e c t i v et oc o n q u e rt h ei n f e c t i o no fl i g h t i n g v a r i a t i o n t h es y s t e mc o u l dr e s u m es t a b l es m t u si na b o u t0 6 sa f t e rl i g h t i n gv a r i e s i n t e n s i v e l y , s oi th a st h ev e r yh i g hp r a c t i c a lv a l u ei nv i s u a ls u r v e i l l a n c e k e yw o r d s ：b a c k g r o u n d u p d a t i n gm o t i o nd e t e c t i o nv i s u a ls u r v e i l l a n c e 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得：苤壅盘堂或其他教育机构的学位或 证书而使用过的材料。与我- - 厉3 3 z 作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示了谢意。 学位论文作者签名：多乍掏和博字同期： 砂矿绎，月f 1 学位论文版权使用授权书 本学位论文作者完全了解鑫盗盘堂有关保留、使用学位论文的规定。 特授权墨垄盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：多中掏女儿 导师签名 馋r j 签字日期：z 蛑月占日 签字日期：妒牛年i ( 月，占同 第一章绪论 1 1 引言 第一章绪论 随着科技的发展，社会的进步，人民生活水平的提高，团体和个人的安防意 识都在不断增强，视频监控系统也就得到了越来越广泛的应用。目前，它已经广 泛应用在了银行、博物馆【1 圳、交通道路 3 _ 5 l 、商业 6 8 】、军事1 9 - j 2 】、公安、电力、 厂矿、智能小区等系统和领域的安全监控、自动监控和远程监控。1 9 9 8 年全国 监控系统的市场总额为6 5 0 亿元，近年来一直以每年1 5 到3 0 的速度快速增 长。目前在美国、欧洲及同本开展了大量的自动视频监视方面的研究工作，并且 视频监视也已成为最近一些国际会议和工作组的研讨主题。 监控系统的智能化是视频监控发展的研究方向。智能视频监视就是实时的观 测被监视场景的运动目标【l 。1 ”，并且进行分析描述他们的行为，在一定条件下给 予报警。这项技术研究内容主要涉及到运动目标的检测和提取，图像处理和增强， 模式识别及通讯等内容。 1 2 监控系统的发展过程及研究、应用现状 1 2 1 监控系统分类 根据图像处理技术的发展，可将监控系统分为两类：模拟图像监控系统和数 字化视频监控系统。 1 模拟监控系统多以摄像机、视频矩阵、分割器、录像机为核，t l , ，采用手 动方式对各个监视点的情况进行切换，其存储会耗费大量的存储介质，查询取证 十分繁琐，系统的功能简单、可靠性差。 2 随着计算机处理能力的提高，监控系统逐渐转向数字方式，不仅能提供 各类数据、文本、图形信号，还有视频图像、声音等更加丰富的多媒体信息来支 持生产和管理活动。数字化视频监控系统又可以分为本地监控和网络监控。 1 本地监控是指用直接电缆方式进行传输，这种监控系统的控制和切换大多 第一蕈绪论 采用单片机方式通信协议的多样化和专用化难于统一很难组建大型监控系统。 2 网络监控系统指各类监控信息从本地监控中心被释放出来，数字化的视频 音频及控制信号能够以i p 包的形式在网络上传输，嵌入式w e b 服务器技术支持 网络用户通过浏览器对信息进行远程监控与管理。 1 2 2 监控系统的发展 监控系统的发展大致经历了三个阶段：九十年代初以前的模拟场景监控，九 十年代中期的数字场景监控，和九十年代末兴起的智能监控系统。 第一个阶段主要是以模拟设备为主的闭路电视监控系统，它使用的是模拟信 号传输视频数据，称为第一代模拟监控系统。它的缺点是有线模拟信号传输受距 离影响很大，无法联网，只能以点对点的方式监视现场，耗费大量的存储介质等。 第二个阶段中，随着计算机处理能力的提高和视频技术的发展，人们利用计 算机的高速数据处理能力进行视频的采集和处理，利用显示器的高分辨率实现图 像多画面显示，从而大大提高了图像的质量，这种基于p c 机的多媒体主控台系 统称为第二代数字化本地视频监控系统。 第三阶段是随着网络带宽、计算机处理能力和存储容量的快速提高，以及各 种实用视频处理技术的出现，视频监控步入了全数字化的网络时代，成为第三代 远程视频监控系统。依据网络，视频数据的传输不再受距离的影响，免去了布线 的麻烦，同时节省了存储空间。 现在的监视系统不仅用摄像机代替了人的眼睛，而且使用计算机代替人来分 析监控场景出现的运动目标和发生的事件，完成相应的控制、报警等任务，形成 了智能化的监视系统。已经受到了学术界、产业界和使用部门的高度重视。 1 2 3 监控系统的研究、应用现状 视频监控系统以其种种优点在经济、军事、民用等方面具有广泛的应用前景 和潜在的经济价值，从而激发了国内外广大科研工作者和相关商家的浓厚兴趣。 国际上一些权威期刊和重要学术会议都将智能监控中的运动目标检测跟踪 和事件识别作为主要研究内容之一。在美、英等国，已经丌展了大量相关项目的 研究。如1 9 9 6 - - 1 9 9 9 年卡内基梅隆大学和戴维s a r n o f f 研究中心等著名大学 和公司，联合研制了智能场景脆视与监控系统v s a m 。v s a m 是一个战场监控 系统，包括了多传感器融合的全方位昼夜监控，先进的视频分析处理，先进的网 第一章绪论 采用单片机方式通信协议的多样化和专用化难于统一很难组建大型监控系统。 2 网络监控系统指各类监控信息从本地监控中心被释放出来，数字化的视频 音频及控制信号能够以i p 包的形式在网络【传输，嵌入式w e b 服务器技术支持 网络用户通过浏览器对信息进行远程监控与管理。 1 2 2 脓控系统的发展 监控系统的发展大致经历了三个阶段：九十年代初以前的模拟场景监控，九 十年代中期的数字场景监控，和九十年代末兴超的智能监控系统。 第一个阶段主要是以模拟设备为主的闭路电视监控系统，它使用的是模拟信 号传输视频数据，称为第一代模拟监控系统。它的缺点是有线模拟信号传输受距 离影响很大。无法联网，只能以点对点的方式监视现场，耗费大量的存储介质等。 第一个阶段中，随着计算机处理能力的提高和视频技术的发展，人们利用计 算机的高速数据处理能力进行视频的采集和处理，利用显示器的高分辨率实现图 像多画面显示，从而大大提高了图像的质量，这种基于p c 机的多媒体主控台系 统称为第二代数字化本地视频监控系统。 第三阶段是随着网络带宽、计算机处理能力和存储容量的快速提高，以及各 种实用视频处理技术的出现，视频监控步入了全数字化的网络时代，成为第= 代 远程视频监控系统。依据网络，视频数据的传输不再受距离的影响，免去了布线 的麻烦，同时节省了存储空问。 现存的临视系统不仅用摄像机代替了人的眼睛，而且使用计算机代替人来分 析监控场景出现的运动h 标和发生的事件，完成相应的控制、报警等任务，形成 了智能化的监视系统。已经受到了学术界、产业界和使用部的高度重视。 1 2 3 监控系统的研究、应用现状 视频监控系统阻其种种优点在经济、军事、民用等方而具有广泛的应用前景 和潜在的经济价值，从而激发了国内外广大科研工作者和相关商家的浓厚兴趣。 国际上一些权威期刊和重要学术会议都将智能监控中的运动目标检测跟踪 和事件识别作为主要研究内容之一。在美、英等国，已经丌展r 大量相关项目的 研究。如1 9 9 6 - - - 1 9 9 9 年卡内基梅隆大学和戴维s a r n o f f 研究中心等著名火学 和公司，联合研制了智能场景脆视与监控系统v s a m 。v s a m 是一个战场监粹 系统，包括了多传感器融合的全方位昼夜监控，先进的视频分析处理，先进的网 系统，包括了多传感器融合的全方位昼夜监控，先进的视频分析处理，先进的网 第一蕈绪论 采用单片机方式通信协议的多样化和专用化难于统一很难组建大型监控系统。 2 网络监控系统指各类监控信息从本地监控中心被释放出来，数字化的视频 音频及控制信号能够以i p 包的形式在网络上传输，嵌入式w e b 服务器技术支持 网络用户通过浏览器对信息进行远程监控与管理。 1 2 2 监控系统的发展 监控系统的发展大致经历了三个阶段：九十年代初以前的模拟场景监控，九 十年代中期的数字场景监控，和九十年代末兴起的智能监控系统。 第一个阶段主要是以模拟设备为主的闭路电视监控系统，它使用的是模拟信 号传输视频数据，称为第一代模拟监控系统。它的缺点是有线模拟信号传输受距 离影响很大，无法联网，只能以点对点的方式监视现场，耗费大量的存储介质等。 第二个阶段中，随着计算机处理能力的提高和视频技术的发展，人们利用计 算机的高速数据处理能力进行视频的采集和处理，利用显示器的高分辨率实现图 像多画面显示，从而大大提高了图像的质量，这种基于p c 机的多媒体主控台系 统称为第二代数字化本地视频监控系统。 第三阶段是随着网络带宽、计算机处理能力和存储容量的快速提高，以及各 种实用视频处理技术的出现，视频监控步入了全数字化的网络时代，成为第三代 远程视频监控系统。依据网络，视频数据的传输不再受距离的影响，免去了布线 的麻烦，同时节省了存储空间。 现在的监视系统不仅用摄像机代替了人的眼睛，而且使用计算机代替人来分 析监控场景出现的运动目标和发生的事件，完成相应的控制、报警等任务，形成 了智能化的监视系统。已经受到了学术界、产业界和使用部门的高度重视。 1 2 3 监控系统的研究、应用现状 视频监控系统以其种种优点在经济、军事、民用等方面具有广泛的应用前景 和潜在的经济价值，从而激发了国内外广大科研工作者和相关商家的浓厚兴趣。 国际上一些权威期刊和重要学术会议都将智能监控中的运动目标检测跟踪 和事件识别作为主要研究内容之一。在美、英等国，已经丌展了大量相关项目的 研究。如1 9 9 6 - - 1 9 9 9 年卡内基梅隆大学和戴维s a r n o f f 研究中心等著名大学 和公司，联合研制了智能场景脆视与监控系统v s a m 。v s a m 是一个战场监控 系统，包括了多传感器融合的全方位昼夜监控，先进的视频分析处理，先进的网 第一苹绪论 络传输，提供可视化图像操作界面，自动对准地面监视目标等功能。美国i s s 公 司的a u t o s c o p e 2 0 0 4 视频监测系统，浚系统用于检测在铁路线上的无人值守 的候车室内和铁路沿线重要路段出现的遗弃物，已经很好地应用在了北美铁路运 输监视系统。欧洲的c r o m a t i c ac r o w dm a n a g e m e n tw i t ht e l e m e t r i ci m a g i n g a n d c o m m u n i c a t i o n a s s i s t a n c e 系统，主要用于地铁站内的监控，可以发现反常的 人流如过度拥挤，铁轨上异物出现的危险情况。 国内的监控系统研究是个新领域，近几年刚刚开展起来，不过也已经有很多 研究所、大学和公司进行了各种监控系统的开发和应用。中科院自动化研究所已 经成立了智能视觉监控研究组，旨在实现一个动态场景集成分析演示系统并最终 推向实用。上海交通大学、国防科技大学和北京航空航天大学等都在多媒体数字 视频监控系统领域有丰硕的成果。长城集团商网通电子商务有限公司、北京微视 电子技术有限责任公司等也自主开发了国产的数字视频监控系统。目前国内的军 用、民用等领域都大量应用了视频监视系统，它给国家、社会和个人的安全都带 来了很大的贡献。 1 3 监控系统的运动目标检测研究现状 智能监控技术研究涉及到计算机视觉、模式识别及人工智能等领域，其内容 主要涉及到运动目标的检测和提取，图像处理和增强，模式识别及通讯等内容。 其中最重要的是运动目标的检测。 运动目标检测就是实时地在被监视的场景中检测运动目标，并将其提取出 来。在现实生活中，大量的有意义的视觉信息包含在运动之中，在许多场合，例 如交通流量的监测、重要场所的保安、航空和军用飞行器的制导、汽车的自动驾 驶等，我们往往对运动的物体更感兴趣。因此研究运动目标敏感的监测是很有意 义的。一般来说，运动目标检测和跟踪都是针对视频或者图像序列的。它处于整 个视觉监视系统的最底层是各种后续高级处理如目标分类、行为理解等的基础。 运动目标检测算法依照被监视场景与摄像头之间是否存在相对运动分为静止背 景下运动目标的检测和运动背景下运动目标的检测两大类。 i 3 1 静止背景下运动目标的检测 摄像机处于静止状态时背景相对固定，但会受到光照变化及噪声的影响。这 第一章绪论 种情况下运动检测可用两种绝对差进行处理，一种是当前图像与静止的参考背景 图像的绝对差，这种方式允许检测与背景景物不相关的对象；第二种是连续两帧 图像的绝对差，这种方式允许检测景物中相对运动的对象。在实际应用中，视 频图像每秒约为2 5 帧左右，不需要对每一帧都做处理，只需按固定的涮隔采样， 进行检测即可。 1 3 1 1 背景差算法 背景差方法的基本思想是输入图像与背景模型进行比较，通过判定灰度等特 征的变化，或真方图等统计信息的变化来判断异常情况的发生和分割运动目标。 简单常用的方式为：直接抽取视频序列中某一幅图像，或计算多幅图像的平均值 作为背景。 在处理静止摄像机拍摄的视频图像时，还要考虑背景中存在一些运动的自然 景物如在风中摇摆的树木、草或出现雨、雪等天气变化 1 9 - 2 3 l ，这种情况下可以采 用自适应滤波去除背景变化的影响，建立合理的背景模型并对其及时进行更新也 能抵消这些干扰和变化，例如建立混合k 阶高斯模型【】9 1 ，或利用色度、亮度空间 的多个分布模型来进行处理1 2 。 1 3 1 ，2 帧比较法 由于相邻帧之间的背景差异很小，所以可用当前图像与前一帧图像相减判定 变化的发生，这种方法使用的是动态背景。实际问题在于前一帧图像并非纯粹的 背景，相减必定存在背景残留，一般通过设定阈值来尽可能地去除背景残留，这 种方法易于受到图像颗粒噪声的影响，而且难以确定合适的阈值。人们提出了许 多改进方法，例如进行图像对应点比较时，将其置于对应邻域中进行但l 】：通过提 取函数判断差分法闽值【2 “，能够在低对比度图像光线灰暗时中分离运动目标；采 用分块进行帧比较的思路田j ，既可以减弱噪声的影响，又利于对物体进行定位； 通过对帧差图像的噪声高次统计量进行判决i i ，也能得到较好的检测结果。 1 3 2 运动背景下运动目标的检测 当摄像机也处于运动状态，例如航拍的道路交通状况，或对目标进行跟踪拍 摄，背景不可避免地处于剧烈变化中，此时基于差值的方法就失去了检测运动目 标的能力，为了消除背景运动的影响，人们提出了各种方法。常见的有相机运动 参数估计、光流和几何转换2 “。相机运动参数计算是消除明显背景运动的最好方 4 第一章绪论 法，但是在许多应用中无法直接估计出相机的运动参数；光流法建立在光流方程 基础上，其庞大的计算量使之无法做到实时；几何转换方法计算开销低，基本能 够满足实时处理的要求。这些方法的前提都是假定背景的运动均衡统一。仿射运 动模型是常用的运动模型 2 4 - 2 5 ，估计出背景明显运动后，就可用来定位运动物体； 或者通过2 d 参数运动模型及多次求解估计出的参数值进行建模，运用多级马尔 可夫随机场mrf 检测视频运动1 2 6 j 。 1 4 课题的提出及研究意义 1 4 1目前智能监控系统研究中存在的难题 随着网络技术、计算机存储能力、数字视频技术和图像处理技术的不断发展， 以智能实用的图像分析为特色成为视频监控系统的发展方向。它的关键技术集中 在运动目标和异常检测、跟踪处理方面。在这方面，人们进行了大量的研究，也 给出了适应许多不同场合的运动目标检测、跟踪算法。o l s o n 等介绍了一种运动 物体检测和事件识别系统 2 ”，它通过检测帧间图像变化来发现运动物体在跟踪中 上使用了一阶预测和最近邻匹配技术。蔡茂国杨淑雯等给出了- 0 0 n 用图像系统 实现运动物体捕捉的方法【2 8 l ，它利用像素绝对值的在整幅图像、水平方向和垂直 方向的平均值及峰值变化情况给出了稳定性较好的检测运动目标物体的方法。刘 亚，艾海舟，徐光佑等提出了- - s 0 基于背景模型的运动目标的检测与跟踪方法1 2 9 j ， 它是在静止摄像机条件下，以一种改进的自适应混合高斯模型为背景更新方法。 众多的研究方法在不同的场合的确有各自的优点，对于外界光照、天气比如 闪电等变化也有一定的鲁棒性，但是当光线变化非常强烈时，这些算法大都具有 一定的局限性，所以寻找一种能够在各种光照等外界环境下变化后能够迅速恢复 背景，从而快速、稳定的检出及报警仍然是人们需要研究的重点难点问题。 1 4 2 本文主要研究内容及创新 鉴于上面提到的这种情况，本文的研究主要针对银行、博物馆等场所的夜间 智能监视系统进行研究。研究将给出一种在光线强烈变化情况下，能够快速恢复 稳定状态，灵敏检测运动目标，并且实时报警的夜间监视系统设计方案。主要内 容如下： 第一罩绪论 第一，基于背景差法和帧问法相结合，及多帧联合判断，进行动态目标检测 和背景更新，建立一个能够在光线强烈变化情况下，迅速恢复稳定状态，快速的 的检测异常的图像处理系统。这部分主要分为图像的采集、增强、运动目标的 检测、背景自动更新。这是本文的主体部分。 首先是利用自制的滤波模板进行去噪处理，而后利用数学形态学对图像进行 增强，去掉一些毛刺，填平小空洞，这样使得异常检测更加准确。 其次是运动目标的检测，这一部分也是本文的创新所在。当光照等外界情况 变化很小，没有达到背景更换条件的时候，监视系统基于背景差方法，用当前帧 和已经存储的静态背景图像做差，来检测运动物体。一旦有异常物体进入，系统 能够立刻报警；当光照情况变化很大时，比如丌灯，那么就不能在用原来的固定 背景，此时，背景就会通过检测丌灯后三幅图像和原来固定背景的不同程度，以 及三幅图像之间的差异，来决定是否换为当前背景，从而实现背景的自动更新。 这样就完全克服了光线对运动目标算法的影响，也不像背景实时更新那么麻烦， 使监视系统根据有智能化。 第二，视频监控系统的智能还体现在异常事件报警后，能够自动进行相应的 处理，将异常事件发生前后的视频信息进行保存，为工作人员提供基于内容的查 询，避免了取证时繁重的浏览查找工作。所以在本研究中将设计一个能够在出现 异常事件报警后，迅速记录包括文件名、时间等在内的异常事件图像。 第三，进行夜问监视系统的体系设计。这一部分主要是监视系统的功能实现 设计。包括摄像头、计算机、监视场所等的位置、通讯关系。计算机检测到异常 事件后通过串口送到报警器，铃响、灯亮。 本章对监视系统定义、发展历史、目前国内外发展状况进行了阐述，对监视 系统的技术关键及影响监视系统稳定的因素进行了分析，对国内外用于监视系统 的运动检测和背景更新的算法进行了研究。在此基础上提出了自己的运动目标检 测和背景更新的方法基于背景差法和帧间法相结合，及多帧联合判断，来进 行动态目标检测和背景自适应更新。此外，本章还对监视系统具体算法和系统原 型的设计进行了阐述。 第二章运动目标的检测 第二章运动目标的检测 运动目标的检测对于智能监控系统是至关重要的，其目的是从序列图像中将 变化区域从背景图像中提取出来。不同于场景本身的异常，它多以运动的形式表 现出来，运动与否就成了决定一个区域是否属于视频目标的最重要的判据。对于 通过静止摄像机进行场景监控，此时的背景相对固定，但会受到光照变化和噪声 的影响，使得运动检测成为一项相当困难的工作。本章就对摄像机静止状态下的 快速异常检测算法进行研究，分析各种异常检测算法如背景差法，帧问差法等在 实际应用中的不足，针对运动物体的检测、光照变化下的检测、背景改变的检测 等异常情况，提出了实用有效的检测算法，取得了很好的检测效果。 2 1 运动目标检测的几种算法 2 1 1 视频监视系统目标检测算法的分类 一个好的视频目标检测和提取算法，应该能适用于监视各种环境。通常一个 好的视频目标检测和提取算法应具有以下的特征： 1 不依赖于摄像头的安装位置： 2 在各种天气条件下应是鲁棒的； 3 对环境光线的变化应是鲁棒的； 4 应能够处理，杂乱无章的大面积区域的各种运动，以及视场内目标的叠加； 5 能适应场景中个别物体运动的干扰，如树木的摇晃，水面的波动： 人们总希望一个好的视频目标检测和提取算法，能适用于监视各种环境，但 实际应用中要解决这个问题是十分困难的，因为实际应用中不但要考虑到算法要 尽量适应于多种环境，而且除非有专门的硬件支持，否则研究者不得不在算法的 复杂度、可靠性，以及实时性等方面折衷考虑。目前大多数视频目标检测和提取 算法或多或少是针对解决某一问题而提出的，这样也就带来了对视频目标检测和 提取的算法的分类。 视频目标检测和提取的算法一般来说有两种分类方法，一个是可以按照被监 第二章运动目标的检测 视场景是室内还是室外进行分类，算法可分为室内监视算法与室外监视算法。对 于一个室内监视系统，环境条件变化较小的，它的监视算法相对易于设计，影响 环境变化或采集图像的因素较少，比如开关灯、闪电、随机噪声等。其监视内容， 主要是人以及场景中的物品，如有人进入或走出被监视场景，物品放入或移出场 景等。而对于室外监视系统，它的环境变化和各种影响因素就比较复杂，从而算 法设计也就复杂一些。 另外一种分类方法，是根据摄像头与背景之间是否有相对运动，将视频监视 算法分为静i 背景和运动背景的目标检测和提取两类。当视频监视中背景与摄像 头之间位置保持相对不变，那么背景图像的大小和位置在不同帧中将保持不变。 目前对于这种情况下的运动目标检测，常用的有两种方法，背景差算法和帧比较 法。而当背景与摄像头之间存在着相对运动时，必然会引起背景图像的位置、大 小和形状在不同帧中有所改变，所以其算法就与背景静止时的变化检测算法有所 不同了。运动背景下的目标检测大致有两种方法：一是利用光流方法检测运动目 标，第二是根据当前帧及其前面数帧的信息预测背景，从而检测到运动目标。 本文主要针对银行、博物馆等场所的监视系统进行研究，摄像头是到定安装 的，故为室内、静态背景下的运动目标检测。 2 1 2 静态背景下的运动目标检测方法 2 1 2 1 基于背景差的方法 基于背景差的方法的原理【2 弓o 】：首先选取背景中的一幅或几幅图像的平均作 为背景图像，存入计算机内，然后把以后的序列图像当前帧和背景图像相减，进 行背景消去。若所得到的相减结果像素数大于某一阈值，则判定被监视场景中有 运动物体，从而得到运动目标。用公式表示如下： d = f i l ( x ，y ，i ) 一b l ( x ，_ y ) f 2 - 1 i d l 阮川，= 僻筹 z z 式中，d ，是背景帧差图，b ，是背景的亮度分量，i 表示帧数i = 1 一，为序 列总帧数，丁为阈值。 其流程图如2 ，l 所示。 这种方法的优点是： 1 其原理和算法设计简单； 第二章运动目标的检测 2 经根据实际情况确定阈值进行处理后，所的结果直接反映了运动目标的位置、 大小、形状等信息，能够得到比较精确的运动目标信息。 缺点是受光线、天气等外界条件变化的影响较大 3 1 - 3 2 。 图2 - 1 背景差法流程图 f i 9 2 - 1t h ef l o wc h a r t o f b a c k g r o u n ds u b t r a c t i o n 21 2 2 相邻帧差法 相邻帧差法 3 3 - 3 4 1 又称图像序列差分法、帧间差法，它是运动检测研究的重要 基础【3 5 - 3 6 。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差 别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频 或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分， 相当于对图像序列进行了时域上的高通滤波。其公式如下 d = i ，l ( x ，y ，i ) 一i l ( x ，y ，i 一1 ) l 2 - 3 i d l 列，= 僻掰 2 - 4 式中，1 d ，是相邻帧差图，( x ，f ) 和，。( x ，y ，i 一1 ) 分别是第i 帧和第i 一1 的亮度 分量，i 表示帧数i = 1 ，为序列总帧数，r 为阈值。 其流程图如2 - 2 所示： 图2 - 2 相邻帧法流程图 f i g2 - 2 t h ef l o wc h a r to ff r a m ed i f f e r e n c em e t h o d 相邻帧差法的优点： 1 算法实现简单，程序设计复杂度低； 2 对光线等场景变化不太敏感，能够适应各种动态环境，鲁棒性较好。 其缺点是： q 第二章运动目标的检测 1 不能提取出对象的完整区域，只能提取出边界； 2 运动对象速度缓慢时，则可能检测不到，运动对象速度过快时，将把部分背景 也检测为运动对象。 2 1 3 动态背景下的运动目标检测方法 当摄像头与被监视场景有相对运动时，此时的背景称为动态背景。一般来说， 摄像头与被监视场景之间的相对运动主要有两种，一种是由于摄像头在拍摄场景 时的晃动而引起的背景图像的运动。另外种是由于摄像头在云台上做旋转运动 而引起的背景图像的运动。视频监视中，如果背景与摄像头之间位置保持相对不 变，那么背景图像的大小和位置在不同帧中将保持不变，所以可阻直接利用背景 差或帧间差对于同一位置像素的亮度或颜色的差来进行变化检测，这种方法易于 实现并且快速有效，然而当背景与摄像头之间存在相对运动，这必然会引起不同 帧中背景图像的位置，大小和形状有所改变，这时如果仍然利用帧问的差来检测 背景的变化显然是不正确的。 一般来说，运动背景包括全局运动，所以其目标检测大致有两种方法：第一 是利用光流方法检测运动目标，第二是根据当前帧和前面数帧的信息预测背景， 从而检测到运动目标。 2 1 _ 3 1 光流法 光流( 3 5 1 的概念是g i b s o n 于1 9 5 0 年首先提出的。所谓光流是指图像中模式的 运动速度，也就是图像数据中光学信息变化过程矢量场。光流场是一种二维瞬时 速度场，其中的二维速度矢量是三维速度矢量在成像表面的投影。光流不仅包含 了被观察物体的运动信息，而且携带了有关物体运动和景物三维结构的丰富信 息，在计算机视觉领域多个分支研究中扮演重要角色。 光流的方法一般是根据当前帧及前后帧的信息，计算某个像素的运动矢量。 令e ( x ，y ) 表示第训i 贞点( x ，) 对应的像素，f k + ， + d ( z ) ，y + d ( j ，) ) 表示第k + 1 帧 中0 + d ( x ) ，y + d ( y ”点所对应的像素。如果点( j ，y ) 像素对应运动目标的某一点， 并且在第k + 1 帧运动到( x + d ( 石) ，y + d ( y ) ) ，那么如果捕捉的视频没有噪声，应 该存在等式： 五( x ，y ) = e + ，( x + d ( x ) ，y + e l ( y ) ) 2 - 5 或者： 第二章运动目标的检测 e ( z ，y ) = f k 一，( x d ( x ) ，y d ( y ) ) 2 - 6 前式是第k 帧的像素运动到第k + l 中，叫做前向预测；后式是第k 帧的像素 在第k 一1 中的位置，叫做后向预测。 上述两式中的d ( x ) 与d ( y ) 就是( x ，y ) 像素的运动矢量，但是这个信息在视频 中不能直接获取。一方面是因为在成像的过程中会出现噪声，上述等式不会成立； 另一方面，d ( x ) 与d ( y ) 得计算是后验方式的：只有视频信息，在目标提取之前， 没有运动信息，而且因为三维物体成像到二维图像时，本身就会失去一部分信息。 三维信息丢失就带来了孔径问题和遮挡问题。所以用光流法估算二维运动场的解 是不确定的。需要使用附加的假设模型来模拟二维运动场的结构，可用的模型分 为参数模型和非参数模型2 种。参数模型分为f 交投影下的6 参数放射模型和透 视投影下的8 参数透视模型。相对于非参数模型，参数模型受噪声的影响较小， 因为参数是由多个像素结合在一起估算出来的，但参数模型的缺点是只适合于刚 性运动。图2 3 描述了一个从左向右旋转的球体的光流场： 图2 3 旋转球体的光流场 f i g2 - 3t h el i g h tf i e l do f r o t a r ys p h e r e 光流法的优点是可以在摄像头运动的情况下，仍然可以监测运动对象，但它 计算复杂，时实性差。因此在摄像头固定的情况下应用比较少。 2 1 ，3 2 全局运动预测”副 运动背景遇到的最大问题就是背景是变化的，因此不能直接利用帧差的方法 进行计算。利用帧差的方法进行计算，并不是要求背景总是固定的，而是要求已 知的背景是一段视频中每一帧的背景。所以严格来讲，只要能够想办法知道一段 第二章运动目标的检测 视频中每一帧的背景，那么帧差的办法仍然是可以使用的。 全局运动是需要解决的最大问题，可以用基于预测的方法来处理全局运动给 背景带来的变化。设第i 帧中坐标( x ，y ) 点的像素为p ( i ，x ，y ) ，如果能够根据 0 ，1 ，2 i 一1 目标检测的结果计算出背景的大致运动情况，那么就可以利用已知的 信息，对第i 帧的背景进行预测。如果预测出来的背景和实际的背景相差不多时， 利用这种方法进行目标检测，不但会减少计算时间，而且检测结果也很好。图 2 - 4 为全局运动检测的流程。 开始目标检测 l 对视频序列第i 帧进行目标提取，提取前景和背景 1 1 利用第i 帧信息进行预测第i + l 帧的背景 l 利用帧差方法对第i + 1 帧进行目标提取 八 t t h e n b = b 一l 不更新 e l s e b m = c “更新 式中： d 。，两幅图像上某个像素的狄度差值； b 。更新后的背景图像像素值； b p t l - i 未更新的背景图像像素值； c 。前一帧现场输入图像像素值； 这种方法也可以解释为：以时间间隔图像差分方法找出图像内的变化区域， 然后将非变化区域的背景以当前图像替代，即更新背景。 第二章运动目标的检测 它的优点是：在对背景做了这种更新后，背景的很大区域已经就是当前图像 的一部分了，所以以这个背景去和下一幅图像进行差分，在很大的区域内实际上 就是时间间隔图像差分方法，因此它不仅继承了时间间隔图像差分方法对场景微 小变化，特别是光线变化的适应性，基本消除了积累性误差，而且又具有固定背 景差分方法检测运动物体准确的优势，从而实现了两种方法的优势互补。 但是，这个方法不能解决两种特殊情况：l 物体永久性移入或移出，2 光线 突然出现相对比较大的变化。这时由于它们处在时问间隔图像差分方法的变化区 域中而不能得到更新，尤其是全场景光线的变化会导致整个图像区域被认为是运 动物体而不做更新。并且此方法过分依赖于阈值的选取。如果阈值选取不当，则 很难区分物体和背景，致使更新后的背景图像与实际背景图像差距较大，失去了 对实际背景的跟踪。 3 选择一平均更新法 由于多帧平均法和选择更新法存在以上所述的诸多缺点，m f a t h y 提出了一 种改进背景更新算法选择一平均方法。 这种方法结合了选择更新法和平均更新法的一些特点，它选用两帧连续的图 像来分析光线条件变化的强弱。它用当前图像与静态背景图像做差，如果这个差 值的绝对值大于某个阈值，并且当前捕捉的图像与它的前一帧图像的差值的绝对 值大于另一个阈值，那么取当前图像和背景图像的平均值来代替所选择的背景图 像像素的灰度值，即把此平均值图像作为静态背景，进行背景更新。 此方法的公式表示如下： f o re a c hp i x e lo fc a n d b p d o i f d p i = i c 。一b 。i t 1 t h e n i f d e 2 = i c 一c m l | t 1 t h e nb ”l = ( b + c + 1 ) 2更新 e l s eb m 】= b 不更新 其中： “雕当前图像与背景图像灰度差值； ) p 2 前一帧和当前采集图像灰度差值； o 则更新后的背景图像像素值； 。p t 原背景图像像素值； l p tl p t + l 前一帧和当前采集图像像素值； t 1t 2 阈值 第二覃运动目标的检测 这种方法用当前图像和背景图像的平均值来代替所选择的背景图像像素的 狄度值，而不是象选择更新法那样只进行简单的替换，从而降低了入侵物体和背 景区分不清的几率。但是此方法的判断有些简单，在出现闪电等情况是容易引起 误警。 4 随机更新法 随机更新法的原理是这样的：设置一个随机发生器，能够随机的产生某个范 围内的数字，通过随机数发生器产生一系列随机数，每个随机数相应对应图像中 的一个像素，每产生一个随机数，背景图像中相应的像素值便被输入图像中的像 素值代替，而不管该点到底是代表入侵物体还是代表背景信息。随机数发生器循 环一圈，背景更新一遍，通过随机数发生器不断的循环，产生的背景图像越来越 接近真实的背景图像。背景更新的速度受随机数发生器的速度控制。 图像在更新过程中能够引入噪声，但是由于进行的都是单点操作，所以引入 的是单点噪声，而不是局部噪声。更新之后必须紧接着进行后续滤波处理。同时， 更新的精度要受随机数发生器循环次数的影响，循环次数越多精度越高，需要的 时间越长。 2 _ 3 本文的运动目标监测和背景更新实现 如第二章所述，运动目标监测和背景更新的算法有很多种，也有各自的优缺 点。本文主要是针对室内监视系统进行研究，所要实现的功能简单说来就是当人 进入监视视野内时立即报警，同时铃响、灯亮，记录下报警时刻的图像。在这种 情况下最主要的一个问题是光线变化灯亮、闪电等对于算法的影响。另外，因为 是实时监控系统，所以算法的处理速度也是一个非常值得注意的。针对这种情况 我们设计了自己的目标监测和背景更新算法基于背景差和相邻帧差相结合 的运动目标检测和自适应背景更新算法。通过实验证明这种算法能够达到1 0 0 的报警率，有很高的稳定性和鲁棒性。 2 3 1基于背景差法和帧间差法相结合的运动目标检测和自适应背 景更新方法 鉴于上述众多运动目标监测和背景更新算法的优缺点，本文将背景差法和帧 问差法结合了起来，使它们优势互补，从而克服相互的弱点。 第一章运动目标的检测 在背景差法的实现中，它的固定背景不能一成不变。因为在实际的场景中， 即便是室内环境，也存在光线等各种变化造成的干扰或者人为造成的开灯等光线 的强烈变化。如果不进行重新初始化，错误将随时间不停累计，造成恶性循环， 从而造成监视失效。鉴于此，本文通过多帧联和判断，来实现背景更新，即用多 帧图像分别和背景图像做差，和帧问做差来判