（计算机软件与理论专业论文）基于fpga的便携式智能视频监视系统的设计与实现.pdf

一j - - - _ at h e s i sf 1 0 rt h ed e g r e eo fm a s t e ri nc o m p u t e rs o f t w a r ea n d t h e o r y d e s i g na n di m p l e m e n t a t i o no fap o r t a b i ei n t e i g e n tv i d e 0 s u r v e i l l a n c es y s t e mb a s e do nf p g a b yy uw | e i g u a n g s u p e r v i s o r ：p r o f e s s o rl ij i n 自i a o n 0 r t h e a s t e r n u n i v e r s i t y j u n e2 0 0 8 1 1 一 f，in蕾1，、1f i，、吖【、 i 小 l 独创性声明 本人声明，所呈交的学位论文是在导师的指导下完成的。论文中 取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表 或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了 明确的说明并表示谢意。 学位论文作者签名：孑仳 日 期：纱吼7 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学 位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的 复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学 位论文的全部或部分内容编入有关数据库进行检索、交流。 作者和导师同意网上交流的时间为作者获得学位后： 半年d一年口一年半口两年口 学位论文作者签名：椭 ) 签字日期：妒留、7 聊签名劣武 签字日期：加夕7 、 ， d 甜j f _ 心i 蠢 东北大学硕士学位论文 摘要 基于f p g a 的便携式智能视频监视系统的设计与实现 摘要 视频监视系统在现代社会发挥着越来越重要的作用，它广泛应用于国防建 设、交通管制、以及一些实时性的公共安全。但是现有的大多数视频监视系统仍 依赖于监视人员的现场操作和对大量视频数据的处理，导致了资源的浪费，也不 能及时的对异常情况进行处理。另外，传统的视频监视系统体积庞大，系统复杂， 成本较高。随着安全监视系统使用的日益普遍，传统的系统在使用中受到很大的 限制。针对视频监视系统对实时性、可靠性、便携性的要求，本文在传统的视频 监视系统的基础上设计并实现了基于f p g a 的便携式智能视频监视系统。 本文在查阅了大量的相关文献之后，采用帧差法对图像进行运动检测，自动 检测图像中的运动物体，无需人为干预就可及时发现监视环境内的运动物体。由 于f p g a 具有高速的数据处理能力，故系统可以对环境进行实时检测。 本文根据系统功能对整个系统进行整体设计并进行模块划分，然后对每个模 块进行详细设计，最后经测试完成。系统主要包括三大功能：运动检测、视频输 出显示和人机交互。本文以f p g a 为核心，简化系统的结构，提高系统的灵活性， 从而也增加系统的便携性。系统采用a 1 t e r a 公司的d e 2 作为开发平台，同时采 用a 1 t e r a 公司的d c 2 模块进行视频采集，d e 2 与d c 2 完美的结合是本系统成功 的关键。 在运动检测的基础上，为了便于监视人员观察监视环境的情况，本文增加视 频输出显示功能，通过监视器可以实时显示监视图像。 人机交互功能可以让使用者方便的操控系统，本文在f p g a 的基础上又引入 n i o s i i 软核处理器，提高了系统的控制能力，也使系统人机交互的实现更加方便。 本文详细介绍了各个模块的设计方法和实现过程，经测试，该系统实现了预 期的基本功能，具有很好的实时性、可靠性和便携性，具有广泛的应用前景。 关键词：智能视频监视；运动检测；帧差法；f p g a ；n i o s i i 软核处理器 一i i 1 1 d e s i g na n di m p l e m e n t a t i o n0 fap 0 r t a b l ei n t e u i g e n tv i d e 0 s u r v e i l i a n c es y s t e mb a s e do nf p g a a bs t r a c t d e os u r v e i l l a l l c e s y s t e mi sp l a y i n ga i li n c r e a s i n g l yi m p o n a n tr o l e i nm o d e m s o c i e t y nh a u sb e e nw i d e l yu s e di nm a n yf i e l d s ，s u c ha sn a t i o n a ld e f e n s e 。t h et 1 a m c c o n t i o l ，r e a l t i m ep u b l i cs a f e t ya n ds oo n m o s to ft h ev i d e os u n ，e i l l a n c es v s t e m s n o w a d a y s ，h o w e v e r ，s t i l ld 印e n do nm a i l u a lo p e r a t i o n ，w h i c hw a s t er e s o u r c e sa n d l o w e rt h ee f j e i c i e n c y i na d d i t i o n ，t h et r a d i t i o n a lv i d e os u e i l l a l l c es y s t e mi s a l w a v s t o o l a r g e ， t o o c o m p l e xa n dh a s ah i 曲e rc o s t w i t ht h e p o p u l 撕t yo f d e o s u e i l l a n c es y s t e m ，t h et r a d i t i o n a lv i d e os u n ，e i l l a n c es y s t e mc 踟o tb e a c c 印t e d b y m o s tu s e r s c o n c e m i n ga b o u tt h er e q u i r e m e n t so fe m c i e n c y ，r e l i a b i l i t ya n d p o r t a b i l i t y o fm es y s t e m ，i nt h i st h e s i s ，ap o r t a b l ei n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e mb a s e do n f p g ai sd e s i g n e da n d i m p l e m e n t e d b a s e do nt h ei n s p e c t i o no fl a r g en u m b e ro fd o c u m e n t s ，t h ef r 锄ed i f r e r e n c ei s u s e di nt h es y s t e mt oa l l t o m a t i c a l l yd e t e c tm o v i n go b j e c t si nt h ei m a g e t h e r e f o r et h e m o v i n go b j e c t sc a nb ed e t e c t e dw i t h o u th l l m a ni n t e e n t i o n a st h ef p g ah a st h e c a p a c i t yo fp r o c e s s i n gl l i 曲一s p e e dd a t a ，t h es y s t e mc a nc o n d u c tr e a l t i m ed e t e c t i o no n t h ee n v i r o m e n t t h es y s t e mi s d e s i g n e da n dd i v i d e di n t om o d u l e sa c c o r d i n gt ot h es y s t e m f h n c t i o n s a n dt h e nm i st h e s i sg i v e st h ed e t a i l d e s i 印t oe a c hm o d u l ea n dt e s t st h e s y s t e ma tl a s t t h i ss y s t 哪i n c l u d e st h r e em 勾o rf h n c t i o n s ：m o t i o nd e t e c t i o n ，v i d e o o u t p u td i s p l a y ，a n dh u m a l l 一c o m p u t e ri n t e r a c t i o n h 1m i st h e s i s ，i tt a k e st h ef p g aa s t h ec o r eo fs y s t 锄，s i m p l i 研n gt h e s t r u c t u r e ，i m p r o v i n gt h ef l e x i b i l i t y ，肌dt h e n i n c r e a s i n gm ep o n a b i l i t y o ft h e s y s t e m t h es y s t e mu s e sa l t e r a sd e 2a u sa d e v e l o p m e n tp l a t f o m l ，a n da l t e r a sd c 2a sav i d e oc o l l e c t i o nm o d u l e t h ep e r f e c t c o m b i n a t i o no fd e 2a n dd c 2i st h ek e yt ob eas u c c e s st ot h es y s t e m o nt h eb a s i so fm o t i o nd e t e c t i o n ，t h et h e s i sb r i n g si nt h ef u n c t i o no fv i d e oo u t p u t ， 一i i i 东北大学硕士学位论文 a b st r a c t w h i c hc a nb ee a s i e rf - o rm o n i t o rs t a f ft oo b s e et h ee n v i r o n m e n t t h ef i e a _ t u r eo fh l l m a l l 一c o m p u t e ri n t e m c t i o na 1 1 0 w su s e r st of - a c i l i t a t et h es y s t e m c o n t r o l l i n g o nt h eb a s i so fm ef p g a ，t h es o f t - c o r ep r o c e s s o rn i o s i ii sb r o u g h ti n t o t h es y s t e m ，w l l i c hc a ni i n p r 0 v et h ec o n 臼0 1 l a b i l i t y ，a n da l s om a k et h ei m p l 锄e n t a t i o n o fm eh u m 肌- c o m p u t e ri n t e r a c t i o nm o r ec o n v e n i e n t t h i sm e s i se l a b o r a t e so nt h ep r o c e s so fd e s i g na n di i n p l e m e n t a t i o no ft h ev a r i o u s m o d u l e s t h er e s u l to ft h et e s te x p 嘶m e n ts h o w st h a tt h es y s t e mi n l p l e m e n t st h eb a s i c f l m c t i o n sw l l i c ha r ee x p e c t e d ，w i t he f f i c i e n c y ，r e l i a b i l i t ya 1 1 dp o r t a b i l i t y - s oi th a sa w i d ea p p l i c a t i o np r o s p e c t k e yw o r d s ：i n t e l l i g e n tv i d e os u r v e i l l a n c e ；m o t i o nd e t e c t i o n ；f r 锄ed i 虢r e n c e ； f p g a ；s o r c o r ep r o c e s s o rn i o s i i i v 一 t“1i 东北大学硕士学位论文 目录 目录 独创性声明i 摘要i i a b s t r a c t i i i 第1 章绪论1 1 1 课题背景1 1 2 研究现状3 1 3 便携式智能视频监视系统的应用及意义4 1 4 论文的组织结构5 第2 章相关技术介绍7 2 1 运动检测的常用方法7 2 1 1 帧差法7 2 1 2 光流法9 2 1 3 背景减法1o 2 1 4 其他方法1 1 2 1 5 运动检测在本文中的应用1 1 2 2f p g a 设计介绍1 2 2 2 1 开发环境1 3 2 2 2 硬件描述语言1 5 第3 章硬件平台与n i o s i i 处理器配置1 7 3 1 硬件平台1 7 3 1 1d e 2 开发板1 7 3 1 2d c 2 摄像头2 1 3 2n i o s i i 软核处理器特点2 4 3 2 1a v a l o n 片上总线2 5 3 2 2 采用n i o s i i 软核处理器的优势2 5 3 3 配置n i o s i i 软核处理器2 6 3 3 1 配置n i o s i i 硬件逻辑2 6 3 3 2n i o s i i 处理器软件设计方法3 0 第4 章监视系统总体设计3 3 一v 一 东北大学硕士学位论文 目录 4 1 功能概述3 3 4 2 系统分层控制3 3 4 3 监视系统总体结构3 5 第5 章视频数据处理的设计与实现3 7 5 1 模块划分3 7 5 2 视频数据输入3 8 5 3 视频输出显示4 0 5 3 1r g b 色彩还原4 0 5 3 2 镜像转换4 2 5 3 3s d 洲缓存4 4 5 3 4v g a 显示4 6 5 4 安全检测4 7 5 4 1 视频数据预处理4 8 5 4 2 数据缓存4 9 5 4 3 运动检测5 0 第6 章系统整合实现与系统测试5 3 6 1 系统整合实现5 3 6 2f p g a 芯片配置5 4 6 3 监视系统功能测试5 5 第7 章结束语5 9 7 1 工作总结5 9 7 2 未来工作展望5 9 参考文献6 1 致谢6 5 攻读硕士期间发表的论文6 7 一v i 东北大学硕士学位论文第1 章绪论 1 1 课题背景 第1 章绪论 视频、图像是对客观事物形象、生动的描述，是直观而具体的信息表达形式， 对人类而言是最重要的信息载体。特别是在今天的信息社会里，随着网络、通信 和微电子技术的快速发展和人民物质生活水平的提高，视频以其直观、方便和内 容丰富等特点，日益受到人们的青睐。然而在很多应用领域，人们通过视觉获得 信息的同时也要付出艰辛的劳动，我们需要有一种技术可以代替人的这种劳动， 把人从繁重的视觉劳动中解放出来。因此用计算机模拟人眼进行各种繁杂的视觉 活动就成为一种迫切的需要。在这种条件下，有关计算和视觉的各种研究和应用 如雨后春笋般发展起来【l 】。 智能视频监视是计算机视觉领域一个新兴的应用方向和备受关注的前沿课 题【2 l 。伴随网络技术和数字视频技术的飞速发展，监视技术j 下向着数字化、智能 化、网络化方向不断前进。智能视频监视系统的需求主要来自于那些对安全要求 敏感的场合，如军队、银行、商店、停车场等。当盗窃发生或发现异常时，该类 系统能够向保卫人员准确及时地发出警报，从而避免犯罪的发生，同时也减少了 雇佣大批监视人员所需要的人力、物力和财力的投入【3 1 。智能监视技术包括了运 动目标的检测、跟踪、目标分类和行为理解等方面，涉及到计算机视觉、模式识 别和人工智能等领域的许多核心课题，是一个具有挑战性的困难问题。 在当今快速发展的社会，各种高科技产品层出不穷，让人们的生活更加方便、 舒适、安全。而视频监视系统被广泛应用于安全保护、生产管理等场合，成为金 融、交通、商业、住宅和社区等领域安全防范监视的重要手段，对保护企业财产 安全，防止犯罪起到重要的作用。监视系统在各类安全设施中都属于比较基础的 设备，但是以往的监视系统所录制的监视内容包含的绝大部分信息都是无用的， 这样一方面造成存储空间的大量浪费，另一方面使得案发后的排查工作量相当 高，需要工作人员浏览整个监视录像才能大致确定可疑对象，而其中大部分浏览 内容都是无关紧要的。而且在需要人为实时监视的地方，只有少数情况是异常的， 大部分时间都是处于安全状态，这样大部分时间也就不需要人来管了，这无形中 东北大学硕士学位论文第1 章绪论 浪费了很多人力。 传统的视频监视系统工作过程是：在一些重要的场所安放一个或者若干个摄 像机和报警器负责拍摄并探测监视现场，然后将视频和报警信号通过一定的传输 网络，传送到指定的控制中心，再通过存储设备，将媒体存储到存储媒介上，同 时将图像显示在电脑和监视器上。 在传统的视频监视系统基础上出现了智能视频监视系统，智能视频监视系统 就是在无操作人员的情况下，实时检测监视场景下的运动目标，并对其分析、定 位、识别、跟踪和行为理解。它借助计算机强大的数据处理功能，利用图像处理、 模式识别和计算机视觉等技术，抽取并分析视频源中的关键信息，及时发现并处 理监视场景下的异常情况。智能视频监视系统是视频监视系统发展趋势的直接体 现。 与传统的传统视频监视相比，能够进行目标智能检测与跟踪的数字视频监视 具有许多优点： 第一，2 4 7 全天可靠监视。智能视频监视系统将彻底改变以往完全由监视 人员对画面进行监视和分析的模式。该类系统通过嵌入在前端设备中的智能视频 模块对监视的画面进行自动分析，一旦发现异常的事件立即向监视中心报警。 第二，提高报警精确度。智能视频监视系统能够有效提高报警精确度，大大 降低误报和漏报现象的发生。系统的前端设备中集成了功能强大的图像处理和智 能处理模块，使用户可以更加精确的定义威胁安全事件的特征，有效降低误报和 漏报现象，减少无用数据量。 第三，提高响应速度。智能视频监视系统拥有比传统视频监视系统更强大的 智能处理能力，它能够检测、识别视频场景中的可疑活动，因此在威胁安全的事 件发生前就能够提示监视人员关注监视画面，使相关人员提前做好准备工作。 正是由于智能视频监视具有传统监视无法比拟的优点，而且符合当前监视系 统智能化、数字化和网络化的发展趋势，所以智能视频监视正在逐步取代传统视 频监视，被广泛应用于各行各业。具有一定智能处理能力的视频监视系统，不仅 符合信息产业的未来发展趋势，而且代表着监视行业的未来发展方向，蕴藏着巨 大的商机和经济效益，受到了学术界、产业界和管理部门的高度重视。 虽然智能监视系统可以满足大多数的应用需要，但是多数监视系统都是基于 p c 机或者大型监视设备的，需要将图像数据通过网络传输到多媒体服务器，在 一2 一 东北大学硕士学位论文第1 章绪论 对数据进行处理和存储，这适用于全安性很高，而且不记成本的地方，对于临时 性的或者低成本的监视要求并不适用，因此当对成本和方便性要求较大的地方就 需要便携式监视系统，不但要满足监视的基本要求，还要尽可能减小系统的休积， 减小系统的成本，提高系统的便携性。 1 2 研究现状 目前，对计算机视频监视的研究与应用方兴未艾。计算机视频监视是利用计 算机视觉和图像处理的方法对图像序列进行运动检测、运动目标分类、运动目标 跟踪以及对监视场景中目标行为的理解与描述。其中，运动检测、目标分类、目 标跟踪属于视觉中的低级和中级处理部分，而行为理解和描述则属于高级处理。 运动检测、运动目标分类与跟踪是视频监视中研究较多的三个问题；而行为理解 与描述则是近年来被广泛关注的研究热点，它是指对目标的运动模式进行分析和 识别，并用自然语言等加以描述。 智能视频监视是多学科交叉的前沿研究领域，也是当前国际性的研究热点。 如何对国家重要安全部门和敏感的公共场合进行全天候的、自动、实时监视，是 世界各国都高度重视的问题，而智能视觉监视系统正是解决该问题最为有效的手 段。由于智能视频监视技术具有广泛的应用前景和重要的经济价值，激发了世界 上( 尤其是欧、美发达国家的) 广大科研工作者、研究机构和企业的浓厚兴趣，现 已做了大量的工作并取得了很多成果。例如，美国国防高级研究项目署设立了视 觉重大监视项目v s a m 【4 1 ，以卡内基梅隆大学为首，麻省理工学院等高校参与， 主要研究战场和普通民用场景监视的自动视频理解技术；欧盟赞助研究的 p r i s m a t i c a 系统【5 】：该系统融合了多种智能检测设备( 智能摄像头、非接触智 能卡、无线视频传输等) ，用于地铁站的安全监视；国外一些公司近年来相继推 出了具备一定智能功能的视频监视系统，如：挪威的d e t e c a c 公司提供的d e t e c 系统；美国0 i b j e c t v i d e o 公司提供的o b j e c t v i d e ov e w 、c i b j e c t v i d e of o r e n s i c s 。 它们实现了在用户定义规则下对监视场景进行监测、跟踪、分类、统计的软件系 统，可在诸如有人闯入、盗窃、提包遗失或者未经许可在限制区域闲逛等违反自 定义规则的情况下报警。另外还有：o b j e c t d e oo nb o a r d 构建在d s p 处理 器上的嵌入式视频监视系统；瑞典a x i s 公司推出的基于d 的网络视频监视系统； 英国的雷丁大学【6 1 m v e r s i t yo fr e a d i n g ) 已开展了对车辆和行人的跟踪及其交互 一3 一 东北大学硕士学位论文第1 章绪论 作用识别的相关研究；i b m 与m i c r o s o r 等公司也正逐步将基于视觉的手势识别 接口应用于商业领域中。m 删a n d 大学的实时视觉监视系统w 4 【7 1 不仅能够定位 人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，可以检测 和跟踪室外环境中的人并对他们之间简单的交互进行监视。国外的研究还有多传 感器监视，使用多个传感器对某一地区协同监视；以及飞行器监视，如对从热气 球上拍摄的视频图像进行分析和处理，等等。国内也已有一些具备智能功能的 视频监视产品上市，如：北京黄金眼科技的黄金眼，北京行者科技的行者猫王等 产品。 目前在国内的研究机构中，中国科学院北京自动化研究所下属的模式识别国 家重点实验室视觉监视研究组处于领先地位。他们对交通场景的视觉监视( 基于 三维线性模型定位、基于扩展卡尔曼滤波器的车辆跟踪算法) 、人的运动视觉监 视( 基于步态的远距离身份识别) 和行为模式识别( 提出了对目标运动轨迹和行为 特征的学习的模糊自组织神经学习算法) 进行了深入研究，取得了一定的成果，。 除此之外，国内还有一些高校也进行了这方面的研究，如上海交通大学、北京航 空航天大学、北京理工大学等。 i e e e 协会从1 9 9 8 年起资助了国际视觉监视系列会议，至今己经分别在印度、 美国、爱尔兰召开三届。国际权威期刊i n t e m a t i o n a lj o 啪a lo f c o n l p u t e r s i o n 和 i e e et r a i l s o np a t t e ma n a l y s i sa n dm a c h i n ei n t e l l i g e n c e 都出版了有关视频监视 的专题。国内也于2 0 0 2 年5 月召开了第一届全国智能视觉监视学术会议，对图 像序列分析、目标定位、识别和跟踪、高层语义理解、系统构建与集成、网络环 境下的视频监视等内容进行了多方面探训引。 1 3 便携式智能视频监视系统的应用及意义 视频监视系统己经广泛应用于各种场合，例如银行、交通、停车场、办公楼 和一些秘密场所，但是大多数监视系统仍停留在人为的观察和操作的基础上，当 在监视场景中有异常情况或潜在危险发生时，监视人员首先必须对情况进行分析 判断，向上级组织汇报，得到命令或建议后才能对异常情况进行相关处理。而且， 在很多场合下，视频监视系统中的监视摄像机往往有很多台，而监视人员可能只 有两到三个，一个人要负责多处监视场景，人为的失误必然成为监视系统另一种 潜在危险因素。 一4 一 东北大学硕士学位论文第1 章绪论 另外，在大多数应用中，异常情况的时间并不长，而大多数的监视系统都是 将监视时间内的所有图像信息录制并存储起来，这样不但会占用大量的存储空 间，而且在以后查看监视信息时也会给工人带来很大的不便。 再有，大多数监视系统成本较高，体积较大，对于小规模应用中并不适用。 因此，研究一种能够实现全天候2 4 小时实时可靠监视的智能视频监视系统 具有积极深远的意义，在这种系统中要对监视图像中的异常情况自动判断，还要 有针对性的录制监视信息，并尽可能降低成本，方便携带。 1 4 论文的组织结构 本文设计并实现了基于f p g a 的便携式智能监视系统，系统使用a 1 t e r a 的 d e 2 开发板设计完成，所有的数字电路及程序都在f p g a 上实现完成，图像采 集所用的摄像头有多种选择，通过对不同方案的对比，最后选择美光的m t 9 m 0 1 1 摄像头作为图像采集设备。本文提出的系统将相临两帧的图像进行比较，仅识别 相临两帧变化较大的图像，即识别在异常情况下的视频图像，并给出警告，而对 正常情况下不进行响应。这样的处理不仅能够节省存储所需大量空间，提高了便 携性，而且更能有效即时的发现异常情况。 下面是本文的组织结构： 第1 章：绪论。介绍智能视频监探针系统的国内外现状及研究意义。 第2 章：相关技术介绍。介绍系统用到的相关技术，包括运动检测的方法及 f p g a 设计技术。 第3 章：硬件平台与n i o s i i 处理器配置。介绍系统的硬件使用的平台和n i o s i i 处理器的配置方法。 第4 章：监视系统总体设计。对系统软件层次进行总体规划和设计。 第5 章：视频数据处理的设计与实现。对视频数据的处理部分给出了合理的 设计和实现方法。 第6 章：系统整合实现与系统测试。完成系统各模块的整合，下载程序并对 系统的各个模块和功能进行了测试。 第7 章：结束语。总结了本课题所做的研究工作，并对下一步的工作予以展 望。 一5 东北大学硕士学位论文第1 章绪论 一6 一 一 东北大学硕士学位论文 第2 章相关技术介绍 第2 章相关技术介绍 本文采用运动检测的方法，以f p g a 为开发平台设计并实现了便携式智能视 频监视系统。下面介绍本文涉及到的相关技术。 2 1 运动检测的常用方法 运动目标检测( m o v i n g o b j e c t i v e sd e t e c t i n g ，m o d ) 是指将序列图像中变化区 域从背景中分割出来。m o d 的基本任务是从图像序列中检测出运动信息，得到 所需的运动矢量，从而能够识别与跟踪物体。m o d 是智能视频监视中最重要的 实现步骤和组成部分之一，是计算机视觉、目标识别与跟踪、模式识别、运动图 像编码、基于内容的检索、安全监视等研究领域的重点与难点，在交通、国防和 工业等领域有着广泛的应用前景。然而，由于天气和光照的变化、背景运动的干 扰、运动目标的影子以及摄像机的运动等原因的存在，给运动目标的正确检测带 来了极大挑战。由于对运动目标的检测与分割影响着运动目标能否被正确跟踪与 分类，使m o d 成为视频监视系统研究中最重要的课题。 目前提出的运动检测算法比较多，根据不同的用途和不同的环境，每种算法 都有其优势和不足。现有的视频运动目标检测方法主要分为三类，即帧差法【9 1 、 光流法【l o 】、背景减i 去【1 1 1 ，且各有优缺点，下面将分别进行概要性的说明。 2 1 1 帧差法 这种方法是在运动目标检测中使用得最多的一类算法。基本原理就是将前后 两帧图像对应像素值相减，在环境亮度变化不大的情况下，如果对应像素值的差 很小，可以认为此处景物是静止的，如果图像区域某处的像素值变化很大，可以 认为这是由于图像中运动物体引起的，将这些区域标记下来，利用这些标记的像 素区域，就可以求出运动目标在图像中的位置。由于目标大小、背景亮度的差别， 对差分图像的分割方法也不尽相同。 帧差法【1 2 】的基本思想：如果一幅图像的某一位置物体发生变化，那么对应 位置的狄度也将发生变化；而物体没有发生变化的部分，其灰度则不发生变化或 变化很小。因此该方法只需比较序列图像中相邻两幅图像的对应像素灰度的差 一7 一 东北大学硕士学位论文 第2 章相关技术介绍 别。其算法略述如下： 钟( f ，f ) = l ，( f ，f ) 一，( f ，f 一1 ) i( 2 1 ) 删力= 骺巍然竺 仁2 ， 其中：f ，表示像素位置坐标，f 为时间，砀表示阈值，叩( f ，f ) 表示相邻 帧的帧差图像，( f ，_ ，f ) 表示当前帧图像，m ( f ，f ) 表示检测出的运动图像。 使用基于时间序列上的差分图像检测运动目标，能够较好地适应环境变化较 大的情况：但因其难以有效地检测出图像序列中与运动目标相对应但变化相对不 够明显的像素点，一般难以获得运动目标的完整轮廓；同时它很难检测出缓慢变 化的目标1 3 1 。 利用图像序列累积信息，j a i n 提出了累积差分的方法( a d p ) 【1 4 】。累积差分图 的生成方法可概括为：将第一帧图像作为参考图，然后将每一帧图像与参考图比 较，如果结果超出一定阈值则将累积差分图的对应点加1 。因此累积差分图仰只 是第尼帧图像与4 d 只比较的结果。 彳眦= 0础= 彳必一l + 础t ( 2 3 ) 幽。= ”幼裂p 砀 ( 2 4 ) 这里幽。是第尼帧图像与第一帧图像的差分；砀代表阈值。 这种算法既充分利用了时间序列图像的历史累积信息，又能适应低对比度含 噪声的时间序列图像，因此可以判断复杂情况下目标运动的多种状态【1 5 】。此算 法不仅能用来可靠地检测微小运动或缓慢运动的物体，也可用于估计物体移动的 大小和方向以及物体尺度的大小【1 6 】。但是这一算法的判断行为多，硬件实现复 杂。而且参考图的选取对检测结果的影响很大。 在此基础上又出现了一种新的累积差分的方法【1 7 】，即不用每一帧图像与参 考图做比较，而是通过对所有相邻两帧图像作绝对值差分运算，然后再将绝对值 差分结果进行累加，从而得到累积绝对差图像。累积绝对差图像法不需要像累积 差分图像那样，每一次进行差分运算后就需要判断阈值，故运算过程大大简化。 同时累积绝对差图像也保留了序列图像的历史累积信息，可以检测出位移变化较 小的运动目标。但是由于这种算法使用相邻帧的绝对值差分来得到累积绝对差图 像，从而将相邻帧帧间的噪声也得到了累积，使得累积绝对差图像中存在大量的 东北大学硕士学位论文 第2 章相关技术介绍 噪声，加大了处理噪声的难度。 2 1 2 光流法 光流【1 8 】( o p t i c a lf 1 0 w ) 是空间运动物体在被观测表面上的像素点运动的瞬时 速度场。光流场是通过二维图像来表示物体点的三维运动的速度场。由h o m 和 s c h u n k 在8 0 年代早期建立的“光流分析法”，是数字视频处理领域中二维运动估 算的重要方法。其研究的对象是二维运动( 或称投影运动) ，即为真实世界中的三 维运动以透视或正交的投影方式在图像平面上形成的“视在运动”，这一运动对应 着图像中不同目标的相对位置改变，也就对应着图像前后帧相应位置灰度的改 变，h o m 与s c h u n k 将图像平面特定坐标点上的灰度瞬时变化率定义为“光流矢 量”。这样就导致了光流法的一些根本性的缺陷：在某些情形下，图像中视频目 标的运动不能反映为灰度的变化，如单色圆球绕其直径自转；另外，图像中光源 的运动而不是视频目标的运动也会导致灰度的变化，而这些都不是光流分析法所 能隔离或屏蔽的。但就大多数现实世界的投影运动而言，光流分析是有效的估算 方法。而且，运动估算研究的是“视在运动”而非真实运动，所以可以对任何与图 像亮度变化无关的运动不予考虑。因此，光流场是一个二维矢量场，它包含的信 息即是各像素点的瞬时运动速度矢量信息。 h o m 的光流计算基于如下两个假设：( 1 ) 图像上任一点在f 时刻所观测到的亮 度在时间间隔以内是恒定不变的；( 2 ) 图像上任一点不是独立的，光流在整个图 像范围内平滑变化。 对某个图像序列，设厂( x ，y ，f ) 表示f 时刻坐标( x ，y ) 处的灰度值，如果将运动 图像序列表示为关于位置和时间的函数，使用泰勒公式展开为： 厂( 工+ 出，y + 砂，f + 出) = 厂( x ，y ，f ) + 六出+ 六咖+ z 以+ d ( a 2 ) ( 2 5 ) 其中：六、 、z 导数。假设像素在时间间隔出内移动出、砂距离，根据假设 ( 1 ) 再忽略高阶项则有： ；血| d t + f v 曲| d t 七f t = qq 。q 设估计的速度为c ： c = ( 出出，咖出) = ( “，y )( 2 7 ) 这在“= 出出，v = 砂出代表x 和y 方向上的光流。对任一点x ( 石，j ，) 可将式( 2 6 ) 表示为： 一9 一 东北大学硕士学位论文 第2 章相关技术介绍 耵圪+ z = 0 ( 2 8 ) 其中可= ( 正，) 是图像在点x ( x ，y ) 的梯度，圪( “，1 ，) 是点x 的光流。式( 2 8 ) 又被 称为光流约束方程。这里还引入了光流的孔径问题：式( 2 8 ) 包含u 和v 两个 未知量，显然由该式不能确定u 和v 。根据假设( 2 ) 引入全局平滑量来约束速度场 可得： e 2 ( 石，y ) = ( 六“+ 1 ，+ z ) 2 + 允( “：+ 甜；+ + 巧) ( 2 9 ) 其中，( 六甜+ v + z ) 2 代表光流误差；( “；+ “；+ + 1 ，；) 代表光流的平滑度；见是 权重量，当图像噪声比较大时允应该取较大的值：反之a 取较小的值。估计的速 度为： “2 ：一六尸7 d ， p = 六“+ y ( 2 1 0 ) v = v f ，p | d ，d = 妤+ f ：+ f ： 、。 由上述速度估计公式( 2 1 0 ) 可知，其估计过程是一个并行的迭代过程，需迭 代多次后才能达到收敛，故相当耗时难以满足实时性的要求；同时，高阶项在多 数情况下并非完全可忽略，因而忽略它将导致估计误差；另外，噪声、多光源、 阴影、透明性和遮挡性等原因会使得计算出的光流场分布不是十分可靠和精确。 因此，在没有硬件的支持下采用光流方法进行运动检测，实时性和实用性会较差。 2 1 3 背景减法 背景减法是常用的运动目标检测方法之一。它的基本思想是输入图像与背景 模型进行比较，通过判定灰度等特征的变化，或用直方图等统计信息的变化来判 断异常情况的发生和分割运动目标【1 9 】。简单常用的方式为：直接抽取视频序列 中某一幅图像，或计算多幅图像的平均值作为背景。它一般能够提供最完全的特 征数据，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。最 简单的背景模型是时间平均图像，大多数研究人员目前都致力于开发不同的背景 模型，以期减少动态场景变化对于运动分割的影响。例如，h 撕t a 0 9 1 u 等利用最 小、最大强度值和最大时间差分值为场景中每个像素进行统计建模，并且进行周 期性的背景更新；m c k e 衄a 【2 0 1 等利用像素色彩和梯度信息相结合的自适应背景模 型来解决影子和不可靠色彩线索对于分割的影响。k 锄a n n 与b r a n d t 、k i l g e r 【2 l 】 采用基于卡尔曼滤波( k a l m 肌f i l t e r i n g ) 的自适应背景模型以适应天气和光照的时 一1 0 一 东北大学硕士学位论文第2 章相关技术介绍 间变化；s t a u 行e r 与g r i m s o n 利用自适应的混合高斯背景模型【2 2 1 ( 即对每个像素利 用混合高斯分布建模) ，并且利用在线估计来更新模型，从而可靠地处理了光照 变化、背景混乱运动的干扰等影响。 背景减法实现最简单，并且能够完整地分割出运动对象，对背景己知的应用 情况，背景减法是一种有效的运动对象检测算法【2 3 1 。 2 1 4 其他方法 除了上述常用的运动检测算法以外，近几年还有一些新的方法被提出。 基于人工神经网络的方法：a n a s t a s i o s 等人利用自适应神经网络来实现非监 督式的视频目标分割。他们通过效率和效率代价权系数的更新来完成网络的 自适应。 基于小波的方法【2 5 】：通过综合使用g a b o r 和m a l l a t 小波变换的信息来完成 运动目标分割，同时克服了孔径问题和对应问题。使用该算法可以分割织孔状物 体的表面。 使用b a y e 分类准则对前景，背景进行分类：在这一准则下，通过合适的特 征向量区分前景和背景。使用颜色特征来描述静止背景。使用颜色相关系数作为 特征来描述运动背景。得到静止和运动背景后，既可得到前景。为了适应背景环 境中缓慢和突然变化，使用了自适应的学习策略。该方法可以适应缓慢和突然的 环境变化。 以上方法虽然在一定环境下具有出色的目标检测能力，但是都存在运行效率 低，很难满足实时性要求的问题。 2 1 5 运动检测在本文中的应用 本文要设计的是便携式智能监视系统，且只限于检测监视环境中是否存在运 动目标，如果存在的话，监视系统会做出相应的响应，比如报警等。采用的运动 检测方法不用过于复杂，只要能够快速对当前画面中的运