（计算机应用技术专业论文）视频取证中的事件检测与跟踪研究.pdf

独创性声明 肌 y 18 2 4 芗崔苓。 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及 取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论 文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得j 重废 自e 电太堂或其他教育机构的学位或证书而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 学位论文作者签名：威 签字日期：多胡年【月2 日 ， 学位论文版权使用授权书 本学位论文作者完全了解重庆囱e 直太堂有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅。本人授权重麽囟e 电太堂可以将学位论文的全部 或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：芝赢 导师签名： 签字日期：砷年5 肫日 俅抠 签字日期：加毋年月2 2 日 i 重庆邮电大学硕士学位论文 摘要 摘要 计算机视频取证是当前世界上机器视觉研究领域中的一个研究热点， 它结合人工智能、计算机图形学、模式识别等研究领域的成果。主要研究 目的是在海量的视频库中快速准确地定位犯罪事件发生的时刻和地点，跟 踪犯罪对象，并最终形成视频证据。 计算机监控视频取证分析作为机器视觉领域中的重要应用，主要是为 了缩小视频图像中的底层视觉特征与人类的语义概念之间的鸿沟。在目前 数字视频监控已经大规模应用的条件下，如何在某个犯罪事件发生后快速 响应及准确定位犯罪对象和事件发生的时间地点，并对犯罪对象进行跟踪 和生成相应的视频证据就显得尤为重要。 本文主要对监控视频取证分析中的事件检测和多摄像头的对象跟踪 方法进行了研究。 首先，本文针对复杂背景条件下丢弃或拾起等最常见的犯罪事件的监 控视频，提出一种利用光流特征和形状特征相结合的事件检测方法。该方 法充分利用光流和形状特征的优点，在复杂背景条件下受颜色变化的影响 较小。实验证明该方法在视频事件分析取证中的有效性。 其次，分析了m e a ns h i f t 跟踪方法在特征距离计算时产生偏差的原 因。并对其进行如下改进：利用主色直方图特征降低光照和颜色变化的影 响，并用最大后验概率方法来提高对象匹配的准确性。进而实现了多摄像 头的目标跟踪方法。实验表明该方法比直接使用传统颜色直方图的跟踪方 法更加有效，并且在多摄像头的跟踪中具有较高的准确率。 最后，设计了视频取证分析原型系统，包括事件检测与对象跟踪等模 块。通过对火车站站台监控系统中的丢包案例的分析，证明该系统能够检 测丢包事件和跟踪嫌疑对象，并生成视频证据，提高了取证分析的工作效 率。 关键字：视频分析，视频取证，事件检测，对象跟踪 重庆邮电大学硕士学位论文abstmct a b s t r a c t 。i h ev l d e oc o m p u t e rf o r e n s i ci sc u r r e n t l yav e r ya c t i v er e s e a r c ht o p i c i nt h er e s e a r c hf i e l do f c o m p u t e rv i s i o n i nt h ew o r l d i ti sa n i n t e r d i s c i p l i n a r y r e s e a r c ha r e ao f a i ， c o m p u t e rg r a p h i c s ， p a t t e r n r e c o g n i t i o n ，p s y c h o l o g y ， e t c t h em a i np u r p o s eo fv i d e 0 c o m p u t e r f o r e n s i ci sh o wt of i n do u tt h ec r i m e se v e n t sf r o mt h eh u g en u m b e r so f v i d e od a t a r a p i d i ya n da c c u r a t e l y ， a n dt h e n g e n e r a t i o n t h ev i d e 0 e v i d e n c e a st h ei m p o r t a n t a p p l i c a t i o no ft h ec o m p u t e rv i s i o n ， t h ev i d e 0 c o m p u t e rf o r e n s i ci sm a i n l yt or e d u c et h eg a pb e t w e e nt h e1 0 w e rv i s i o n f e a t u r ea n dt h eh u m a ns e m a n t i c sc o n c e p t a tp r e s e n t ，o nt h ec o n d i t j o n t h a tt h ed i g i t a lv i d e os u r v e i l l a n c eh a sb e e nl a r g e - s c a l e a p p l i e d ，t h em o s t i m p o r t a n ti st h a tf a s tr e s p o n da n dl o c a t i o na c c u r a t e l yt ot h ec r i m eo b i e c t a n dt h el o c a t i o no ft h ec r i m ee v e n t ，a n dt h e na u t o m a t et r a c k i n gt h eo b e c t i nt h en e x tp e r i o d ，a n dt h e ng e n e r a t et h ed i g i t a le v i d e n c e t h i sp a p e rf o c u so nt h er e s e a r c ho ft h ed i s c a r da n dp i c k u pe v e n ti n s u r v e i l l a n c ev i d e oo fc o m p l e x i t yb a c k g r o u n d ，a n dt h em e t h o do fo b je c t t r a c k i n gi nt h em u l t i c a m e r ac o n d i t i o nf o rv i d e oe v i d e n c e f i r s t l y ，w ep r o p o s eav i d e oe v e n td e t e c t i o na p p r o a c hb a s e do nf l o w f e a t u r ea n ds h a p ef e a t u r ec o m b i n et oc v e n to ft h ed i s c a r d 0 rp i c k u p s o m e t h i n gi ns u r v e i l l a n c ev i d e oo fc o m p l e x i t yb a c k g r o u n d ，t h em e t h o d c a nc o m b j n a t i o nt h ea d v a n t a g e0 ft h eo p t i c a lf l o wf e a t u r ea n dt h es h a p e m a t c h t h o u g ht h ee x p e r i m e n t so nh u m a na c t i o n si nar e a le n t e r t a i n m e n t 0 fv i d e o ，t h em e t h o do fe v e n ta n a l y s i sf o r e n s i c si se f f e c t i v e s e c o n d l y ，a n a l y s i st h er e a s o n so fc a l c u l a t ce r r o r0 ft h ef e a t u r e d i s t a n c ei nt h em e a ns h i f tt r a c k i n ga r i t h m e t i c ，a n dp r o p o s eai m p r o v e d m e a ns h i f tm e t h o d ，i tu s et h ed o m i n a n tc o l o rh i s t o g r a m ( d c h ) t or e d u c e t h en o i s ea n di l l u m i n a t i o nc h a n g e s ，a n du s ct h em a x i m u map o s t e r i o r i ( m a p ) m e t h o dt oi n c r c a s ct h ea c c u r a c yo “h eo b j e c tm a t c h i n g b e c a u s e t h eb a c k g r o u n do fs u r v e i i l a n c ei sn o tc h a n g e ，u s et h ei m p r o v e dm e a n s h i f ta r “h m e t i ct ot r a c k i n gt h ec r i m eo b j e c to rh u m a ni nm u l t i c a m e r a t h e e x p e r i m e n t so nt h ea c t u a lc r i m ec a s e ，i n d i c a t et h ea r i t h m e t i ci sm o r e i i e f f e c t j v ea n dm o r ea c c u r a t et h a nt h et r a d i t i o n a lm e t h o d t ot r a c kt h e o b j e c t f i n a l l y ， av i d e of o r e n s j c p r o t o t y p es y s t e m ，i n c l u d i n gt h ee v e n t d e t e c t i o na n do b j e c tt r a c k i n ga r i t h m e t i c ，a n dv i d e oe v i d e n c eg e n e r a t i o n i si m p l e m e n ti nt h i sp a p e r t h r o u g ha p p l i e dt ot h et r a i ns t a t i o n d r o pab a g c r l m ec a s e ，t h es y s t e mc a ne f f i c i e n c yg e n e r a t et h ed i g i t a le v i d e n c e ，a n d t h es y s t e mc a na c c u r a t e l yd e t e c tt h ee v e n t a n dt r a c k i n gt h eo b j e c t ， g r e a t l yi m p r o v et h ee f f i c i e n c yo ff o r e n s i ca n a l y s i s k e yw o r d s ：v i d e of o r e n s i c ，v i d e oa n a l y s i s ，e v e n td e t e c t i o n ，o b j e c tt r a c k i n g i 重庆邮电大学硕上学位论文 目录 目录 摘要i a b s t r a c t 1 i 第一章绪论1 1 1 论文选题背景1 1 2 计算机视觉研究现状2 1 3 计算机视频取证研究现状3 1 4 论文主要工作4 1 5 论文组织结构5 第二章视频内容取证的技术基础7 2 1 视频取证概述7 2 2 光流法事件检测7 2 2 1 光流法7 2 2 2 视频图像序列运动分析9 2 3 颜色空间及直方图模型1 0 2 3 1 传统的颜色直方图1 1 2 3 2 主色直方图及其分析1 3 2 4 小结”1 3 第三章基于光流和形状特征的视频事件检测方法1 5 3 1 引言1 5 3 2 光流模板及其匹配1 6 3 2 1 光流特征的计算”1 6 3 2 2 光流特征模板匹配1 7 3 3 光流和形状结合的事件检测方法。1 8 3 - 3 1 形状模板匹配1 8 3 3 2 视频事件检测方法2 0 3 4 试验测试。2 1 3 5 小结2 2 第四章多摄像头的对象跟踪取证方法2 3 4 1 引言2 3 4 2 主色直方图的对象匹配方法及其分析2 4 i v 重庆邮电火学硕士学位论文目录 4 3 改进的m e a ns h i f t 多摄像头目标跟踪方法2 6 4 3 1 使用m a p 提高m e 觚s h i f t 算法的准确率2 6 4 3 2 多摄像头跟踪方法2 9 4 4 试验测试3 1 4 5 小结3 3 第五章视频取证原型系统与案例分析3 4 5 1 系统流程以及模块的实现”3 4 5 2 针对具体的案例进行试验分析3 7 5 3 小结3 9 第六章总结及未来的工作4 0 6 1 总结4 0 6 2 未来工作4 1 致谢4 3 攻硕期间从事的科研工作及取得的研究成果4 4 参考文献4 5 v 重庆邮电人学硕士学位论文第一章绪论 1 1 论文选题背景 第一章绪论 随着技术的日益进步，目前世界上的计算机的运算速度越来越快，验证了摩 尔定律的正确性。但其智能却还是十分低下，并不能完全替代人脑的作用。目前 由于硬件产品的快速发展，国际国内越来越多使用数字视频监控系统来完成对公 共场所，特定区域等监控，从而产生了海量的数字视频数据。但是一旦发生了某 类异常事件则还是必须要靠人工检索，不仅效率低下而且容易发生误报和漏报的 情况。例如，伦敦地铁案中，安保人员花了7 0 个工时才在大量磁带中找到需要 的信息i 。 计算机视觉是一门多学科交叉的学科，涉及图像处理、计算机图形学、模式 识别、人工智能、人工神经网络、计算机、心理学、生理学、物理学和数学等。 虽然这方面的研究已经很多了，但直到最近十几年才在智能视频监控系统、机器 人视觉导航、医学辅导诊断、工业机器人视觉系统、地图绘制、物理的三维重建 与识别、智能人机接口等领域得到广泛的发展。计算机视觉包含如下一些分支： 画面重建，事件监测，目标跟踪，目标识别，机器学习，索引建立，图像恢复等。 针对国际国内日益增多的恐怖事件，早期的视频监控已不能完全满足快速反 应以及快速取证的需求。智能视频内容分析已经成为了视频监控取证系统的一个 重要的组成部分，在安全领域视频图像取证也已经成为了不可缺少的功能。目前 视频事件检测是国内外研究热点，美国计算机协会多媒体分会已经将公共安全监 控领域的视频事件检测作为2 c h d 8 年五大挑战之一1 2 1 。随着平安城市的建设、各 级安防项目的启动以及家庭对安全的日趋重视，视频监控在2 0 0 8 年获得空前发 展。而业内分析，2 0 0 9 年，视频监控行业仍将保持强劲增长的势头，同时3 g 时 代的到来为国内的视频监控系统带来了更多的功能应用。 由于技术的快速发展以及监控摄像头的大量使用，目前世界上每一分钟都产 生着大量的视频数据，从而也需要更多的人来监视检查这些视频。从这些海量的 数据中自动获取有用的信息，以便于发生特定事件时候能够快速报警并做出响 应：并且在事后调查取证中快速检索到发生的特定事件，并根据异常事件发生的 时间和对犯罪对象或者工具的跟踪，提供特定犯罪事件发生的证据，是目前急需 解决的问题。机器视觉与模式识别的领域的研究已经为计算机视频取证的研究应 用打下了坚实的基础。本文主要是讨论对于公共场合丢弃或者交换物品事件( 此 类事件常出现在公共安全领域) 的检测以及在多摄像头的条件下对犯罪对象进行 有效跟踪、调查取证。提出了基于光流和形状匹配的视频事件检测方法和适合视 重庆邮电大学硕上学位论文 第一章绪论 频取证的基于改进的m e a ns h i f t 多摄像头的目标跟踪方法，经过实验测试以及对 具体的案例分析证明了本文的方法的有效性。 1 2 计算机视觉研究现状 计算机视觉是一门研究如何使机器“看 的科学，更进一步的说，就是指用 摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图 形处理，用电脑处理成为更适合人眼观察或传送给仪器检测的图像【3 j 。作为一个 科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数 据中获取“信息”的人工智能系统。这里所指的信息指s h a n n o n 定义的，可以用 来帮助做一个“决定 的信息。因为感知可以看作是从感官信号中提取信息，所 以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知 的 科学【4 】。 计算机视觉同样可以被看作是生物视觉的一个补充。在生物视觉领域中，人 类和各种动物的视觉都得到了研究，从而建立了这些视觉系统感知信息过程中所 使用的物理模型。另一方面，在计算机视觉中，靠软件和硬件实现的人工智能系 统得到了研究与描述。生物视觉与计算机视觉进行的学科间交流为彼此都带来了 巨大价值。 然而计算机视觉领域的突出特点是其多样性与不完善性。这一领域的先驱可 追溯到更早的时候，但是直到2 0 世纪7 0 年代后期，当计算机的性能提高到足以 处理诸如图像这样的大规模数据时，计算机视觉才得到了正式的关注和发展。然 而这些发展往往起源于其他不同领域的需要，因而何谓“计算机视觉问题 始终 没有得到正式定义。 尽管如此，人们已开始掌握部分解决具体计算机视觉任务的方法，可惜这些 方法通常都仅适用于一群狭隘的目标( 如：脸孔、指纹、文字等) ，因而无法被广 泛地应用于不同场合。对这些方法的应用通常作为某些解决复杂问题的大规模系 统的一个组成部分( 例如医学图像的处理，工业制造中的质量控制与测量) 。在计 算机视觉的大多数实际应用当中，计算机被预设为解决特定的任务，然而基于机 器学习的方法正日渐普及，一旦机器学习的研究进一步发展，未来“泛用型”的 电脑视觉应用可能会梦想成真。 计算机视觉包括识别、运动、场景重建、图像恢复等，几乎所有的计算机视 频的应用都会需要解决这一系列的问题。分别介绍如下识别：一个计算机视觉， 图像处理和机器视觉所共有的经典问题便是判定一组图像数据中是否包含某个 特定的物体，图像特征或运动状态。这一问题通常可以通过机器自动解决，但是 到目前为止，还没有某个单一的方法能够广泛的对各种情况进行判定：在任意环 2 重庆邮电大学硕士学位论文第一章绪论 境中识别任意物体。现有技术能够也只能够很好地解决特定目标的识别，比如简 单几何图形识别，人脸识别，印刷或手写文件识别或者车辆识别。而且这些识别 需要在特定的环境中，具有指定的光照，背景和目标姿态要求。 运动：基于序列图像的对物体运动的监测包含多种类型，诸如：自体运动： 监测摄像机的三维刚性运动。图像跟踪：跟踪运动的物体。 场景重建：给定一个场景的二或多幅图像或者一段录像，场景重建寻求为该 场景建立一个计算机模型三维模型。最简单的情况便是生成一组三维空间中的 点。更复杂的情况下会建立起完整的三维表面模型。 图像恢复：图像恢复的目标在于移除图像中的噪声，例如仪器噪声，模糊等。 国内研究计算机视觉起于八十年代，最早为已故学者沈俊，提出了最优指数 滤波器，以优美简洁的形式获得了著名的i e e ec v p r ( c o m p u t e rv i s i o na n dp a t t e m r e c 0 9 i l i t i o n ) 最优论文奖，对计算机视觉技术的前进起到了巨大的推动作用。他 从最优滤波的观点出发，推导出运算复杂性小、精度高的最优平滑滤波器，即对 称双指数型滤波器【5 j 。近年来，计算机视觉领域研究取得了较大的进展，卡耐基 梅隆大学、麻省理工、中科院自动化所、中科院计算所、清华大学等众多著名大 学和研究机构对计算机视觉领域中的对象识别、全息图像重构、基于图语法的场 景理解、三维场景重建等关键技术展开深入研究。 1 3 计算机视频取证研究现状 在信息时代，是数据爆炸的时代，与计算机及网络相关的犯罪事件也越来越 多。因此计算机取证成为了今年来的研究重点。计算机取证就是以计算机技术手 段分析数字数据，获取犯罪事件相关的证据【6 】。一般包括数据的收集、分析、证 据的形成等处理过程。 数字视频监控系统今年来大规模的应用，产生了海量的数字视频。而目前如 果犯罪事件发生后，一般采用人工检查的方式进行证据的收集。这样既消耗大量 人力物力，又效率低下。而且通用的视频监控系统中的视频仅仅存储一定的时间 以减少存储硬件的投入，通常的犯罪事件分析证据则有可能需要分析较早的视 频。因此，越来越多的国际国内学者加入对于监控视频的取证分析研究或者智能 视频监控系统的研究【7 ，引。最主要的目的就是以机器视觉的研究基础来获取视频 中发生的事件以及对象的信息，减少人工投入和增大疑似视频证据的存储时间长 度【9 1 。 在安全视频监控领域的多媒体取证系统的主要需求为，快速准确地发现犯罪 事件的发生，确认犯罪对象以及发生的时间地点。取证系统的主要工作流程如下： 根据当事人提供的资料，在视频数据库中确认犯罪对象、检测犯罪对象的犯罪事 3 重庆邮电大学硕士学位论文 第一章绪论 件的发生、全面跟踪犯罪对象的行踪、确认犯罪事实、最后以安全加密或者添加 水印的方式生成并提交视频证据以防止证据被修改。这个过程中需要调查人员与 系统的交互，可以大大加快取证分析的工作效率与调查的准确率。 另外，目前网络上多媒体的发布编辑拷贝等行为越来越频繁，而技术的发展 网络视频点播等应用也越来越成熟。例如今年奥运会期间有近2 亿网民采用网络 的方式获取奥运比赛相关信息。而奥运会面临的视频版权问题仍然具有相当的复 杂性和争议性。奥组委对奥运赛事享有什么权利、中央电视台享有的“转播权” 的范围如何界定、个人自拍赛事通过网络传播是否侵权、视频分享网站传播电视 台赛事节目是否侵权或侵犯什么权利等一系列问题，仍然存在不少模糊和争议之 处，需要进一步深入研究。另外越来越多的数字视频监控安防系统的应用，如何 从海量的视频中快速准确地获取调查目标所做的犯罪事件，并作为证据呈现在法 庭上也是目前研究的热点与难点。因此根据计算机取证的相关概念引出了多媒体 取证的概念，所谓多媒体取证是指以多媒体数据为调查对象调查取证过程。 关于这方面的视频取证研究主要关注于一是相关的法律法规的完善与视频 犯罪的界定，二是从技术的角度来考虑如何加快对多媒体犯罪调查的工作效率以 及如何训练相应的调查人员，形成标准的调查流程等。我们的研究兴趣在于后者， 主要集中在两个领域：一是使用机器视觉和多媒体检索的相关理论从海量的监控 视频中快速检索发现犯罪对象的犯罪证据：二是研究如何在目前复杂的网络环境 下对多媒体数据内容的保护以及发生侵权行为后的取证与控制技术； 最近由数字水印技术发展起来一种新的防止网络多媒体非授权散布的技术， v i d e od n a 技术1 6 j 。它是在原有视频水印的基础上选择一些类似人类d n a 基因 的特征存储在服务器端的数据库中，然后在网络上以自动获取的方式获取网络中 传输的多媒体数据的d n a 特征与数据库中的特征数据进行比较来确认是否为非 授权的散布。潘雪峰等【7 】分析现有的基于单帧拷贝检测方法未充分利用视频的时 空相关性，进而通过对时空切片单元进行d c t ( d i s c r c t ec o s i n et r a n s f 0 加) 分析的 视频拷贝检测算法，该方法对视频内容变化敏感而对相同内容视频格式上的变化 鲁棒。 目前多媒体检索，计算机机器视觉，人工智能等领域的研究进展已经为多媒 体取证技术的研究奠定了良好的基础。 1 4 论文主要工作 视频异常事件检测与对象的跟踪方法研究课题有着广泛的应用前景，事件检 测可以应用在各类交通、公共场所监控取证系统，也可以应用在机器人、虚拟现 实、智能控制等领域中去。根据计算机视觉领域中的研究，在视频取证中异常事 4 重庆邮电大学硕士学位论文第一章绪论 件检测也是关键步骤，如何通过视频图像的底层特征来获取视频中发生的事件语 义等信息是视频取证需要解决的关键问题。同时，事件检测之后确定的目标在事 件发生后的行踪需要进行跟踪，以确定整个犯罪事件发生的过程并形成视频证 据。如图1 1 所示，视频取证的具体处理步骤包括特征提取、事件检测、跟踪、 证据分析、证据的形成等阶段。 图1 1 监控视频取证处理流程图 事件检测 1r 对象识别 目前，国际上对事件检测的定义并不统一，一般来说一个小变化称动作 o 气d i o n ) ，一组含有固定模式的动作称为事件( e v e n t ) ，本文中统称为事件。本文针 对视频取证过程中的两个最重要的处理过程事件检测与对象跟踪进行深入研究， 方法进行改进、提高。并根据改进的算法实现了视频取证分析的原型验证系统， 对具体的案例视频数据进行分析。 ( 1 ) 针对光流关联匹配与形状匹配都有各自的缺陷，而且两种方法的优点可 以互补的情况。本文将光流和形状匹配结合进行事件检测。试验证明，该方法比 单独使用光流或形状匹配的检测率有较大的提升。 ( 2 ) 将m p e g 7 中的主色描述符的概念应用到m e 锄s h i f t 跟踪方法中，改进传 统直方图在匹配过程中出现的误差。并将最大后验概率应用到m e 锄s h i f t 跟踪的 对象模型匹配阶段，提高对象的跟踪准确性。并使用二维投影变换和背景建模结 合的方法来预测当跟踪对象离开某一摄像头进入下一摄像头监控区域后的对象 位置，以实现多摄像头的对象跟踪算法。 ( 3 ) 使用本文设计的视频取证方法，针对具体的火车站站台上的一个具体案 例进行分析，并生成证据。 1 5 论文组织结构 本论文组织结构如下： 第一章介绍论文的选题以及计算机视觉、视频取证的相关研究现状，以及本 文的研究背景和主要工作。 第二章介绍计算机视频取证的技术基础。 5 重庆邮电大学硕二l 学位论文第一每绪论 第三章分析视频事件检测的难点，提出基于光流匹配和形状匹配结合的事件 检测方法并对该算法进行试验测试。 第四章分析视频取证中跟踪与传统的对象跟踪的异同，提出了改进的m e 锄 s h i f t 跟踪算法应用到视频取证的多摄像头跟踪取证中，并对该算法进行测试。 第五章视频取证分析原型系统的实现，以及针对具体的火车站站台丢包事件 的案例，使用本文的方法进行取证分析。 第六章对本文进行总结，并提出下一阶段的研究计划。 6 重庆邮电大学硕士学位论文 第二章视频内容取证的技术基础 第二章视频内容取证的技术基础 2 1 视频取证概述 视频内容的取证分析技术主要是利用视频图像序列中底层的特征如 颜色、形状、运动等，经过一定算法如对象分割与识别、事件检测、对 象跟踪等处理，来获取视频图像序列中所描述的语义信息，帮助取证分 析人员提高取证工作的效率和准确率。语义视频目标就是指那些现实世 界中的实体在视频图像序列的连续图像平面上投影的图像像素的集合。 语义即意义、意思，可以根据监控系统监视的对象或兴趣目标而定。 几乎每一个计算机视觉的研究或者其它的高层处理分析都是从目标 检测开始的，没有被检测到的目标就不能作为高层分析处理的对象。而 目标对象模型的描述一般由目标的颜色模型、形状特征以及目标对象的 运动特征来构成的。在视频图像序列中一个有意义的目标或者对象，对 应着现实世界中的一个真实物体。从视频图像数据中将独立的运动区域 目标检测出来是计算机视觉处理的基础之一。 为了便于介绍本文后续章节中的算法，本章主要介绍光流法、主色 直方图的概念、最大后验概率等理论方法。 2 2 光流法事件检测 2 2 1 光流法 上个世纪8 0 年代，o p t i c a lf l o w ( 光流法) 被提出以后，动态图像序 列分析进入了一个研究高潮。光流法是关于视域中的物体运动检测中的 概念。通常，运动用向量来表示。这个向量头或者尾指向图像序列中的 像素。光流法在模式识别，计算机视觉以及其他图像处理应用中非常有 用。它与运动检测以及运动估计紧密相关运动可以用运动场描述【“】【1 2 】。 而在一个图像平面上，物体的运动往往是通过图像序列中不同点的灰度 分布的变化体现的。从而，空间中的运动场转移到图像上就表示为光流 场，光流场反映了图像上每一点的灰度的变化趋势。与光流法不同的是 运动估计或者运动补偿往往用向量来表示一块包含很多像素的区域的运 7 重庆邮电大学硕士学位论文 第二章视频内容取证的技术基础 动，比如在m p e g 的视频压缩方法。 设，和j 为连续的两帧灰度图， ) = ，o ，y ) 和j o ) = j ，) ，) 分别表 示，灰度图中x = 【x ，y 】r 处的灰度值，其中x ，y 分别表示x 处的横、 纵坐标。又设图像宽和高分别为忍x ，珂，灰度图的左上坐标位置为【o ，0 】2 ， 右下坐标位置为【刀工1 ，咒，1r 。在实际问题中，假设，为第一帧图像，其 中“= 【“工，h ，】r 为图像上的一个点，特征跟踪的目的就是在第二帧图像j 上找到一个对应点 ，= “+ d = 【“工+ d x ，“y + d _ ，】r ，使得，( “) 和，( y ) 具有“相似 性 。d = 【以，d ，】r 是图像在x 点处产生的速度，也称之为x 点处的光流。 令w x 和w y 为两个整数，定义速度d 的差函数如下： 。+ w 口。+ w 。 2 ( d ) 一g ( 以，d y ) 一。( m ，y ) 一，( x + 畋，y + d y ) ) ( 2 1 ) 根据以上定义，可以得出，( “) 和，( v ) 的相似性是在以( 2 w 工+ 1 ) ( 2 w ，+ 1 ) 的窗口中度量的。 19 81 年，h o r n 和s c h u n c k 创造性地将二维速度场与灰度相联系， 引入光流约束方程，得到光流计算的基本算法【13 1 。人们基于不同的理论 基础提出各种光流计算方法，算法性能各有不同。b a r r o n 等人对多种光 流计算技术进行了总结，按照理论基础与数学方法的区别把它们分成四 种：基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的 方法。近年来神经动力学方法也颇受学者重视。 ( 1 ) 基于梯度的方法 基于梯度的方法又称为微分法，它是利用时变图像灰度( 或其滤波形 式) 的时空微分( 即时空梯度函数) 来计算像素的速度矢量。由于计算简单 和较好的结果，该方法得到了广泛应用和研究。典型的代表是 h o r n s c h u n c k 的光流计算方法，该方法在光流基本约束方程的基础上 附加了全局平滑假设，从而计算出光流场【1 2 】。基于此思想，大量的改进 算法不断提出。n a g e l 采用有条件的平滑约束，即通过加权矩阵的控制 对梯度进行不同平滑处理f 1 3j ；b l a c k 和a n a n d a n 针对多运动的估计问 题，提出了分段平滑的方法【1 4 】。虽然很多基于梯度的光流估计方法取得 了较好的光流估计，但由于在计算光流时涉及到可调参数的人工选取、 可靠性评价因子的选择困难，以及预处理对光流计算结果的影响，在应 用光流对目标进行实时检测与自动跟踪时仍存在很多问题。 ( 2 ) 基于匹配的方法 基于匹配的光流计算方法包括基于特征和区域的两种。基于特征的 8 重庆邮电人学硕士学位论文 第二章视频内容取证的技术基础 方法不断地对目标主要特征进行定位和跟踪，对目标大的运动和亮度变 化具有鲁棒性( r o b u s t n e s s ) 。存在的问题是光流通常很稀疏，而且特征 提取和精确匹配也十分困难。基于区域的方法先对类似的区域进行定位， 然后通过相似区域的位移计算光流。这种方法在视频编码中得到了广泛 的应用。然而，它计算的光流仍不稠密。另外，这两种方法估计亚像素 精度的光流也有困难，计算量很大。在考虑光流精度和稠密性时，基于 匹配的方法适用。 ( 3 ) 基于能量的方法 基于能量的方法首先要对输入图像序列进行时空滤波处理，这是一 种时间和空间整合。对于均匀的流场，要获得正确的速度估计，这种时 空整合是非常必要的。然而，这样做会降低光流估计的空间和时间分辨 率。尤其是当时空整合区域包含几个运动成分( 如运动边缘) 时，估计精 度将会恶化。此外，基于能量的光流技术还存在高计算负荷的问题。此 方法涉及大量的滤波器，目前这些滤波器是主要的计算消费。然而，可 以预期，随着相应硬件的发展，在不久的将来，滤波将不再是一个严重 的限制因素，所有这些技术都可以在正常帧速下加以实现。 ( 4 ) 基于相位的方法 f i e e t 和j e p s o n 首次从概念上提出了相位信息用于光流计算的问 题。因为速度是根据带通滤波器输出的相位特性确定的，所以称为相位 方法1 15 1 。他们根据与带通速度调谐滤波器输出中的等相位轮廓相垂直的 瞬时运动来定义分速度。带通滤波器按照尺度、速度和定向来分离输入 信号。 基于相位的光流技术的综合性能是比较好的：速度估计比较精确且 具有较高的空间分辨率，对图像序列的适用范围也比较宽。同时，这里 仍有几个问题值得讨论：1 与基于能量的光流技术一样，基于相位的模 型既有一定的生物合理性，又有较高的计算复杂性；2 尽管相位技术用 两帧图像就可计算光流，但要获得足够的估计精度，就必须有一定的整 合时间，这个延迟将会降低边缘处运动估计的时间分辨率；3 f l e e t 和 j e s p o n 的方法对输入图像序列中的时间混叠比较敏感。 2 2 2 视频图像序列运动分析 目前，对光流的研究方兴未艾，新的计算方法还在不断涌现。( 1 ) 现有技术各有自己的优点与缺陷，方法之间相互结合，优势互补，建立 光流计算的多阶段或分层模型，是光流技术发展的一个趋势。( 2 ) 通过深 9 重庆邮电大学硕：l ：学位论文 第二章视频内容取证的技术基础 入的研究发现，现有光流方法之间有许多共通之处。如微分法和匹配法 的前提假设极为相似；某些基于能量的方法等效于区域匹配技术；而相 位方法则将相位梯度用于法向速度的计算。这些现象并不是偶然的。 s i n g h 指出，现有各种光流估计方法基本上可以统一在一个框架之中， 这个框架将光流信息分成两类【1 6 】：保持信息和邻域信息，光流场的恢复 通过两种信息的提取和融合来实现。光流计算的统一框架的研究是这个 领域的又一趋势。 光流法可以计算视频或者图像序列中对象的运行方向与速度。目前 运动分析的研究主要集中在一下几个方面：1 人类肢体部位运动分析； 2 人类肢体部位在单摄像头或者多摄像头中的跟踪；3 图像序列中人类 动作的检测与识别。且上面几个方面的关系为由低到高的处理过程，即 人类肢体部位分析作为第二步中跟踪的输入，经过跟踪之后确定是否发 生某一动作。在各个方面的不同方法中的处理一般包括特征提取( 光流) 、 特征相似性匹配、高层处理等。 2 3 颜色空间及直方图模型 基于计算机视觉技术的视频取证最主要的任务是将视频图像的底层 特征，而颜色特征就是最直观也最接近人类的视觉系统的特征。色彩模 型是描述使用一组值( 通常使用三个、四个值或者颜色成分) 表示颜色方 法的抽象数学模型。例如三原色光模式( r g b ) 和印刷四分色模式 ( c m y k ) 都是色彩模型。但是一个与绝对色彩空间没有函数映射关系的 色彩模型或多或少地都是与特定应用要求几乎没有关系的任意色彩系 统。在色彩模型和一个特定的参照色彩空间之间加入一个特定的映射函 数就在参照色彩空间中出现了一个明确的”f o o t p r i n t ”。这个”f o o t p r i n t ” 称为色域，并且与色彩模型一起定义为一个新的色彩空间。例如a d o b e r g b 和s r g b 是两个基于r g b 模型的不同绝对色彩空间。 m p e g 7 的内容是运动图像专家组提出的“多媒体内容描述界面 的标准，它定义了丰富的多媒体音频视频描述符，主色描述符就是其中 的一种视觉颜色描述符。这一描述符的定义是建立在d e n g 和 m a n j u n a t h l l 7j 的工作基础上，用于在像素域中提取一个图像或者区域的 主色特征，而主色是通过对给定图像或者区域的颜色聚类获得的，数量 不用很多。主色描述符【1 8 】用一个结构来定义，除了包含主色，还包含主 色的百分比，空间一致性和颜色方差。具体定义如下： f - “c l ，易，q ，j 】i ，f - 1 。( 2 2 ) 1 0 重庆邮电大学硕士学位论文 第二章视频内容取证的技术嬉础 其中c i 代表第i 个主色，p i 代表它的百分比，v i 代表它的颜色方差， s 代表空间一致性，n 是主颜色的个数。在构成主色描述的4 个参数中， v i 和s 都是可选项。使用这种主颜色描述符进行检索可以获得与高维颜 色直方图相似的检索结果，而其在三维颜色空间的检索速度则大大高于 多维直方图的方法。这也是m p e g 7 使用它作为主要的颜色描述符的一 个原因。然而，这种描述符被局限在像素域中使用，它不能处理现今数 量庞大的压缩图像。因此，进一步关于从压缩域中直接检索图像的方法 被不断地探索。f e n g 和j i a n g 使用压缩图像的统计特征进行检索， r e e v e s 和l i u 从d c t 域中直接提取图像的纹理信息进行检索【1 9 】【20 1 。 而本文所提出的方法可以从d c t 域中直接提取图像的主色信息，再利用 式( 2 2 ) 给出的描述符的结构就可以得到一种快速有效的压缩域检索方 法。 本文利用该主色的概念获取主色之后，计算主色的直方图后利用巴 氏距离b h a t t a c h a r y y a 计算方法在跟踪过程中来确定是否为被跟踪的对 象。 2 3 1 传统的颜色直方图 一般用于视觉应用的是h s v ( h u e 、s a t u r a t i o n 、v a l u e ) 色彩空间， 因为其更加类似于人类感觉颜色的方式。h sl 和h sv ( 也叫做h sb ) 是 对r g b 色彩空间中点的两种有关系的表示，它们尝试描述比r g b 更准 确的感知颜色联系，并仍保持在计算上简单。h s l 表示h u e ( 色相) 、 s a t u r a t i o n ( 饱和度) 、l i g h t n e s s ( 亮度) ，h s v 表示h u e 、 s a t u r a t i o n 、 v a l u e 而h s b 表示h u e 、s a t u r a t i o n 、b r i g h t n e s s ( 明度) 。 因此，在本文的应用中使用的就是h s v 色彩空间的直方图，故需要 从r g b 到h s l 或h s