（信号与信息处理专业论文）基于不变矩的人形识别技术研究.pdf

论文题目：基于不变矩的人形识别技术研究 专 业：信号与信息处理 硕 士 生：李俊威 签 名： 指导教师：吴冬梅 签 名： 摘 要 针对目前视频监控由于人为因素及与报警系统的被动式联动， 导致误报和漏报的问 题，亟需开发一种能够连续 24 小时实时无人监视的智能视频监控系统。该系统能够自 动判别视频中的运动目标是否为人形，当某一不允许人侵入的场合或时段有人侵入时， 既能实时报警又能向保卫人员准确及时发出警报。 本文针对智能视频监控系统中基于不变矩的人形识别技术进行了研究。 人形识别过 程包括视频帧图像提取、帧图像预处理、运动目标不变矩提取和分类识别。视频帧图像 提取采用基于采样的方法，每 9 帧提取一帧关键帧。采得的关键帧采用背景差分去除背 景后，利用大津法阈值分割得到运动目标图像，再经中值滤波去噪及 roberts 算子轮廓 提取得到预处理图像。然后对得到的预处理图像分别提取其 hu 不变矩和 zernike 不变 矩。 最后采用最小距离分类器和基于 parzen 窗法的贝叶斯分类器进行分类， 判别运动目 标是否为人形。 本文建立了一个含有 201 个人形样本、67 个动物样本的图库，并进行测试。实验证 明本文基于不变矩的人形识别方法是可靠有效的。该方法对于人形的识别率可以达到 85%以上。 关 键 词：hu 矩；zernike 矩；人形识别；parzen 窗；最小距离分类器 研究类型：应用研究 subject ：study on human recognition technology based on moment invariants specialty ：signal and information processing name ：li junwei （signature） instructor：wu dongmei （signature） abstract in view of misstatements and omissions of the current video monitoring because of human factor and passive linkage for alarm system, earnestly needs to develop the intelligent video monitoring systems which can real-time unmanned monitoring for 24 consecutive hours. this system can distinguish the moving target is a humanoid or not. when someone invades a place which does not allow people to invade, the system can real-time give an alarm deterring crime, and warn to the security personnel accurately and timely. this article has researched human recognition technology based on moment invariants. the process of human recognition include video frame image extraction, image pretreatment, moving target moment invariants extraction and classification. video frame image extraction based on sampling method, catching a frame image as a key frame from each of the 9 frames. image pretreatment have four steps. first, remove the background of the key frames using the background difference. second, catch moving target image using otsu method. third, eliminate noise by median filter. fourth, contour extraction using roberts operators. then, get hu moment invariants and zernike moment invariants of moving target. finally, classify the moment invariants using the minimum distance classifier and the bayes classifier based on parzen windows, and judge moving target whether is human. this paper established a library which contains 201 personal form samples, 67 animal samples, and texting. proved by experiment, the human recognition method based on moment invariants is reliable and effective. the recognition rate can achieve above 85%. key words: hu moment invariants zernike moment invariants human recognition parzen windows the minimum distance classifier thesis : applied research 目 录 i 目 录 1 绪论 . 1 1.1 课题研究背景及意义 . 1 1.2 视频监控系统发展动态及趋势 . 2 1.3 人形识别技术研究现状 . 4 1.4 基于不变矩的人形识别方法流程 . 5 1.5 论文内容安排 . 5 2 视频帧图像提取及预处理 . 7 2.1 视频帧图像提取 . 7 2.2 视频帧图像预处理 . 8 2.2.1 去除背景 . 8 2.2.2 图像分割 . 10 2.2.3 去噪 . 11 2.2.4 轮廓提取 . 13 2.3 本章小结 . 18 3 视频帧图像不变矩提取 . 19 3.1 视频帧图像 hu 不变矩提取 . 19 3.1.1 hu 不变矩定义及其不变性概述 . 19 3.1.2 hu 不变矩提取算法实现 . 22 3.1.3 几种形状的 hu 不变矩比较 . 22 3.2 视频帧图像 zernike 不变矩提取 . 24 3.2.1 zernike 不变矩定义及其不变性概述 . 24 3.2.2 zernike 不变矩提取算法实现 . 26 3.2.3 几种形状的 zernike 不变矩比较 . 27 3.3 本章小结 . 28 4 视频帧图像分类识别 . 29 4.1 基于线性分类器的分类识别 . 29 4.1.1 线性判别函数的基本概念 . 29 4.1.2 最小距离分类器的设计与实现 . 30 4.1.3 最小距离分类器分类结果 . 31 4.2 基于贝叶斯分类器的分类识别 . 32 4.2.1 贝叶斯分类器的基本概念 . 32 目 录 ii 4.2.2 基于 parzen 窗法的贝叶斯分类器的设计与实现 . 35 4.2.3 基于 parzen 窗法的贝叶斯分类器分类结果 . 35 4.3 本章小结 . 36 5 测试及实验结果分析 . 37 5.1 测试及实验结果 . 37 5.2 结果分析 . 39 6 结论与展望 . 41 6.1 结论 . 41 6.2 展望 . 41 致 谢 . 43 参考文献 . 44 1 绪论 1 1 绪论 1.1 课题研究背景及意义 随着社会公共安全的需求日益增加和防范技术的不断进步， 在社会公共安全事业兴 起和发展的过程中，服务于社会公共安全的科学技术也应运而生，并得到迅速发展，逐 渐形成了一个独立的科学技术体系，这就是社会公共安全科学技术1。安全防范技术是 社会公共安全科学技术中的一个重要内容。所谓安全防范技术简言之，就是用于安全防 范工作的专门技术。 21 世纪是数字时代， 安全防范技术也随着科学技术的发展不断进步， 如通信自动化技术的发展一样，数字化、网络化、智能化、集成化、规范化将是安全防 范技术的发展方向2。 基于安全防范技术的安全防范系统由三个部分组成：物防、技防和人防3。物防是 指物理防范，也称为实体防范。它由能保护防护目标的各种物理设施组成，如保险柜、 窗、防盗门等。它具有阻挡、推迟罪犯作案的作用。其性能靠推迟作案的时间进行衡量。 技防，全称技术防范，它由探测、识别、报警、信息传输、控制、显示等技术设施所组 成，它可以发现犯罪，并迅速将相关信息送达指定地点。人防就是人力防范。是指能够 迅速到达案发现场处理警情的各类相关人员，如民警、保安及群众等4。基于安全防范 系统的安全技术防范就是以安全防范技术为先导，人力防范为基础，技术防范和实体防 范为手段，为建立具有探测(detection感知显性和隐性风险事件的发生并发出报警)、延 迟(delay延长和推延风险事件发生的进程)、 反应(response组织力量制止风险事件的发生 所采取的快速行动)基本功能并使它们有效结合的综合安全防范服务保障体系而进行的 社会实践活动5。它是以预防损失和预防犯罪为目的的一项公共安全业务和社会经济产 业。 安全防范产业主要包括监控产业、防盗报警产业和门禁对讲产业等。其中，视频监 控和报警一直是最重要的两大部分。监控产业广泛应用于金融、公安、交通、政府等重 要部门。 防盗报警产业是智能小区市场推动下的产业， 主要应用于住宅小区、 公安单位、 商业大楼等。 在目前的安防行业中， 很多监控系统都将视频监控和报警系统结合在一起， 但是大部分监控和报警的联动都是被动式的，怎样使监控和报警更加紧密地结合在一 起，一直是备受关注的课题。 现阶段很多已经建成的监控系统、 准备新建的监控系统一般是采用视频电缆传输模 拟视频信号。为了实现视频监控和报警的联动，这些系统需要实现音频、报警双向互动 的功能、事故预防功能等，那么，这就需要增加大量的电缆和设备。这样就会使系统复 杂性增加，可靠性降低，同时造价也会加大。 西安科技大学硕士学位论文 2 另外，随着监控系统的发展普及，传统的人为监控系统局限性越来越突出。作为监 控者的人类有自身生理上的弱点，人脑只能关注一件事物，所谓一心不能二用，当监控 者同时观测多个监视器时，监控精度会随着监控视频数量的上升而下降。再者，人对于 单调的事物无法长时间的集中注意力，根据研究人在关注监控图像 20 分钟后，其注意 力会下降到无法接受的程度。最后，人需要饮食休息等生理活动，这也会影响监控系统 的可靠性。 综上所述，现有的各类系统均不同程度存在精确度差、报警不及时、误报和漏报等 现象，以至系统的安全性和实用性得不到保障。而且，随着监控系统越来越庞大，如果 全部采用人为监控，其人力成本也会非常昂贵。因此，开发一种能够每天连续 24 小时 实时智能监视，并能够自动分析摄像机捕捉的图像数据，当异常发生时既能实时报警对 犯罪人员威慑又能向保卫人员准确及时地发出警报的智能视频监控系统就成为一种必 然。 以智能视频分析技术(动态视频目标检测定位、动态视频目标跟踪、动态视频目标 分类识别、行为理解与描述、异常事件分析等)为基础，建立的智能视频监控系统的优 势在于： (1) 智能视频监控采用智能视频分析算法实现了视频监控和报警的联动。它利用计 算机视觉技术对视野范围内的目标进行行为分析和内容提取， 当发现符合某种规则的行 为(如越界、游荡、滞留等)发生时，则自动发出提示信号，并采取特定对应措施(如声光 报警、移动监测并记录等)或通知监控人员进行人工干预。因此，相对于传统的视频监 控和报警联动而言，智能视频监控系统节省了大量的传感器、电缆等硬件设备，降低了 系统的复杂性，节约了成本，弥补了普通视频监控系统存在的缺陷，变被动监控为主动 识别。 (2) 智能视频监控可以实现无人长期不间断地视频监控，一旦有事件发生可以及时 报警。相对于人为监控来说，智能视频监控节省了大量的人力、物力、财力，可靠性更 高，减少了人为因素造成的误报、漏报，提高了报警精度和响应速度。 (3) 智能视频监控还可以有效的扩展视频资源的用途，将视频资源应用到非安全领 域中，如大型活动的人数统计、重要人物身份识别等。 1.2 视频监控系统发展动态及趋势 近几十年来，视频监控系统经历了模拟视频监控系统、数字视频监控系统、全数字 化视频监控系统(网络摄像机和视频服务器)三个阶段的演变，得到了巨大的发展6。 (1) 模拟视频监控系统 最初的视频监控是由摄像机和监视器组成的纯模拟的视频监控系统， 也就是闭路监 视系统。之后随着视频切换设备的出现，传统的闭路监视系统中加入了多路视频切换、 1 绪论 3 摄像机云台、镜头控制及报警联动等可以进行数字控制的功能，这种数字控制的模拟视 频监控系统就是第一代视频监控系统。 经过数十年的发展，数字控制的模拟视频监控系统发展已经非常成熟。该系统性能 稳定，在大、中型视频监控工程中得到了广泛的应用。然而由于第一代视频监控系统中 信息流的形态为模拟信号，系统网络结构是一种单功能、单向、集总方式的信息采集网 络，系统网管已发展到很高的水平，已无太多潜力可挖。其适用范围小，系统的扩展能 力差，无法形成有效的报警联动等局限性依然存在。要满足更高的要求，视频数字化是 必由之路。 (2) 数字视频监控系统 上世纪末，以 dvr(digital video recorder)为代表的第二代视频监控系统在视频监 控市场上的出现为用户提供了极大地方便，与此同时对视频信息的处理能力也大大提 高。dvr 可以将模拟视频信号数字化后存储于硬盘中而非盒式录像带上。用户能够通 过 dvr 控制摄像机的开启和关闭，实现移动侦测功能。针对报警事件及其事前和事后 的报警信息搜索也十分简单。 如今市场上有两种数字视频监控系统类型，一种是数字监控录像系统。这种以数字 录像设备(硬盘录像)为核心的视频监控系统通常分为两类：一类是基于 pc 机组合的计 算机多媒体工作方式；另一类是嵌入式数字监控录像系统。 基于 pc 机的多媒体监控其优越性在于： 系统结构简化； 数字多媒体远程网络监 控不受距离限制；可以节省大量的磁带介质，同时有利于系统实现多媒体信息查询。但 随着基于 pc 机的视频监控录像系统的发展，在实际工程使用过程中，也暴露出一些不 足，主要是系统工作的不稳定性。 嵌入式数字监控录像系统为专用系统，所以系统小，指令精简，处理速度快； 系统数据置于 rom/flash memory，调用速度快，不会被改变，稳定性好；系统处 理实时性好，性能稳定；文件管理系统更适合于大量的视频数据；该类系统目前四路以 上机型还较为少见。 另一种是以嵌入式视频 web 服务器为核心的视频监控系统。该系统布控区域广阔， 具有几乎无限的无缝扩展能力，可组成非常复杂的监控网络，性能稳定可靠，但是对网 络带宽有一定要求。 (3) 全数字化视频监控系统 21 世纪以来，随着网络带宽、计算机处理能力和存储器容量的迅速提高，以及各种 实用视频信息处理技术的出现，视频监控进入了全数字化的网络时代，称为第三代视频 监控系统，即全数字视频监控系统或网络数字视频监控系统。 然而，尽管视频监控系统有了长足的发展，但是现阶段各类视频监控系统仍然以传 统的视频监控为主，局限性依然存在。因此，能够每天连续 24 小时实时智能监视，并 西安科技大学硕士学位论文 4 能够自动分析摄像机捕捉的图像数据， 当异常发生时又能向保卫人员准确及时地发出警 报的智能视频监控系统应运而生。随着科技的进步，这种即可以有效预防犯罪发生，同 时也减少了雇佣大批监视人员所需要的人力、 财力和物力投入的新一代视频监控系统迅 速地发展了起来。 1.3 人形识别技术研究现状 动态视频目标检测技术是智能视频分析的基础， 人形识别技术是动态视频目标检测 技术中的重要内容。目前，国内外对人形识别技术的研究要有以下几种： (1) 把人体二值轮廓图像分为头、躯干和腿 3 部分，根据各自的垂直投影的直方图 的特征来作判断7。akira utsumi 和 nobuji tetsutani 提出根据人体二值图像的一般几何 结构特征来识别人。 (2) 基于模型的方法分为基于人体结构模型和人体运动模型两类。根据人体结构特 征，构建人体模型，通过提取图像底层特征确定模型参数，并以此识别人形。yasuno 等人将人体分为头部和躯干两个部分来构建模型8。 curia 根据人体步态的周期性建立人 体步态模型，通过对目标图像的纹理、轮廓等分析，验证是否与模型匹配，从而判断是 否为人形。基于模型的方法在识别人形的同时可以推断出人的姿势，但是构建较准确的 模型非常困难。 (3) 基于形状轮廓的人形方法，是指分析目标的灰度、边缘、纹理等信息，通过和 所构建的形状库比较从而对目标进行识别。gavrila9等人提出了基于人体轮廓的识别方 法，首先构建人体轮廓库，然后对目标识别时，通过将窗口与轮廓库中的轮廓进行比对 从而识别人形。该方法简单易行，但是需要构建大量的形状库，而且有可能出现错误分 类。 (4) 刘菲、曹冠华提出了一种实时人形识别方法10。该方法首先将前景图像与背景 图像做差， 从前景图像中提取出异常物体， 然后对该差值图像进行图像分割、 边缘填充、 八链码提取等处理后得到异常物体的边缘轮廓， 最后提取其距不变量。 得到矩不变量后， 利用贝叶斯分类器及数学统计的方法对其进行分类，识别目标形状是否为人形，从而判 断出是否有人类经过。但是这种方法对图像的预处理要求比较高，必须采用辅助手段修 正分类结果。 (5) 当人类在正常走路的情况下，头肩像有比较固定的形状特征，可用不变矩的方 法特征提取，进行识别判断。据此倪福川，贺贵明，龙磊提出了基于仿射矩不变量的识 别人形“头肩像”技术11。先从视频帧序列中，通过差分的方法分割出运动目标，然后 对运动目标进行一系列预处理，最后根据运动目标轮廓的最小外接矩形宽高比、所定义 的轮廓描述符和仿射不变矩，并依据所选择的分级判别策略，由实验得出的经验数值判 断运动目标人形的“头肩像”正面还是侧面。但是此种技术对多人以及利用连续多帧图 1 绪论 5 像的综合判断提高识别率技术未进行过深入研究。 (6) 在上述方法的基础上，胡景荣，洪昆等提出了一种基于 svm(support vector machines)的人形识别算法12，该方法经过一定的改进，提高了识别的准确性，减少了 识别所需的时间。 1.4 基于不变矩的人形识别方法流程 本文采用基于不变矩的人形识别方法对视频文件进行处理， 并判断视频中的运动目 标是否为人形。该方法一共分为四步：视频帧图像提取，帧图像预处理，预处理 图像不变矩提取，分类识别。整个流程如图 1.1 所示。 视频输入视频输入视频帧提取视频帧提取 去除背景去除背景 轮廓提取轮廓提取 去去 噪噪 图像分割图像分割 提取不变矩提取不变矩分类识别分类识别 图1.1 基于不变矩的人形识别流程图 其中，图像预处理(图 1.1 虚线框所示)包括去除背景、图像分割、去噪、轮廓提取 等过程。其目的是从摄像机实时拍摄的序列图像中提取运动目标，为提取不变矩做好准 备。提取不变矩后，对不变矩进行分类识别，判别运动目标是否为人形，从而判断当前 是否有人类经过。 1.5 论文内容安排 本文共分 6 章。 第 1 章主要分析该课题的研究背景及意义， 同时对目前视频监控系统的发展状况及 发展趋势和人形识别技术的研究现状做了介绍。最后，描述了基于不变矩的人形识别方 法的流程。 第2章详细介绍基于不变矩的人形识别方法中视频帧图像提取以及帧图像预处理的 方法和过程。 第 3 章详述基于不变矩的人形识别方法中运动目标 hu 不变矩和 zernike 不变矩的 提取过程。 第4章讲述基于不变矩的人形识别方法中采用最小距离分类器和基于parzen窗的贝 叶斯分类器对运动目标的不变矩的分类识别。 西安科技大学硕士学位论文 6 第 5 章对基于不变矩的人形识别结果进行分析。 第 6 章对本文工作进行总结，提出在后续工作中需要改进的地方，并对人形识别技 术的发展前景做出了展望。 2 视频帧图像提取及预处理 7 2 视频帧图像提取及预处理 运动目标检测处于整个视频监视系统的最底层，也是本文人形识别的基础。对于运 动目标的检测简言之是指实时地从视频流中提取目标， 通常是确定运动目标所在的区域 或颜色特征等。运动目标的检测结果一般是一种“静态”目标，即前景目标，它由一些 静态特征描述。运动目标的检测以该目标所处的背景环境为依据，可以划分为两类：静 态背景下运动目标检测和动态背景下运动目标检测。 本文研究的是静态背景下的运动目 标检测。 2.1 视频帧图像提取 对视频文件进行基于不变矩的人形识别，首先要提取视频文件中的帧图像。视频帧 提取即对视频文件进行解码，如果是完全解码，即从视频中提取每一帧，这样做的一个 显著的好处就是在监控的过程中保证了运动目标一定会被检测到。 但是这样很容易导致 一个问题，即视频实际用时和处理运动目标帧所需时间的冲突。如果完整处理一帧所需 要的时间大于一帧的实际播放时间，就会导致运动目标帧的冗余，经过一段时间之后， 就会出现当前处理帧与实际播放帧的不同步，实时性大打折扣。因此，不能对视频进行 逐帧提取，只能提取视频关键帧。 关键帧提取是基于内容视频检索的重要步骤，关键帧反映了镜头的主要内容，它的 使用大大减少了视频索引的数量。当前，主要有以下几种关键帧提取算法13： (1) 基于采样的关键帧提取算法(skf)， 该算法每隔一段时间从视频中提取一帧作为 关键帧，其优点是算法实现简单，缺点是视频的采样间隔很难和视频内容分布一致。 (2) 基于时域最大值的关键帧提取算法(tmof)， 该算法提取的关键帧反映了镜头中 出现频率较高的内容，而没有反映在镜头中出现时间较短，但有重要意义的对象。 (3) 基于聚类的关键帧提取算法，该类算法首先对镜头中的所有帧聚类，如果类足 够大，则将其作为关键帧类，选择距离类中心最近的一帧作为关键帧，该算法还有多种 改进算法，例如在聚类算法中采用自适应的阈值，改进的c模糊聚类算法，非参数密度 估计算法等，这类算法最大的缺点是计算量相对较大。 (4) 基于运动信息的关键帧提取算法，该算法首先通过对光流分析计算运动量，然 后将运动量局部最小值对应的帧作为关键帧，实验中发现局部最小值的选取并不准确。 (5) 基于mpeg宏块统计特性的关键帧提取算法，该算法利用帧中宏块编码方式的 不同生成帧差，通过对帧差的度量提取关键帧，这类算法不需要解压视频，可以进行实 时关键帧提取，但是与解压域算法相比，在压缩域可以利用信息不多，关键帧提取不够 准确。 西安科技大学硕士学位论文 8 (6) 基于动态帧的关键帧提取算法，首先确定动态帧中每个像素的代表灰度集合， 然后通过计算视频中每一帧和动态帧之间的距离来确定关键帧。 人形识别是针对从视频文件提取到的帧图像中的运动目标进行分析识别的。 为了对 视频中出现的运动目标进行有效的提取和处理，首先要得到有运动目标出现的视频帧， 但是在实时的监控过程中，运动目标的出现和运动都是随机的，故而不能把视频的内容 分布作为关键帧提取的参考因素，因此，为了避免漏检运动目标，就需要对视频进行等 时间间隔采样。一般而言，人和动物的运动都是秒级的，而视频帧的播放速度则要快得 多。由此可见，只需要选择一个合适的采样间隔即可满足要求。 综上所述，本文采用基于采样的关键帧提取算法(skf)，该算法对视频采样间隔和 视频内容分布的一致性没有要求，每隔一段时间从视频中提取一帧作为关键帧，很大程 度上避免了运动目标的漏检，且易于实现。 采用skf提取关键帧，采样间隔视具体情况而定。这里针对本文所用视频对采样间 隔做分析有以下结论： (1) 以运动目标速度为参考，采样间隔应尽量小，避免漏报。本文所用视频时长约 30秒，帧速率为18帧/秒，其中运动目标为人，出现时长约10秒左右。该视频环境为室内 楼梯口，一般而言，人在该环境中的运动方式为正常行走，速度为1.11.4米/秒，也就 是说人完成一个完整的迈步动作所需要的时间是秒级的。因此，从人的行走速度考虑， 当采样间隔小于1秒时，基本可以避免漏报。 (2) 为了避免帧冗余，采样间隔应大于后续帧处理用时。经过试验得出本文所用视 频的帧图像后续处理所用时间在423497ms之间。因此，采样间隔应大于497ms，才能 避免帧冗余。 综上所述，为了避免漏报和帧冗余，取采样间隔为500ms。就本文18帧/秒的视频而 言，即每秒取两帧作为关键帧。 2.2 视频帧图像预处理 采用 skf 得到关键帧后，要提取不变矩则先要对该帧进行预处理。本文中视频帧 图像预处理包括去除背景、图像分割、去噪、轮廓提取等几个步骤。 2.2.1 去除背景 目前运动区域的检测方法可以分为下面几类：模板匹配；光流；时间差分； 背景差分。本文所关注的是视频区域内的运动目标，不可能以一个固定模板表示，因 此模板匹配不适用；而光流法时间开销较大，抗噪性能较差，因此对实时性要求较高的 系统也不适用；对于时间差分而言，该方法容易在运动的实体内部出现空洞现象，并且 难以精确得到运动目标的轮廓区域信息； 背景差分法是利用当前视频图像和背景图像作 2 视频帧图像提取及预处理 9 差分来检测运动目标区域的一种方法，它运算速度快，并且能够提供完整的运动目标轮 廓区域信息。基于上述考虑，本文采用基于背景差分的目标检测方法。 由于在常规环境中，除了运动目标在环境中运动产生的动态区域外，背景中往往也 会出现其他动态干扰因素，它主要是由背景的自身因素所产生。主要有以下一些： (1) 摄像头在视频采集过程中摆动造成的误差； (2) 光照变化，典型的如日光灯频率变化； (3) 环境中其他的干扰因素，如窗帘的摆动，电脑屏幕的闪烁等； 本文所针对的是静态背景下运动物体的检测， 也就是说在整个视频采集的过程中背 景是不变的，因此由于摄像头的摆动造成的误差可以忽略。此外，本文所针对的环境是 一个封闭的室内环境(大楼楼梯口)，该环境中光照变化不明显，也不存在除了运动物体 之外的动态干扰。故而本文暂不考虑背景中动态干扰因素的影响。 背景图像差分法是最直接、最简单的一种传统运动目标检测方法。它事先将背景图 像储存下来，由于运动物体和背景在灰度或色彩上存在差别，通过将背景图像和当前图 像做减法运算，相减的结果中每一像素的值和一个预先设定的阈值相比较，若这个像素 的值大于阙值，则认为这点是前景点，否则是背景点14。 背景图像背景图像 判判 别别连通性分析连通性分析形态学滤波形态学滤波二值化二值化 k f k b k d k r 图2.1 背景图像差分法原理图 背景图像差分方法原理简单，它的基本运算过程如图2.1所示。首先利用公式(2.1) 计算背景图像 k b和当前帧图像 k f的差，然后依据公式(2.2)对差分图像 k d进行二值化和 形态学滤波处理， 并对所得结果 k r进行区域连通性分析， 当某一连通的区域的面积大于 某一给定的阈值，则成为检测目标，并认为该区域就是目标的区域范围，就可以确定运 动目标的区域。 ( , )( , ) kkk dfx yb x y (2.1) 其中( , ) k fx y，( , ) k b x y为两帧图像：( , ) k d x y为帧差图像。 0 ( , ) 1 ( , ) k k k background d x yt r foreground d x yt (2.2) 其中t是二值化设定阈值。 此方法的主要要求和特点是： (1) 要求使用当前被监视环境中的一幅静态背景； 西安科技大学硕士学位论文 10 (2) 利用背景图像与当前帧图像的差进行运动目标检测。 含有运动目标的帧图像与背景图像背景作差分后得到图像的运动目标，如图2.2所 示。 (a) 含有运动目标的图像 (b) 背景图像 (c)差分后图像 图2.2 背景差分 2.2.2 图像分割 最大类间方差法是由日本学者大津于 1979 年提出的，是一种自适应的阈值确定的 方法，又叫大津法，简称 otsu。它是按图像的灰度特性，将图像分成背景和目标两部 分，背景和目标之间的类间方差越大，说明构成图像的两部分的差别越大，当部分目标 错分为背景或部分背景错分为目标都会导致两部分差别变小。因此，使类间方差最大的 分割意味着错分概率最小15。 对于一幅图像( , )i x y，其前景(即目标)图像和背景图像的分割阈值记为t，属于前 景图像的像素点个数占整幅图像的比例记为 0 ，平均灰度为 0 ；背景图像像素点个数 占整幅图像的比例为 1 ， 平均灰度为 1 。 将图像的总平均灰度记作， 类间方差记作g。 假设图像背景较暗，且图像大小为mn，图像中像素灰度值小于阈值t的像素个数记 作 0 n，像素灰度大于阈值t的像素个数记作 1 n，则有： 00/ nmn (2.3) 11/ nmn (2.4) 01 nnmn (2.5) 01 1 (2.6) 0011 (2.7) 22 0011 ()()g (2.8) 将式(2.7)代入式(2.8)，得到等价公式： 2 0101 ()g (2.9) 采用遍历的方法可得到使类间方差g最大的阈值t，该阈值即为所求。 经过背景差分得到运动目标图像通过大津法阈值分割得到运动目标的二值化前景 图像，如图 2.3 所示。 2 视频帧图像提取及预处理 11 图 2.3 大津法阈值分割后运动目标前景图像 2.2.3 去噪 图像在传输或量化的过程中， 可能会产生各种寄生效应， 这自然影响了图像的质量， 为提高图像的可用性，需要对图像进行平滑处理。图像平滑技术主要有空域法和频域法 两大类，主要包括邻域平均法、中值滤波法及低通滤波法等。本文主要针对邻域平均法 和中值滤波法进行比较分析。 (1) 邻域平均法 邻域平均法也称局部平均法，它是在空域上直接对图像进行平滑处理的方法16。这 种方法便于实现，算法复杂度低，结果也比较令人满意。 邻域平均法是用某像素邻域内的各点灰度级的平均值来代替该像素原来的灰度级。 通常取邻域为(21) (21)nn， + zn的方形窗口。将窗口在图像上从左到右、自上而 下分别沿水平和垂直两个方向逐点移动，从而平滑了整幅图像。领域平均法有两个基本 的假设： 首先，认为图像是由许多灰度恒定的小块组成； 其次，把图像上的噪声看成是均值为 0、互不相关且为加性的。 领域平均法的去噪原理是：设有一幅数字含噪声的图像为 ( , )( , )( , )g x yf x yn x y (2.10) 式(2.10)中( , )g x y，( , )f x y和( , )n x y分别为含噪声图像、理想图像及噪声。经邻域 平均处理后得到的平滑图像为 ( , )( , )( , ) 111 ( , )( , )( , )( , ) i jsi jsi js g x yg i jf i jn i j mmm (2.11) 式中，s是点( , )x y邻域内的点集；m是点集s的总点数。根据邻域平均法的第一 个假设，可以看出式子右边第一项非常接近理想图像；而第二项代表平滑后图像中的噪 声，其均值仍然为 0，并且其方差为： 2 2 ( , )( , ) 111 ( , ) ( , ) n i jsi js dn i jd n i j mmm (2.12) 经大津法阈值分割得到的前景图像采用邻域平均法处理后结果如图 2.4 所示。 西安科技大学硕士学位论文 12 图 2.4 采用邻域平均法处理得到的图像 由式(2.12)可知，虽然图像经平滑处理后噪声的方差减小为原来的1/m，但从图 2.4 可以看出简单的邻域平滑会使图像模糊，在图像边缘处表现尤为严重。 (2) 中值滤波法 中值滤波法是以像素邻域内的中值代替该像素的值。事实上，中值滤波也可以看做 一种平均滤波，只不过是以