基于视频监控运动目标检测算法研究

1、基于视频监控运基于视频监控运动目标检测算法动目标检测算法研究研究内容提要内容提要v研究背景研究背景v运动目标检测方法运动目标检测方法 光流法光流法 帧差法帧差法 背景建模法背景建模法v算法评价算法评价研究背景（研究背景（1）v对序列图像的运动分析是当前计算机视觉领域的一对序列图像的运动分析是当前计算机视觉领域的一个重要研究方向，广泛应用于：个重要研究方向，广泛应用于： 高级人机交互高级人机交互 智能监控智能监控 视频会议视频会议 医疗诊断医疗诊断 基于内容的图像存储与检索基于内容的图像存储与检索运动目标检测方法运动目标检测方法v光流法光流法（Optical flow） 可用于摄像机运动情形，提

2、取目标完整信息（包括运动可用于摄像机运动情形，提取目标完整信息（包括运动信息），计算复杂度高，抗噪性能差。在摄像机固定的情况信息），计算复杂度高，抗噪性能差。在摄像机固定的情况下应用较少。下应用较少。v帧差法帧差法(Temporal difference) 通过比较相邻通过比较相邻2或或3帧图像差异实现场景变化检测，对帧图像差异实现场景变化检测，对动态环境有较强适应性，但检测精度不高，难获得目标精确动态环境有较强适应性，但检测精度不高，难获得目标精确描述。描述。 v背景减除法背景减除法(Background subtraction) 适用于摄像机静止情形，其关键是适用于摄像机静止情形，其关键是

3、背景建模背景建模，性能与，性能与监控场景复杂情况和系统要求有关。监控场景复杂情况和系统要求有关。光流法光流法v光流法主要通过对序列图像光流场的分析，光流法主要通过对序列图像光流场的分析，计算出运动场后，对场景进行分割，从而检计算出运动场后，对场景进行分割，从而检测出运动目标。测出运动目标。v光流法的核心是求解出运动目标的光流，即光流法的核心是求解出运动目标的光流，即速度。速度。v简要介绍传统光流法的典型代表微分法。简要介绍传统光流法的典型代表微分法。 光流法光流法 v根据视觉感知原理，客观物体在空间上一般是相对连续运动，在运动过根据视觉感知原理，客观物体在空间上一般是相对连续运动，在运动过程中

4、，投射到传感器平面上的图像实际上也是连续变化的，即灰度不变程中，投射到传感器平面上的图像实际上也是连续变化的，即灰度不变性假设。根据这一基本假设，可以得到光流基本方程。性假设。根据这一基本假设，可以得到光流基本方程。v设设(x，y)点在时刻点在时刻t的灰度为的灰度为 I(x,y,t)，设光流，设光流w=(u，v)在该点的水平和在该点的水平和垂直移动分量垂直移动分量u(x，y)和和v(x，y):v经过经过dt后对应点为后对应点为I(x+dx,y+dy,t+dt)，当，当 ，灰度，灰度I保持不变，得保持不变，得到到I(x,y,t)= I(x+dx,y+dy,t+dt)。此式由。此式由Taylor展

5、开，忽略二阶无穷小，展开，忽略二阶无穷小，整理得到基本的光流约束方程整理得到基本的光流约束方程:v v (1)v表示灰度对时间的变化率等于灰度的空间梯度与光流速度的点积。表示灰度对时间的变化率等于灰度的空间梯度与光流速度的点积。v从不同角度对式从不同角度对式(1) 引入不同约束条件，产生不同的光流分析方法。引入不同约束条件，产生不同的光流分析方法。Barron等人将光流计算分为等人将光流计算分为4种种:微分法、频域法、块匹配法和能量法，微分法、频域法、块匹配法和能量法，其中其中微分法微分法最为常用。下面介绍微分法（即基于梯度的算法）。该方法最为常用。下面介绍微分法（即基于梯度的算法）。该方法以

6、以Hom&schiinck(简称简称HS)算法为代表。算法为代表。dxdyuvdtdt0dt IIIuvtxyxyHorn & Schunck算法算法 vHorn与与Schunck于于1981年引入了年引入了全局平滑性约束全局平滑性约束，假设光流在整个图像上光滑变化，即速度的变化率假设光流在整个图像上光滑变化，即速度的变化率为零。为零。v结合式（结合式（1）和式（）和式（2），得光流），得光流w=(u,v)应满足：应满足：v 取值主要考虑图中的噪声情况。如果噪声较强，取值主要考虑图中的噪声情况。如果噪声较强，说明数据置信度较低，需要更多地依赖光流约束，说明数据置信度较低，需要更

7、多地依赖光流约束，其取值较大其取值较大;反之其取值较小。反之其取值较小。2222()0 ()0uuvvuvxyxy（2）2222min( , )()()()xytxyx yI uI vIuv 光流法实验结果图光流法实验结果图v本文使用本文使用 Horn& Schunck 提出的光流算法提出的光流算法，检测场景为两个人在室内聊天的场景。，检测场景为两个人在室内聊天的场景。v从下面两张图可看出，由于检测所选用的两从下面两张图可看出，由于检测所选用的两帧是视频中连续的两帧，相隔时间非常短，帧是视频中连续的两帧，相隔时间非常短， 因此，场景中的两个人并没有明显的变化。因此，场景中的两个人并没有

8、明显的变化。结论结论v由上面光流法实验结果图可看出，由于用于由上面光流法实验结果图可看出，由于用于检测的两帧图像中的两个人物有微小的运动检测的两帧图像中的两个人物有微小的运动，通过光流法能检测出有运动物体，并且通，通过光流法能检测出有运动物体，并且通过三幅图的对比可以看出，检测出来的运动过三幅图的对比可以看出，检测出来的运动物体的轮廓与上图中两个有微小运动的人物物体的轮廓与上图中两个有微小运动的人物轮廓相符，如此，可验证光流法不但可以检轮廓相符，如此，可验证光流法不但可以检测出是否存在运动目标，并且，当运动目标测出是否存在运动目标，并且，当运动目标存在时，能获得运动目标的完整轮廓。存在时，能获

9、得运动目标的完整轮廓。背景建模法背景建模法v原理：建立一个无运动目标的背景图像原理：建立一个无运动目标的背景图像(第一第一帧无运动目标的图像或前帧无运动目标的图像或前N帧无运动目标的帧无运动目标的图像的均值或中值图像的均值或中值)，然后将当前图像的像素，然后将当前图像的像素值与背景图像的像素值相减，通过设置一定值与背景图像的像素值相减，通过设置一定的阈值，判断此像素点为背景像素点还是前的阈值，判断此像素点为背景像素点还是前景像素点，从而分割运动目标。景像素点，从而分割运动目标。v优点：算法简单、实时性较高，优点：算法简单、实时性较高，能够完整的能够完整的分割出运动对象分割出运动对象v缺点：对背

10、景的依赖性较高缺点：对背景的依赖性较高流程流程v背景建模法通常分为背景模型建立、背景模背景建模法通常分为背景模型建立、背景模型更新、背景提取和目标判断四个步骤，型更新、背景提取和目标判断四个步骤，v具体流程图如下所示：具体流程图如下所示：主要介绍两种背景模型：主要介绍两种背景模型：单高斯模型单高斯模型混合高斯模型混合高斯模型单高斯模型单高斯模型v对每一个像素利用高斯函数建模，每一像素对每一个像素利用高斯函数建模，每一像素点都认为服从均值和标准方差的分布，且每点都认为服从均值和标准方差的分布，且每一点的高斯分布是独立的。一点的高斯分布是独立的。假定每个像素特假定每个像素特征在时间域上的分布可以由

11、单个高斯分布来征在时间域上的分布可以由单个高斯分布来描述描述优点：单高斯分布背景模型在室内优点：单高斯分布背景模型在室内(或或其他简单场景其他简单场景)进行运动目标检测可以进行运动目标检测可以得到较好的效果，由于运算量小，处理得到较好的效果，由于运算量小，处理速度非常快，而且检测到的目标比较完速度非常快，而且检测到的目标比较完整。整。 缺点：当场景比较复杂时，模型会缺点：当场景比较复杂时，模型会变得不稳定，而且抗噪声干扰的能力较变得不稳定，而且抗噪声干扰的能力较差。差。混合高斯模型此方法是这样实现背景建模的：此方法是这样实现背景建模的： 混合高斯模型使用混合高斯模型使用K（基本为（基本为3到到

12、5个）个高斯模型个）个高斯模型来表征图像中各个像素点的特征；用当前图像中的来表征图像中各个像素点的特征；用当前图像中的每个像素点与混合高斯模型匹配每个像素点与混合高斯模型匹配,如果成功则判定该如果成功则判定该点为背景点点为背景点, 否则为前景点；否则为前景点； 获得后更新混合高斯获得后更新混合高斯模型；通观整个高斯模型，主要是有方差和均值两模型；通观整个高斯模型，主要是有方差和均值两个参数决定。个参数决定。混合高斯模型v设用来描述每个像素点背景的高斯分布共有 K个，分别记为 。各高斯分布分别具有不同的权值 和 优先级 ，它们总是按照优先级从高到低的次序排序。 包括模型初始化、模型包括模型初始化

13、、模型匹配与参数更新、生成背景分布和检测前景匹配与参数更新、生成背景分布和检测前景四部分。四部分。 ,( ,),1,2,.,i ti txiK,1(1)Ki ti ti1/2,ii ti tP模型匹配与参数更新模型匹配与参数更新v将新像素将新像素 与模型中的与模型中的K个分布按序匹配，若个分布按序匹配，若 与某与某分布满足式分布满足式 （D1为自定义参数），则为自定义参数），则 与该高斯分布匹配，其参数按下式更新。与该高斯分布匹配，其参数按下式更新。v v式中式中 是自定义的学习率，是自定义的学习率， 是参数学习率。是参数学习率。不匹配的分布仅权值按不匹配的分布仅权值按 衰减。衰减。v若无分布

14、和若无分布和 匹配，则最小权值分布被替换成均值匹配，则最小权值分布被替换成均值为为 ，标准差为，标准差为 ，权值为，权值为 的的高斯分布。其余分布仅权值按高斯分布。其余分布仅权值按 更新。更新。tItI,11,1ti ti tIDtI,1,1222,1,(1)(1)(1)()i ti ti ti tti ti tti tII 01, i t,1(1)i ti t tI0,1(1)K tK t ,1(1)i ti t tItI生成背景分布生成背景分布 v分布按优先级分布按优先级 从大到小排列，从大到小排列，T为背景为背景权值部分和阈值，如果前权值部分和阈值，如果前 个分布的权值和个分布的权值和刚

15、大于刚大于T，则这些分布是背景分布，其它为前，则这些分布是背景分布，其它为前景分布。景分布。 ,/i ti tBN检测前景检测前景 v若所有背景分布与若所有背景分布与 都满足下式，则判定为都满足下式，则判定为前景点，否则为背景点。（前景点，否则为背景点。（D2为自定义参数）为自定义参数）tI,2,|,1,2,.,ti ti tBIDiN混合高斯模型总结混合高斯模型总结优点优点 ：(1)混合高斯模型可以模拟复杂的多峰背景混合高斯模型可以模拟复杂的多峰背景(如摇动的树枝，摆如摇动的树枝，摆动的旗帜等动的旗帜等)，(2)不仅能准确的检测出大面积目标还能检测出小面积的目标，不仅能准确的检测出大面积目标

16、还能检测出小面积的目标，(3)运算量不是非常大，能够满足实时性需要。运算量不是非常大，能够满足实时性需要。 缺点缺点 ：(1) 能够有效的解决光线渐变的问题，但是对于光线突变非常能够有效的解决光线渐变的问题，但是对于光线突变非常敏感；敏感；帧差法帧差法v帧差法的基本思想是用当前帧与前一帧图像帧差法的基本思想是用当前帧与前一帧图像相减，对相减得到的结果进行二值化、形态相减，对相减得到的结果进行二值化、形态学滤波等后续处理，最终才判断此帧图像是学滤波等后续处理，最终才判断此帧图像是否出现了运动目标。帧差法的流程图如下所否出现了运动目标。帧差法的流程图如下所示：示：帧差法帧差法帧差法帧差法优点：鲁棒性好，运算量小，易于软件实现优点：鲁棒性好，运算量小，易于软件实现缺点：对噪声有一定的敏感性，运动实体内部也容易产生空洞现缺点：对噪声有一定的敏感性，运动实体内部也容易产生空洞现象，阈值象，阈值T缺乏自适应性，当光照变化时，检测算法难以适应环境缺乏自适应性，当光照变化时，检测算法难以适应环境变化变化tt-1t1, I (x,y)-I(x,y) TD (x,y)=0,otherwiseDefault:T=60算法评价算法评价v鲁棒性：在各种环境条件鲁棒性：在各种环境条件(光照变化、背景扰光照变化、背景扰动动)下实现运动目标的完整分