智能视频监控

GaoLinSichuanUniversity,Spring2010智能视频监控及其相关技术主要内容智能视频监视系统目标检测阴影去除目标跟踪 视频监控在银行、电力、交通、安检以及军事设施等领域的安全防范和现场记录报警等方面有着非常广泛的应用。监控技术发展的三个阶段统计数据显示，英国目前有400多万个摄像机，而伦敦的居民平均每个人每天要被摄像机拍摄300次。公安部主导的“平安城市”计划，促进了视频监控市场的迅速增长，全国约有200万个监控摄像机用于城市监控与报警系统。青藏铁路全线1300路通道采用视频分析，对全线铁路进行入侵保护。1vs11vsN智能视频监控系统是利用计算机视觉技术，在不需要人为干预的情况下，对视频信号进行处理、分析和理解，并对视频监控系统进行控制，从而使视频监控系统具有像人一样的智能。应用实例智能视频的应用大体上可以分为安全相关应用和非安全相关应用两大类。安全类相关的应用是目前市场上存在的主要智能视频应用，特别是在911恐怖袭击、马德里爆炸案以及伦敦爆炸案发生之后，市场上对于此类应用的需求不断增长。这些应用主要作用是协助政府或其他机构的安全部门提高室外大地域公共环境的安全防护。此类应用主要包括：高级视频移动侦测、物体追踪、人物面部识别、车辆识别和非法滞留等。

除了安全相关类应用之外，智能视频还可以应用到一些非安全相关类的应用当中。这些应用主要面向零售、服务等行业，可以被看作管理和服务的辅助工具，用以提高服务水平和营业额。此类应用主要包括：人数统计、人群控制、注意力控制和交通流量控制等。安防1、绊线检测

针对人、车通过特定运动方向绊线的监控；其应用如：警戒线、单向闸门流向、栅栏攀爬…等；2、警戒区域

针对人、车进入或离开特定管制区域的监控；其应用例：停机坪、码头车站的工作区域、营业场所后台…等。3、闲逛

针对不合理滞留过久的人、车发出警示讯息，以提醒安管保全人员加以盘察注意。4、偷窃

针对特定重要资产的保全；例如：贵重的挂画或摆饰、装备器材、场站内的车辆或机具…等。5、遗留物

针对可能的爆裂物、易燃物、生化污染物…的恶意弃置。6、群体事件

针对人群聚集车牌识别车速测量流量统计逆行告警智能交通监控对设定区域的移动物体（通过预先设置的大小形状来进行过滤）进行动态跟踪。可应用于监控物理周界和虚拟周界的区域，监视是否有目标进入或预进入，可用于监控边界、监狱、机场、化学基地等周界移动物体监视智能交通监控IVS研究现状

1997年，美国国防高级研究项目署设立了以卡内基梅隆大学牵头，麻省理工学院等高校参与的视觉监控重大项目VSAM，主要研究用于战场及普通民用场景监控的自动视频理解技术美国康奈尔大学计算机系设计了一套航拍视频检测与持续跟踪系统，该系统能够对多运动目标实现长时间的准确跟踪，即使发生短时间内目标被遮挡或目标时静时动的情况2005年，美国中央佛罗里达大学计算机视觉实验室开发出了基于MATLAB的COCOA系统，用于无人机低空航拍视频图像的目标检测与跟踪处理2003年,由欧盟发起，法国的SILOGIC公司和英国的雷丁大学等十几家机构参与研究的AVITRACK项目，该系统主要针对机场停机坪周围的环境，检测和跟踪停机坪中出现的飞机、汽车以及行人等，其目的是为机场管理者所关心的机场流量及调度形成一个强有力的决策辅助工具，以便提高机场的利用率同时对机场的安全提供一个有力的保障。IEEEConferenceonComputerVisionandPatternRecognition智能视频监视系统的基本框架低层视觉处理中层视觉处理高层视觉处理

目标检测将输入的视频图像中变化剧烈的图像区域从图像背景中分离出来，它处于视频监控技术的前端，是各种后续处理的基础。目前，算法主要包括背景减法、相邻帧差法和光流法等。

目标跟踪依据目标及其所在的环境，选择能唯一表示目标的特征，并在后续帧中搜索与该特征最匹配的目标位置。常用的跟踪算法包括：基于特征的跟踪算法，基于3D模型的跟踪，基于主动轮廓模型的跟踪以及基于运动估计的跟踪等。

目标分类利用一些图像特征值实现目标类型（一般是人和车）的甄别。用于目标分类的特征有空间特征和时间特征两种，空间特征包括目标轮廓、目标尺寸、目标纹理等，时间特征包括目标大小的变化、运动的速度等。

行为理解指在对序列进行低级处理的基础上，对场景中的事件进行分析和识别，用自然语言等加以描述。根据运动目标的运动轨迹进行行为分析。

主要内容智能视频监视系统目标检测阴影去除目标跟踪视频运动目标检测运动目标检测的目的是从视频图像中将运动目标与背景分割出来，由于光照变化、背景物运动干扰、运动目标阴影以及摄像机运动等干扰因素的存在，为运动目标的正确检测带来了巨大挑战。

Goalsofmotiondetection

IdentifymovingobjectsDetectionofunusualactivitypatternsComputingtrajectoriesofmovingobjectsApplicationsofmotiondetection

Indoor/outdoorsecurityRealtimecrimedetectionTrafficmonitoringManyintelligentvideoanalysissystemsarebasedonmotiondetection.典型的运动目标检测方法主要有以下三种算法：帧间差分法光流法背景差分法帧间差分法将连续的两帧或三帧图像对应像素点的灰度值相减，当环境亮度变化不大时，如果对应像素值相差很小，则认为此处是静止的，标记为背景；如果对应像素值相差较大，则认为这是由目标运动引起的，该处像素标记为运动目标。

第n-1帧第n帧优点：算法实现复杂度低；检测速度快，易于实现实时监视；由于相邻帧的时间间隔较短，因此该方法抗干扰能力较强，对环境有较好的适应性。缺点：该方法检测出的运动区域包含了相邻两帧中所有存在变化的区域，因此提取出的运动目标往往大于实际目标，不能够准确反映运动目标的真实形状。当运动目标存在大范围的灰度相似区域时，会产生明显的“孔洞”现象，以至于运动目标提取不完整。Itevidentlyworksonlyinparticularconditionsofobjects’speedandframerateVerysensitivetothethresholdTh光流法光流法是通过计算图像的光流场实现运动目标检测的一种方法。所谓光流场是指空间运动物体被观测表面上的像素点运动产生的瞬时速度场,一个二维的速度场，包含了物体表面结构和动态行为的重要信息。

光流可以看作带有灰度的像素点在图像平面运动产生的瞬时速度场。假设E(x,y,t)为(x,y)点在时刻t的亮度，设t+dt时刻该点运动到(x+dx,y+dy)点，它的亮度为E(x+dx,y+dy,t+dt)。我们认为，由于对应同一个点在短时内它的亮度值不变，所以E(x,y,t)=E(x+dx,y+dy,t+dt)

——光流约束方程将上式右边做泰勒展开，并令dt->0，则得到：Exu+Eyv+Et

=0其中：Ex=dE/dx

Ey=dE/dy

Et=dE/dt

u=dx/dt

v=dy/dt。上面的Ex,Ey,Et的计算都很简单，用离散的差分代替导数就可以了。光流法的主要任务就是通过求解光流约束方程求出u,v。

上述只有一个方程，有两个未知参数，所以这是个病态问题，要求解只有加入其他的约束方程以联立求解。针对摄像机固定的这一特定情况，问题可以大大简化。

在摄像机固定的情形下，运动物体的检测其实就是分离前景和背景的问题。我们知道对于背景，理想情况下，其光流应当为0，只有前景才有光流。所以我们并不要求通过求解光流约束方程求出u,v。我么只要求出亮度梯度方向的速率就可以了，即求出sqrt(u*u+v*v)而由光流约束方程可以很容易求到梯度方向的光流速率为

V=abs(Et/sqrt(Ex*Ex+Ey*Ey))这样我们设定一个阈值TV(x,y)>T则(x,y)是前景，反之是背景背景差分法利用建立的背景模型来生成背景图像的像素值，然后将当前帧与背景图像求差，差值较大的像素区域被认为是运动目标区域，而差值较小的像素区域被认为是背景区域。

背景图像第t帧差分后二值化Firstconsequentproblem:howtoautomaticallyobtaintheimageofthescene’sstaticbackground?requirements

Thebackgroundimageisnotfixedbutmustadaptto:Illuminationchanges •gradual•sudden(suchasclouds)Motionchanges•cameraoscillations•high-frequenciesbackgroundobjects(suchastreebranches,seawaves,andsimilar)Changesinthebackgroundgeometry•parkedcars,...统计背景模型：单高斯模型混合高斯模型非参数模型单高斯模型：假定每个像素特征在时间域上的分 布可以由单个高斯分布来描述假定每个像素点的颜色特征在时间域上的分布可以由单个高斯分布来描述，其中

，，分别为时刻像素颜色值，高斯分布的均值和方差。其中a为学习率，a取值范围是[0,1]，可以通过取不同的a值调整背景的更新速度。混合高斯模型(GMM)：为了描述分布形式更为复 杂的背景，有必要应用到多模态的分布形式。

GMM模型定义GaussianComponentWeightsofeachcomponentUpdatingWeightsForthematchedcomponentk,UpdatingMeanandSigmaMatchingIndicator,within2.5SDGMM模型更新GMM模型估计OrderingGaussiancomponentsbythevalueofThefirstBdistributionsarechoseasthebackgroundmodelT:ameasureoftheminimumportionofthedatathatshouldbeaccountedforbythebackground.混合高斯模型由于对每个象素，都建立了多个高斯分布，因此对于象素的扰动，具有较强的适应性，能够造成较好地排除噪声的干扰，具有较好的鲁棒性和普通的背景减除法相比，是自适应前景检测阈值。没有普通背景减除法的拖尾现象。非参数模型：不需对背景模型做任何假设，直接利用 先前获得的像素值估计当前像素为背景 的概率.常用的非参数密度估计法有直方图估计法，Parzen的核估计法，等等背景差分法存在的问题不适应光照突变环境可能检测出虚假目标,即“鬼影”光照突变的类型和特点光照突变分为环境光照强度发生突然变化和摄像机增益系数发生改变两种，如当视场内突然经过面积过大的目标时，摄像机会改变增益，虽然环境光照可能没变，但摄像机曝光强度改变，其效果和光照突变时一样。光照突变通常是全局的，如室内突然开灯和摄像机的自动增益调整。光照突变时运动目标检测的依据根据朗伯反射定律，图象亮度和入射光照强度成正比，同时由于光照突变的全局性，因此当前帧图象中所有背景象素点亮度和对应高斯背景亮度之比值为一个常数。考虑到朗伯防射定律的近似性和光照突变全局假设的局限性，当前帧所有背景象素点和对应高斯背景亮度之比分布在一个较窄范围之内。光照突变时亮度比值的分布光照突变前光照突变后光照突变前后当前帧背景象素点和高斯背景亮度比值的直方图其中:式中，c为常数100光照突变判定统计当前帧中象素点和对应高斯背景亮度比值的直方图，为了减少前景象素点的干扰，对于上一帧中检测为前景目标的区域不参与统计。计算ξ在区间[0,c)和区间(c,ξMax]上的概率差异，如果差异过大则判定光照发生了突变其中光照突变时运动目标检测1).寻找直方图峰位ξn2).分别计算峰位左右两边的方差光照突变时运动目标检测3).前景象素判定准则:4).根据检测到的结果修正高斯模型光照突变算法效果(a)原始视频(b)传统混合高斯模型检测的前景(c)本文方法检测的前景鬼影消除鬼影是指检测出的虚假目标，通常是由于高斯背景模型建立需要一个学习过程，当原来静止不动的物体突然离开后，即会在原来所在区域留下“鬼影”。由于帧间差分最直观地反映了物体的运动，虽然帧间差分检测的目标区域不够准确和完整，但可以作为一个运动目标检测的辅助依据。鬼影消除算法步骤1).计算帧间差，通过取阈值得到帧间差检测的前景象图象掩码。2).提取混合高斯模型检测结果中的连通体，对于每个连通体，统计连通区域内对应帧差检测结果为前景象素的数目。3).把统计到的帧差前景象素数目和连通体面积相除，如果比值小于一定阈值，则判定为鬼影。主要内容智能视频监视系统目标检测阴影去除目标跟踪多特征联合阴影检测阴影物理模型多特征阴影检测实验分析阴影物理模型

阴影是由于光源被遮挡所产生的，因此，它们的亮度和颜色将会随着它们所投影的表面的改变而改变。采用信号处理理论的阴影处理系统，其阴影点的特征可以如下描述：

阴影物理模型阴影物理模型阴影检测对环境提出了三个假定：假定3.1:强光源。假定3.2:静态场景、摄像机固定。假定3.3:阴影场景是近似平面，如路面。多特征联合阴影检测方法

HSV颜色空间阴影特性阴影纹理特性邻域光照比值不变性融合颜色和纹理阴影检测HSV颜色空间阴影特性

(1)目标投射阴影并不会很明显地改变背景区域的色度。(2)实际的前景目标点(不包含阴影点)会导致相应的像素点在饱和度上发生较大的变化，而阴影则不会使背景点的饱和度有明显变化。(3)由于阴影覆盖区域的亮度值比相应的背景区域的亮度值要低。HSV颜色空间阴影特性

阴影LBP纹理特性

LocalBinaryPattern（LBP）是基于图像空间域局部关系的图像纹理描述算子，该算子通过对像素与相邻同等间距上的邻域像素的灰度变化二值化，形成对该像素所在位置的纹理变化模式的描述。阴影LBP纹理特性

LBP具如下的优点：1）作为一个二值差分算子，ＬＢＰ能够可靠地描述灰度变化；2）LBP能够减弱阴影的影响，因为阴影常常只会导致亮度变化，而纹理特征仍然不变；3）LBP计算简单，速度快。但是LBP算子受噪声影响比较大，比较小的噪声就可能导致模式判定错误。为了克服噪声的影响，我们对算子进行改进：阴影LBP纹理特性

对于浅阴影区域，像素及它的邻域同等程度的变暗，因此对于阴影覆盖前后它的LBP值是相同的；对于重阴影区域，像素及它的邻域像素值可以看作是相等，因此它的LBP值为0。邻域光照比值不变性图像中的相邻点所在的3D对应位置的光照基本相同，运动阴影区域的像素点的反射率和没有阴影时的反射率是相等的，这样，背景中的邻域亮度比值和当前帧的邻域亮度比值具有不变性的特点。融合颜色和纹理阴影检测通过对比当前帧和背景图片中相应像素点的LBP纹理值来检测阴影点对①得到的候选阴影点根据阴影的HSV属性排除非阴影点在亮度比值空间对②得到的阴影点进行区域生长实验分析

实验分析

主要内容智能视频监视系统目标检测阴影去除目标跟踪基于粒子滤波的目标跟踪视频目标跟踪视频目标跟踪目的就是对图像序列中的目标进行分析，计算出运动目标的运动参数，如位置、速度、加速度以及运动轨迹等，从而进行进一步处理和分析，实现对运动目标的行为理解，以完成更高一级的视觉任务视频跟踪的难点视频目标跟踪问题的解决思路视频目标跟踪方法的分类鲁棒性:1、被跟踪运动目标的姿态变化2、运动目标所处环境的光照变化3、部分遮挡引起的运动目标不规则变形和全部遮挡引起的目标暂时消失准确性：快速性：处理对象是包含了巨大数据量的图像，算法往往需要大量的运算时间。视频跟踪的难点视频目标跟踪问题的解决思路总体上讲有两种思路：1、自底向上(bottom-up)的处理方法;自底向上的处理方法又称为数据驱动(data-driven)的方法，这种方法不依赖于先验知识，直接从图像序列中获得目标的运动信息并进行跟踪。2、自顶向下(top-down)的处理方法。这种方法一般依赖于所构建的模型或先验知识，在图像序列中进行匹配运算或求解后验概率。贝叶斯理论框架下，已知目标状态的先验概率，在获得新的量测后不断求解目标状态的最大后验概率的过程。按照不同的标准可以有不同的分类方式：按照摄像机的数目，可分为单摄像机跟踪和多摄像机跟踪；按照传感器的不同，可分为可见光目标和红外目标的跟踪;按照目标的表达方式，可分为基于区域的跟踪，基于主动轮廓的跟踪，基于局部特征的跟踪，基于模型的跟踪。OneCameraTwoCameras视频目标跟踪方法的分类基于区域的跟踪利用图像相关匹配技术对目标进行跟踪，需要先获得一个表示目标的模板，模板可以是通过手工选定或是图像分割得到，通常是略大于目标的矩形区域或是任意形状；然后运用相关算法，计算目标模板与当前图像候选区域的特征匹配度，匹配特征可以是颜色、纹理等，匹配度最大的候选区域即为目标的当前位置。(c)(b)(a)(d)基于主动轮廓的跟踪基于主动轮廓的方法将目标描述为可变形的边界轮廓来进行跟踪。最常用的主动轮廓模型是由Kass等提出的Snake模型。通过跟踪目标的某个或某些局部特征，如边缘特征、点特征等，从而实现对整个目标的跟踪。基于特征的跟踪利用先验知识建立跟踪目标的目标模型（2D、3D模型），然后将目标模型的图像投影与图像序列进行匹配，从而确定出目标的运动参数。在通常的跟踪对象中，非刚体的代表性目标是人，刚体的代表性目标是车辆。基于模型的跟踪PersonModel2DPersonModel3D标定后的摄像机VehicleModel2D主要内容智能视频监视系统目标检测阴影去除目标跟踪基于粒子滤波的目标跟踪粒子滤波粒子滤波通过非参数化的蒙特卡洛(MonteCarlo)模拟方法来实现递推贝叶斯滤波，适用于任何能用状态空间模型描述的非线性系统，精度可以逼近最优估计。