视频监控与视频分析运动目标检测分解

1、运动目标检测 研究背景 运动目标检测方法 光流法 时间差分法 背景减除法 算法评价 研究背景（1） 对序列图像的运动分析是当前计算机视觉领域的一个重要研究方向，广泛应用于： 高级人机交互 智能监控 视频会议 医疗诊断 基于内容的图像存储与检索 美国、英国等国家已经开展了大量相关的研究,当前国际上一些权威期刊如IJCV、CVIU、PAMI、IVC、 CVPR、AVSS、ECCV、IWVS等均将序列图像的运动分析作为其中的主题内容。 研究背景（2） 序列图像的运动分析主要包括运动目标的检测、跟踪、分类及行为理解几 个过程。 运动目标检测是从序列图像中将运动变化区域从背景图像中分割提取出来。 在计算

2、机视觉、智能视频监控（银行、电力、交通、安检及军事）领域， 视频图像的运动目标检测结果，将对运动目标分类、跟踪及行为理解等后 续处理产生重要影响。运动目标的有效分割是序列图像分析的基础性工作， 是当今国内外学者研究的热点问题。 低层视觉处理低层视觉处理 中层视觉处理中层视觉处理 高层视觉处理高层视觉处理 运动目标检测问题分类 按不同标准将运动目标检测方法分类： （1）摄像机数目：单摄像机、多摄像机 （2）摄像机是否运动：摄像机静止、摄像机运动 （3）场景中运动目标数目：单目标、多目标 （4）场景中运动目标类型：刚体、非刚体 主要讨论：静止单摄像机，多运动目标检测问题。 运动目标检测方法 光流法

3、（Optical flow） 可用于摄像机运动情形，提取目标完整信息（包括运动信息），计算 复杂度高，抗噪性能差。在摄像机固定的情况下应用较少。 时间差分法(Temporal difference) 通过比较相邻2或3帧图像差异实现场景变化检测，对动态环境有较强 适应性，但检测精度不高，难获得目标精确描述。 背景减除法(Background subtraction) 适用于摄像机静止情形，其关键是背景建模，性能与监控场景复杂情 况和系统要求有关，典型算法有中值、自适应模型、高斯模型、多模态均 值等。 光流法 光流法主要通过对序列图像光流场的分析，计算出运动场后，对场景进行分割，从而检测出运动目

4、标。 光流法的核心是求解出运动目标的光流，即速度。 简要介绍传统光流法的典型代表Hom反之其取值较小。 1 Horn, Berthold K.P.; Schunck, Brian G. Determining Optical FlowJ.1981. 22 22 ()0 ()0 uuvv uv xyxy （2） 2222 min( , )()()() xyt xy x yI uI vIuv Lucas 二是对光强度差的平方和进行最 小化。 块匹配法归一化相关系数 归一化相关系数 当相关系数为1时，表示两个块完全匹配。实际上，由于噪声及目标图像形状的变化，不同图像的对应块亮 度会有变化。在 搜索区

5、内的相关系数最大的位置就是最佳匹配，其偏离中心点(x,y)的位移量 (u,v)即为光流。 12 , 22 12 , (,)(,) ( , , , ) (,)(,) n i jn n i jn I xi yjIxui yvj C x y u v Ixi yjIxui yvj ,Nu vN (21) (21)NN 块匹配法光强度差平方和法 光强度差平方和法计算 搜索区域上的误差分布为： 将此误差分布转换成指数形式分布 其中k为正则化参数。指数响应函数在01之间变化。根据估计理论，利用加权最小二乘法可得到真实速度 的一个估计: (21) (21)NN 2 12 , ( , )(,)(,) , n i

6、 jn e u vI xi yjIxui yvjNu vN ( , )exp( , )R u vke u v ( , )( , ) (,) ( , )( , ) uvuv ccccc uvuv R u v uR u v v vu vuv R u vR u v 光流法总述 基于微分的光流法，实现比较简单，计算复杂度低，缺点是在图像相邻之间偏移量大的时候误差较大，而 且该方法要求图像灰度必须是可微的。 基于匹配的光流法通过特征匹配来确定偏移量，可以解决相邻帧差异较大的问题;但是特征匹配比较困难， 运算量比较大，且块匹配法对噪声敏感。 目前，国内外学者都在寻求改进光流法的方法，主要分为两种，一是光流

7、法自身的改进;二是光流法与其他 方法相结合，如即金字塔光流法、区域光流法和特征光流法。 时间差分法 优点：鲁棒性好，运算量小，易于软件实现优点：鲁棒性好，运算量小，易于软件实现 缺点：对噪声有一定的敏感性，运动实体内部也容易产生空洞现缺点：对噪声有一定的敏感性，运动实体内部也容易产生空洞现 象，阈值象，阈值T缺乏自适应性，当光照变化时，检测算法难以适应环境缺乏自适应性，当光照变化时，检测算法难以适应环境 变化变化 tt-1 t 1, I (x,y)-I(x,y) T D (x,y)= 0,otherwise Default:T=60 背景减除法 中值模型 自适应背景模型 双背景模型 最大不相似

8、模型 单高斯 混合高斯 改进的混合高斯 多模态均值 纹理模型 背景减除法流程图 中值模型 ( (Median Model) ) 背景 中间值中间值 t-1 tj j=t-K tt t 1 B (x,y)=I (x,y) K 1I (x,y)-B (x,y) T D (x,y)= 0otherwise Default:T=60，K=3 前提：在前前提：在前K帧图像中，某像素点在超过一半的时间里呈现场帧图像中，某像素点在超过一半的时间里呈现场 景背景像素值。景背景像素值。 自适应背景模型 前一帧k-1 前一背景当前背景 + +（1-1-） = = 为自适应参数，其取值 直接影响背景的更新质量 是任

9、意选择的适应参数是任意选择的适应参数 11 ttt-1 tt t B (x,y)=I (x,y) B (x,y)=I (x,y)+(1-)B(x,y) 1I (x,y)-B (x,y) T D (x,y)= 0otherwise Defaut: =0.03，T=60 双背景模型 33的邻里差分的邻里差分 - - 11 1212 i=-1 j=-1 (I ,I )=I (x+i,y+ j)-I (x+i,y+ j) 其中：其中： tLTttSTb Dif = (I ,B),Dif = (I ,B) Default：Tb=60, Tt=60 tb D (x , y ) = M M bb b 1Di

10、f (x,y)T M (x,y)= 0otherwise tt t 1Dif (x,y)T M (x,y)= 0otherwise 当前帧k短期背景(前一帧k-1) 长期背景(中值模型) BLT 最大不相似模型 *没有常数没有常数,包含大量光噪，需要去噪和形态滤波包含大量光噪，需要去噪和形态滤波 N：最小灰度值 M：最大灰度值 MD：最大帧间差 ttt ttt N (x,y)-I (x,y) MD (x,y) 1 D(x,y)=M (x,y)-I (x,y) MD (x,y) 0otherwise 单高斯模型 假设每个像素的灰假设每个像素的灰 度在时间域上满足度在时间域上满足 正态分布正态分布

11、: tt 1I (x,y)-(x,y) (x,y) D(x,y) = 0otherwise 简单统计差分：简单统计差分： 2 222 tt-1tt-1tt-1tt-1t-1 11 t -1 = +I -, = +I - ttt Default： = 4.5 单 高 斯 模 型 ：单 高 斯 模 型 ： tt-1t 222 tt-1tt 2 t-1t 2 = + (1 - )I = + (1 - )(I - ) (- I )1 = exp- 22 混合高斯模型 为了描述分布形式更为复杂的背景（特别是在有微小重为了描述分布形式更为复杂的背景（特别是在有微小重 复运动的场合，如摇动的树叶、灌木丛、旋

12、转的风扇、复运动的场合，如摇动的树叶、灌木丛、旋转的风扇、 海面波涛、雨雪天气、光线反射等），有必要应用到多海面波涛、雨雪天气、光线反射等），有必要应用到多 模态的分布形式。模态的分布形式。Stauffer等用多个单高斯函数来描述等用多个单高斯函数来描述 场景背景，并且利用在线估计来更新模型，可靠地处理场景背景，并且利用在线估计来更新模型，可靠地处理 了光照缓慢变化、背景混乱运动（树叶晃动）等影响。了光照缓慢变化、背景混乱运动（树叶晃动）等影响。 混合高斯模型 设用来描述每个像素点背景的高斯分布共有 K个，分别记为 。各高斯分布分别 具有不同的权值 和 优先级 ，它们总是按照优先级从高到低的次

13、序排序。 包括模型初始化、模型匹配与参数更新、生成背景分布和检测前景四部分。 , , ( ,),1,2,., i t i t xiK , 1 (1) K i ti t i 1/2 , , ii t i t P 模型初始化 第1帧图像初始化混合高斯模型： 当前像素的颜色值初始化均值 初始较大标准方差 =30. 给第一个高斯分布一个较大的权重0.5，其余的高斯分布权重为0.5/(K-1) 0 模型匹配与参数更新 将新像素 与模型中的K个分布按序匹配，若 与某分布满足式 （D1为自定义参数），则 与该高斯分布匹配，其参数按下式更新。 式中 是自定义的学习率， 是参数学习率。不匹配的分布仅权值按 衰减

14、。 若无分布和 匹配，则最小权值分布被替换成均值为 ，标准差为 ，权值为 的 高斯分布。其余分布仅权值按 更新。 t I t I ,11,1ti ti t ID t I ,1 ,1 222 ,1, (1) (1) (1)() i ti t i ti tt i ti tti t I I 01 , i t ,1 (1) i ti t t I 0 ,1 (1) K tK t ,1 (1) i ti t t I t I 生成背景分布 分布按优先级 从大到小排列，T为背景权值部分和阈值，如果前 个分布的权值和刚大于T，则这 些分布是背景分布，其它为前景分布。 , / i ti t B N 检测前景 若所

15、有背景分布与 都满足下式，则判定为前景点，否则为背景点。（D2为自定义参数） t I ,2, |,1,2,., ti ti tB IDiN 混合高斯模型流程图 ,1 ,1 222 ,1, (1) (1) (1)() i ti t i ti tt i ti tti t I I 更新方程：更新方程： 融合了背景减除法的改进混合高斯模型 混合高斯模型使用固定的学习率 ，如果其值较小，模型的初始建立时间较长，如果其值较大，则会降低 模型对视频中噪声(如树叶摇晃)的抑制作用。 背景能够适应缓慢的光照变化、树叶摇动等因素引起的变化，而对于突然的光照变化适应性慢，检测结果 中含有大量的阴影。 由于树叶的摇动

16、在水面或反光物体上产生的突然反光不服从高斯分布，从而在检测结果中出现频繁的闪动。 针对这些问题，融合背景减除法对混合高斯进行改进，在初始建模时采用新的更新算法，能够快速准确地 建立初始背景模型。 融合了背景减除法的改进混合高斯模型 混合高斯模型更新方程：混合高斯模型更新方程： i,ti,t-1 ti,ti,t-1 222 ti,ti,t-1i,t =(1-)+ =(1-)+I =(1-)+(I - ) 融合背景减除法融合背景减除法: t1,t tt C GC B (x,y)=(x,y) 1if I (x,y)-B (x,y) T D = 0else D=D D为改进的混合高斯的检测结果为改进的

17、混合高斯的检测结果 G D Default:T=50，N=200 1/tif,tN = 1/Nelse i i,t 1/Mif,tN = else Mi为每个高斯分布相匹配为每个高斯分布相匹配 的次数的次数 混合高斯及改进算法实验结果（1） 图图1 高速高速 路监控视路监控视 频初始建频初始建 模实验结模实验结 果果 图图2户外户外 停车场监停车场监 控视频初控视频初 始建模实始建模实 验结果验结果 混合高斯建模，混合高斯建模， 由于背景更新速由于背景更新速 率较慢，在初始率较慢，在初始 建模时建模时(第第120帧帧 以前以前)，背景模型，背景模型 不够健全，开始不够健全，开始 时检测的结果残

18、时检测的结果残 缺或漏检。而改缺或漏检。而改 进混合高斯算法进混合高斯算法 在第在第40帧左右建帧左右建 立初始模型，快立初始模型，快 速检测出完整性速检测出完整性 好的运动目标，好的运动目标， 即该改进的方法即该改进的方法 能够快速建立初能够快速建立初 始背景模型。始背景模型。 混合高斯及改进算法实验结果（2） 改进算法有效地抑制反光物体带来的频繁闪改进算法有效地抑制反光物体带来的频繁闪 动，并且检测出的运动目标含较少阴影。动，并且检测出的运动目标含较少阴影。 多模态均值 S.Apewokin等人针对背景建模速度慢，计算和存 贮量大等问题，提出了多模态均值法，利用多个 均值描述背景，建模快，

19、计算量小，存贮空间少， 能在嵌入式系统上实时检测出含少量阴影的运动 目标，但其不适应复杂背景中重复的扰动、前景 与背景的转化等。 1S. Apewokin, B. Valentine, L. Wills, et al. Multimodal Mean Adaptive Backgrounding for Embedded Real-Time Video Surveillance: IEEE Conference on Computer Vision and Pattern RecognitionC, S.l.:s.n.,2007:1-6. 2S. Apewokin, B. Valentine,

20、 D. Forsthoefel, et al. Embedded Real-Time Surveillance Using Multimodal Mean Background ModelingJ. Embedded Computer Vision, 2009:163-175. 多模态均值 运用像素 与M个背景比较，不断更新模型均值，每个背景 包含与之匹配 的RGB各通道值总和 、匹配次数 、在时间轴上相邻两滑动窗口内的匹配次数 和 。其 检测过程包括背景匹配与参数更新、前景检测和背景替换。 t I , , , , i ti R ti G ti B ti ti ti t BSSSCrp , ,

21、 , , i R ti G ti B t SSS , i t C , i t r , i t p 背景匹配与参数更新 为t-1帧第i个背景j通道的均值 。若像素 满足 则与背 景 匹配，用如下更新。 , ,1, ,1,1 / i j ti j ti t SC , , , j t IjRGB, ,1,1 ( |) () j ti j tji tFG j IECT , 1i t B , , ,1, ,1 2 12 b i j ti j tj t b i ti t SSI CC 1,mod0 0, if td b else 其中 , ,1 ,1 , ,1 0,mod0 1,mod0 ,mod0 ,m

22、od0 i t i tti i t i t i tti if tw r rif IBtw rif tw p pif IBtw 匹配 匹配 前景检测与背景替换 前景检测:若无背景与 匹配，则当前像素判为前景。 背景替换:当 为前景时，计算背景在两滑动窗口内匹配次数和 。找出M个背景中满足 的背景构成集合L。L中的模型表明在两滑动窗口中匹配次数较少，不能很好描述背景。若L中有背景，则替 换其中最小 的背景。若L为空，则替换M背景中最小 的背景。 t I t I ,1,1,1i ti ti t Rrp ,1i t Rw M ,1i t C ,1i t C min, ,1,0,0 R tG tB t

23、BIII 实验结果与分析 基于纹理的背景模型 LBP（Local Binary Pattern）是描述图像局部空间结构的非参数纹理算 子，在纹理分类中有较高区分力，对亮度改变不敏感，计算量小等优点。 初始LBP仅通过像素的8邻域得到，为描述大尺度的纹理，Ojala等把其定 义扩展为具有不同半径的圆形邻域。 本文LBP算子如下式。 1 , 0 1,0 (,)()2 , ( ) 0, P n P Rccnc n if x LBPx yS iiS x else 纹理背景模型 背景模型由一组自适应的LBP直方图来描述， 。模型的每个直方图有个权重 ，且所有 权重和为1。 直方图相似性度量 是直方图，N

24、= 纹理模型更新与背景选取 模型更新 如果模型所有直方图相似性都低于 ，则更新权重最低的直方图模型， 赋低的初始权重，如0.01。 如果模型中有直方图相似性大于等于 ，则匹配。选择匹配中最高相似 性的直方图，更新其bins来适应新的数据： 权重更新： 此时 为1，其它为0。 背景选取 模型直方图按权重降序排列，并且选取前B个直方图作为背景直方图： 前景检测 当前像素的直方图与当前的B个背景直方图比较，计算其相似度。如果至少一个背景直方图相似度高于阈 值 ，这个像素为背景。否则为前景。 实验结果 背景减除法 现存问题 关键在于背景模型的建立、保持、更新。主要存在三个问题： 1）背景模型没有充分利

25、用图像中相邻像素点之间的相关性信息。 运动前景中具有的漏检与虚警区域，通常用形态学滤波和判断连通区域大小的 方法来消除孤立的小区域及合并相邻的不连通前景区域。 2）背景模型的更新速度不能和运动目标的运动速度很好地匹配。 如果更新速度比监控场景的变化速度慢，则容易产生虚影（计算虚影区域的光 流场可以消除虚影）。相反，如果背景模型的更新速度太快，也容易出现运动目标的漏 检。为改善检测效果，可使用多个具有不同更新速度的背景模型，或多摄像机从不同角 度对同一场景进行监控，有效利用深度信息。 3）复杂场景中摇动的树叶与运动阴影也被检测为运动前景。 由摇动树叶所产生的运动前景混乱问题（混合高斯背景模型与数

26、学形态学滤波）。 消除阴影对运动目标检测的干扰是非常困难的问题，特别是处理灰度序列图像中的阴影。 算法评价 鲁棒性：在各种环境条件(光照变化、背景扰动)下实现运动目标的完整分割。 准确性：算法应具有较低的漏检、误检(虚警)，并能够得到运动目标尽量完整的信息。 复杂性：在保证算法处理效果的前提下，算法的时空复杂度应尽可能小，以保证算法的实时性与实用性。 通用性：算法对先验信息(色彩、形状、运动和应用场景等)的依赖程度应尽可能低。 定量分析算法准确性 准确率P、查全率R和Jaccard系数 设TP表示正确检测的目标像素数；FP表示将背景像素错检为目标像素的个数，即造成虚警的误检像素数； FN表示将

27、目标像素错检为背景像素的个数，即漏检像素数。 准确率P反映虚警率，值越大虚警率越低；查全率R反映目标分割的完整性，值越大完整性越高。 权衡准 确率和查全率，反映算法综合性能。 , c TPTPTP PRJ TPFPTPFNTPFPFN c J c J 较流行背景减除法实验结果图 Boots WavingTrees OutDetect Boots WavingTrees OutDetect 原图原图 基准基准 图像图像 中值中值 模型模型 时间时间 差分差分 链 码 本 混 合 高 斯 多 模 态 均 值 较流行背景减除法实验结果客观评价 混合高斯、多模态混合高斯、多模态 均值：准确率均值：准确

28、率P、查、查 全率全率R、Jaccard系系 数数Jc较高，检测效较高，检测效 果较好果较好 参考文献 1Dr Alan M.Mclvor. Background Subtraction Techniques: Proc. of Image and Vision Computing C. New Zealand:s.n., 2000. 2裴巧娜 .基于光流法的运动目检测与跟踪技术D, 北方工业大学，2009. 3Berthold K.P. Horn, Brian G. Schunch. Determining Optical FlowJ. Artificial Intelligence, 19

29、81,17:185-203. 4C. Stauffer, W. E. L. Grimson. Learning Patterns of Activity Using Real-Time Tracking: Proc IEEE Trans. on PAMIC. Washinton:IEEE Computer Society,2000,22(8):747-757. 5Kyungnam Kim, Thanarat H.Chalidabhongse, David Harwood, et al. Real-time foreground-background segmentation using cod

30、ebook modelJ. Real-time Imaging, 2005,11(3):172-185. 6Heikkila M, Pietikainen M, Heikkila J. A texture-based method for modeling the background detecting moving objectsJ. IEEE Trans Pattern Analysis and Machine Intelligence, 2006, 28(4): 657-662. 参考文献 7S. Apewokin, B. Valentine, L. Wills, et al. Mul

31、timodal Mean Adaptive Backgrounding for Embedded Real-Time Video Surveillance: IEEE Conference on Computer Vision and Pattern RecognitionC, S.l.:s.n.,2007:1-6. 8王典. 基于混合高斯的背景建模与阴影抑制算法研究D. 西北工业大学, 2006. 9Chris Stauffer, W.E.L Grimson. Adaptive background mixture models for real-time trackingJ.IEEE,19

32、99. 10S. Apewokin, B. Valentine, D. Forsthoefel, et al. Embedded Real- Time Surveillance Using Multimodal Mean Background ModelingJ. Embedded Computer Vision, 2009:163-175. 11Jian Sun, Weiwei Zhang. Background Cut. Computer Vision ECCV 2006. 12Sen-Ching S. Cheung, Chandrika Kamath. Robust techniques

33、 for background subtraction in urban traffic video: Visual Communications and Image Processing on SPIEC. Sethuraman Panchanathan,2004,5308(1):881-892. Real-time foregroundbackground segmentation using codebook model K y u n g n a m K i m 报 告 人 ： 霍 东 海 参考网络资源 Codebook背景建模原理（中文简介） 网址：http:/ 文章出处 K. Ki

34、m, T. H. Chalidabhongse, D. Harwood and L. Davis, Real- time Foreground-Background Segmentation using Codebook Model, Real-time Imaging, Volume 11, Issue 3, Pages 167-256, June 2005. 相关文献 Wren CR, Azarbayejani A, Darrell T, Pentland A. Pfi nder: real-time tracking of the human body . IEEE Transactio

35、ns on Pattern Analysis and Machine Intelligence 1997; 19(7):7805. Horprasert T, Harwood D, Davis L S. A statistical approach for real-time robust background subtraction and shadow detection. IEEE Frame-Rate Applications Workshop,Kerkyra,Greece;1999. Stauffer C, Grims on WEL. Adaptive background mixt

36、ure models for real-time tracking. IEEE International Conference on Computer Vision and Pattern Recognition 1999; 2:24652. 摘要 我们提出一种实时的前景背景分割算法。在一个长时间序列的样本训练集 中，每一个像素的背景像素值都被放入到一个称为codebook的压缩的背 景模型中，这样可以允许我们建立一个结构化的背景模型，从而可以适应 在有限内存下的以准周期运动的变化场景的背景。这个codebook背景模 型在内存和速度上都比其他的背景建模技术更有优势。我们的方法可以处 理场景

37、中包含运动背景和全局光照变化的情况，对不同类型的视频有点非 常鲁棒的检测效果。 在基本模型的基础上，我们提出了两种改进算法，一是多层codebook背 景建模，令一种是自适应的codebook背景建模。 为了可以评估算法性能，我们应用误检率(Perturbation Detection Rate)分析来比较了两段视频在4种背景建模方法下的性能。 5W理论 Who （谁） Says What （说了什么） In Which Channal （通过什么渠道） To Whom （向谁说） With What Effect （有什么效果） Outline To Whom (What Problem)：

38、 BGS (foreground-background segmentation) Who：Kim K ，CV Lab ， UMD Why： 提出codebook的假设和原因，主要包括光照实验 What： codebook是什么，包括模型、算法、过程； What effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在 Codebook背景建模算法的改进与发展 Outline To Whom (What Problem)： BGS (foreground-background segmentation) Who：Kim K ，CV Lab ， UMD Why： 提

39、出codebook的假设和原因，主要包括光照实验 What： codebook是什么，包括模型、算法、过程； What effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在 Codebook背景建模算法的改进与发展 BGS 前景提取 -= 视频 序列背 景 运 动 前 景 What we are looking for! 背景建模前景检测运动跟踪 Outline To Whom (What Problem)： BGS (foreground-background segmentation) Who：Kim K ，CV Lab ， UMD Why： 提出code

40、book的假设和原因，主要包括光照实验 What： codebook是什么，包括模型、算法、过程； What effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在 Codebook背景建模算法的改进与发展 Who 第一作者：Kyungnam Kim(韩国) 个人主页：/knkim/ 单位：Computer Vision Lab, Department of Computer Science, University of Maryland, College Park, MD 20742, USA 简历： Ph. D

41、 UMD, College Park, Computer Vision Laboratory, 2005 M.Sc, Information and Communication, K wanju Institute of Science and Technology (K-JIST), 1999 B. Eng Pusan National University , 1997 研究方向： multi-camera / multi-hypothesis / multi-target segmentation and tracking background subtraction visual su

42、rveillance human detection/tracking activity analysis, image/video quality measurement 期刊：1，会议：17，专利：1（韩国） Outline To Whom (What Problem)： BGS (foreground-background segmentation) Who：Kim K ，CV Lab ， UMD Why： 提出codebook的假设和原因，主要包括光照实验 What： codebook是什么，包括模型、算法、过程； What effect：real-time，背景多模态，全局光照变化，

43、训练阶段允许少量前景的存在 Codebook背景建模算法的改进与发展 Why Outline To Whom (What Problem)： BGS (foreground-background segmentation) Who：Kim K ，CV Lab ， UMD Why： 提出codebook的假设和原因，主要包括光照实验 What： codebook是什么，包括模型、算法、过程； What effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在 Codebook背景建模算法的改进与发展 Model Model Model AlgorithmBG Mod

44、eling 均 值 AlgorithmBG Modeling colordist(xt,vm)； AlgorithmBG Modeling brightness(I,(Ihigh,Ilow)； AlgorithmBG Refinement AlgorithmFG subtraction 这里加入其他前景 检测的方法配合使 用 Outline To Whom (What Problem)： BGS (foreground-background segmentation) Who：Kim K ，CV Lab ， UMD Why： 提出codebook的假设和原因，主要包括光照实验 What： co

45、debook是什么，包括模型、算法、过程； What effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在 Codebook背景建模算法的改进与发展 What effect 对压缩视频的处理方面 What effect 多模态背景的检测情况 What effect 非干净背景训练 What effect 长时间的背景视频序列 MOGKernelCB 内存需 求 200byte s 900byte s 112byte s Outline To Whom (What Problem)： BGS (foreground-background segmentation

46、) Who：Kim K ，CV Lab ， UMD Why： 提出codebook的假设和原因，主要包括光照实验 What： codebook是什么，包括模型、算法、过程； What effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在 Codebook背景建模算法的改进与发展 改进与发展 作者自己的改进 多层codebook建模 在系统运行过程中背景可能会发生变动，比如背景中放进去了一辆汽车就不再移动等情况 自适应性的背景更新 全局光照变化的情况，比如室外环境中天空中突然飘过一片云遮挡了太阳，这时候全局光照 就会变暗，导致图像像素值减小 多层codebook

47、建模 Hcache Th Tadd Tdelete 符合永久模型符合永久模型 的背景的背景 符合非永久模 型的背景 符合缓存的前 景 什么都不符合什么都不符合 的前景的前景 多层codebook建模 自适应性的背景更新 Learning rate 质心的更新 投影的更新？ 自适应性的背景更新 改进与发展 其他人的改进 Real-time Background Modeling/Subtraction using Two-Layer Codebook Model 与作者的两层改进模型有些许区别 基于LBP(Local Binary Patterns)的codebook改进算法 补充局部纹理模型到

48、codebook建模中 Real Time Foreground-Background Segmentation Using a Modifi ed Codebook Model 修改了算法参数方面的东西 改进与发展 Box-based Codebook Model for Real-time Objects Detection 背景模型简化为Box Spatio-temporal context for codebook-based dynamic background subtraction 添加了时空上下文到算法中 Gaussian-Based Codebook Model for Vi

49、deo Background Subtraction 结合高斯模型到codebook中 “Hybrid Cone-Cylinder” Codebook Model for Foreground Detection with Shadow and Highlight Suppression 将背景假设为圆锥圆柱混合模型 Two-Layer Codebook Model Real-time Background Modeling/Subtraction using Two-Layer Codebook Model . Author: Mohamod Hoseyn Sigari. Iran. 修改：

50、 输入图片序列为灰度图像，原始codebook使用的是RGB空间图像 原始codebook算法，亮度的上下限作者进行了放大和限制（即引入了alpha和 beta用来解决highlight和shade的问题），本文作者是将亮度的上下限修改为统 计量最大亮度和最小亮度 在判断codeword是否匹配的地方，原始codebook基于两个条件colordist(xt,vm) 和brightness(I,(Ihigh,Ilow)，本文作者修改为一个函数brightness(I,(Ihigh,Ilow)， 即只判断亮度是否落在上下限范围内 Two-Layer Codebook Model LBP Laye

51、red Video Background Model and Object Detect ion Based on Local Binary Pattern and Codebook / Layered Video Objects Detection Based on LBP and Codebook （重庆邮电大学 ） 局部二值模式的纹理信息进行第一层分块背景建模 在第一层上选取代表点进行第二层码本背景建模 利用局部纹理模型很好的消除了阴影 Segmentation of Moving Foreground Objects using Codebook and Local Binary Pa

52、tterns （北京交通大学 ） 前景检测中加入了单高斯判断和LBP判断 三种算法的结合 LBP（重庆邮电大学 ） LBP（重庆邮电大学 ） LBP（北京交通大学 ） Modifi ed Codebook Model Real Time Foreground-Background Segmentation Using a Modifi ed Codebook Model Atif Ilyas, Mihaela Scuturici, Serge Miguet . 里昂大学 改进： 只有最大负运行长度小于某一阈值和codeword的访问频率大于某一阈值的像素才能进入到匹配阶段 在缓存中的背景模型中

53、的codeword不仅要达到待够一定长的时间的限制，而且还要访问的频率也大 于某一预设的阈值才能加入到背景模型中去 Modifi ed Codebook Model Box-based Codebook Box-based Codebook Model for Real-time Objects Detection 华中科技大学 修改 HSV空间 Box-based Spatio-temporal context codebook Spatio-temporal context for codebook-based dynamic background subtraction 中科院成都光电所

54、 两种修改 加入空间上下文 在加入空间因素的基础上也加入了时间的因素 Spatio-temporal context codebook Gaussian-Based Codebook Gaussian-Based Codebook Model for Video Background Subtraction 清华大学 修改 在codebook算法中加入了高斯分布因素，利用一下公式判断codeword是否匹配的问题 Gaussian-Based Codebook “Hybrid Cone-Cylinder” Codebook “Hybrid Cone-Cylinder” Codebook Mod

55、el for Foreground Detection with Shadow and Highlight Suppression University of California, San Diego CVRR Laboratory 修改 HSV空间 圆柱圆锥混合(Hybrid Cone-Cylinder)模型 “Hybrid Cone-Cylinder” Codebook 总结 对codebook的参数、程序策略的改进；（Modifi ed Codebook Model / LTwo-Layer Codebook Model） 对codebook模型本身的改进；（“Hybrid Cone-

56、Cylinder” Codebook / Box-based Codebook） 与其他背景建模方法的结合使用；（Gaussian-Based Codebook / LBP） 对codebook在像素级上的扩展。（Spatio-temporal context codebook） ViBe: A Universal Background Subtraction Algorithm for Video Sequences； ViBe+：Improvement for ViBe 庄伟源 outline 1) INTRODUCTION 2) REVIEW OF BACKGROUND SUBTRACT

57、ION ALGORITHMS 3) DESCRIPTION OF VIBE a. classification b. Initialization c. update 4) EXPERIMENTAL RESULTS 5) THE IMPROVEMENT OF VIBE:VIBE+ 1）INTRODUCTION Goal: 自动检测，分割并且跟踪视频中的目标； Concept： 通过用现在的图像去对比已知的观察图像（背景图像），该 观察图像不含有任何感兴趣的对象，是背景模型(或背景图 像)。这个对比过程被称为前景检测。 Problem Characteristics: Ghost ineffec

58、tive for most practical situations(fast illumination changes; motion changes ;high frequency background objects ;changes in the background geometry) 2）REVIEW OF OTHER ALGORITHMS StrategiesDisadvantage 像素点之间相互独立像素点扰动错误分类 背景像素点周围的块在一定时间内具有相似 的变化 1周边像素属于其它物体 2N*N的Block就是一个N平方元 素的向量问题 principal componen

59、t analysis（PCA） 缺乏随时间更新的机制 -motion detection filter: 可用背景图像的一个简单的非线性递归近似值组成- 运动检测滤波器。该滤波器是基于对比和元素增/减量 的（通常-1、0、1是仅有的更新值）。故-运动检 测滤波器适用于很多嵌入式这样缺乏浮点运算单元的系 统。 简单，速度快，但是不适合对复杂环境的检测 GMM： 建模方法是记录每个像素点在不同时间的值，这些值组 成了混合高斯模型的权重。这种背景像素模型能处理实 际场所中遇到的多模的自然场景，在重复的运动背景情 况下，如：树叶树枝等，处理的结果很好。 Disadvantage：1）计算代价较大 2）

60、如果背景高低频变化频繁，算法的敏感度不能精确 调节，模型不能与目标相适应，故高频目标可能损失 3)要注意到自然图像很多其实并非是高斯模型 Codebook algorithm: 像素表现为codebook，它是由一个长的图像序列的背 景模型的压缩形式。每个codebook由codeword组成， codeword包含了创新的颜色变换矩阵所表示的颜色变 换。 Disadvantage :其更新机制并不允许创建一个新的电 报密码本，这在背景的不变结构部分发生变化时可能出 问题（如：室外场景中的免费停车场）。 3）DESCRIPTION OF VIBE Three considerations: 1