基于阴影消除和混合高斯模型的视频分割算法

1、第35卷第3期 光电工程 Vol.35, No.3 2008年3月 Opto-Electronic Engineering March, 2008 文章编号：1003-501X(2008)03-0021-05基于阴影消除和混合高斯模型的视频分割算法王 勇，谭毅华，田金文( 华中科技大学图像所，多谱信息处理技术国防重点实验室，武汉 430074 )摘要：针对固定场景监控中复杂背景、光照变化、阴影等影响视频分割的问题，提出了一种有效的混合高斯模型的自适应背景更新算法，各像素点根据其像素值出现的混乱程度采取不同个数的高斯分布描述，通过对背景模型的学习与更新、高斯分布生成准则等方面的改进和优化，采用基

2、于形态学重构的阴影消除方法使得前景目标分割的性能得到了有效地提高。文中同时给出了光照突变检测及其背景更新方法。通过对各种实际场景的实验仿真表明，该算法能够快速准确地建立背景模型，准确分割前景目标，与其它算法比较具有更强的鲁棒性。关键词：视频分割；背景建模；混合高斯模型；阴影消除中图分类号：TN911.73 文献标志码：AVideo Segmentation Algorithm with GaussianMixture Model and Shadow Removal WANG Yong，TAN Yi-hua，TIAN Jin-wen( State Key Laboratory for Mult

3、i-spectrum Information Processing, Institute for Pattern Recognition and ArtificialIntelligence, Huazhong University of Science and Technology, Wuhan 430074, China )Abstract：Background subtraction based on Gaussian Mixture Model (GMM) is a common method for real-time video segmentation of moving obj

4、ects. An effective adaptive background updating method based on GMM is presented. The number of mixture components of GMM is estimated according to the frequency of pixel value changes, and the performance of GMM can be effectively improved with the modified background learning and update new distri

5、bution generation rule and shadow removal based on morphological reconstruction. The detection of sudden illumination change and background updating are also proposed. Compared with existing approaches, experimental results with different real scenes demonstrate the robustness of the proposed method

6、.Key words：video segmentation; background modeling; mixture Gaussians model; shadow removal1 引 言在背景减除的实时视频监控及运动目标检测与跟踪领域中经常采用混合高斯方法为背景建模。混合高斯背景模型是一些高斯函数的加权和，能够描述像素的双峰或多峰状态，能够对比较复杂、光照缓慢变化和存在小幅度重复运动的背景(喷泉、摇动的树木、雨雪天气等情况)准确建模。前期的研究者通常采用EM算法估计混合高斯模型参数，但由于EM算法固有的缺陷1限制了其应用，目前GMM基本采用在线K均值估计的统计建模方法。文献2中背景模型的

7、学习与更新都采用一个小的常量，虽能保证背景模型的稳定性，但影响了高斯成分的收敛速度，对于动态背景的适应能力较差。文献3对学习率因子做了改进，将它与时间建立联系，使学习算法具有了自适应性，提高了收敛速度。文献4结合EM算法推导了基于最大后验概率准则的高斯模型参数迭代公式，该算法虽具有较好的适应性和分割效果，缺点是计算复杂并且选取合适的参数比较困难。采用背景减除得到的前景目标通常包含运动阴影，且与物体轮廓相连。如果不进收稿日期：2007-04-23；收到修改稿日期：2008-01-20作者简介：王勇(1980-)，男(汉族)，湖北仙桃人，博士生，主要研究工作是模式识别与智能系统。E-mail: w

8、y11270822 光电工程 第35卷第3期 行阴影抑制，会使分割得到的物体变形，甚至使物体通过阴影合并产生欠分割问题，从而影响进一步的分析。文献5在HSV颜色空间中, 根据阴影使背景变暗、背景在被阴影覆盖前后的亮度比值成近似线性、阴影不会使背景像素的色度有很大改变的特点，进行阴影抑制。文献6采用归一化颜色分量结合亮度信息进行阴影检测与抑制，文献7对多种阴影检测抑制算法进行了全面的分类比较。然而，基于以上方法在去除阴影的同时损失了那些比阴影更暗或者与阴影具有相似特性的前景点，导致目标出现破碎和空洞。本文提出了一种有效的混合高斯模型的自适应背景更新算法，通过对背景模型的学习与更新、高斯分布生成准

9、则等方面的改进和优化，采用基于形态学重构的阴影消除方法使得前景目标分割的性能得到了有效地提高。2 混合高斯模型在RGB色彩空间对每一像素点进行混合高斯建模，混合高斯模型使用K个高斯模型来表征图像中各个像素点的特征。设用来描述每个点颜色分布的K个高斯分布分别具有不同的权值i,t(i,t=1, i=1,2,K)，它们总是按照优先级(/)从高到低的次序排序。取定适当的背景权值部分和阈值T，只有在此阈值之内的前若干个分布才被认为是背景分布，其它则是前景分布。设xt为t时刻的某一像素值，其概率密度函数能写成K个高斯分布的线性组合：P(xt)=i=1Ki,t(2)d/2|Covi,t|1/2×e

10、1(xtµi,t)Tt(xtµi,t)i,1 (1)其中：i,t、µi,t 和Covi,t分别为在t时刻第i个高斯分布的权值、均值和协方差矩阵。从计算角度考虑，协方差矩阵经常记为Covi,t=i2I (2)K个高斯分布按/降序排列，仅仅取前面的B个高斯分布表示背景分布，即B=argminb(i=1i,t>T) (3)其中T为背景阈值。 b3 基于GMM 的视频分割算法3.1 参数初始化与已有GMM不同的是，图像各像素点不采用固定个数的高斯分布描述，而是根据各点像素值出现的混乱程度采取不同个数的高斯分布，一部分变化很小或是保持静态的像素只需一个高斯分布就可描述

11、，其他变化较大的非静态点可根据实际情况用多个高斯分布表示。这样可以提高计算效率，保证算法的实时性。算法设定描述每个像素点的最大高斯分布个数为Kmax=4。首先初始化背景模型，每个像素点高斯模型个数初始设定为K=1，第一帧各点像素值用来初始化高斯分布均值µK,0，标准方差取相对较大的值(K,0=20)，混合高斯权重为1/ Kmax。3.2 背景模型的学习与更新在检测前景点时，按照优先级次序/从大到小将xt与各高斯分布逐一匹配，若没有表示背景模型的高斯分布与xt匹配，则判定该点为前景点，否则为背景点。若检测时没有找到任何高斯分布与xt匹配，则按照新高斯分布生成准则进行相应处理。具体实现如

12、下：1) 匹配准则已存在的K个高斯分布参数按优先级与当前像素值xt进行逐一匹配检测，即判别是否满足，式中是一个阈值常量。这样做基于两点考虑：一是背景像素值不一 |µi,txt|max(2i,t,)（i=1,2,K）定严格满足理想的高斯分布，这样给判决留出了一定的裕量；二是为防止背景静止时某一高斯分布由于长期满足匹配条件，该分布的方差持续减小，当方差很小时该高斯分布概率密度非常陡峭，很容易出现因噪声的影响导致当前像素不再满足此分布，从而被误判为前景。通过各种室内、外场景序列的实验发现不易2008年3月 王 勇 等：基于阴影消除和混合高斯模型的视频分割算法 23过小，取=5基本可满足要求

13、。2) 背景学习与更新背景学习与更新采用相同的迭代等式同时进行。用当前观测值与已存在的第i个高斯模型匹配，如果成功则按下式更新匹配的第i个高斯模型分布参数：µi,t+1=(1i)µi,t+ixt222 (4) =+(1)(µx)ii,tii,tti,t+1其中：i=e更新： (xtµi,t)2/2i2,t。对于没有匹配成功的高斯分布，其µ、保持不变。K个高斯分布的权重按下式i,t+1=(1i)i,t+iMi,t (5)式(5)中i=e(xtµi,t)2/2i2,t，其中对于匹配的高斯成分Mi,t=1，其他不匹配的K-1个成分Mi,t=

14、0。在更新完高 斯分布的参数和各分布权值后，还要对各个分布重新计算优先级和排序，并确定背景分布的数目。从式(4)-(5)可以看出，决定高斯成分权重的更新速度，确定各个在背景中的优先级，越小，背景成分越稳定；决定背景的更新速度，越大，背景成分收敛速度越快。实验中发现取较小的值，取一个相对较大的值，可以较好地在提高收敛速率的同时保持背景模型的稳定性。3) 新高斯分布生成准则如果已存在的K个高斯分布与当前像素都不匹配，且满足K<Kmax，则K=K+1，一个新的高斯分布将产生并且直接加入到背景模型中，它的均值用当前像素值来初始化，标准差和权重分别设置为20、1/Kmax。但如果高斯分布个数已到达

15、上限，即K=Kmax，这时我们采用不同于文献2中的处理方法，一个以当前像素值为均值，标准差和权重分别设置为20、0.01的新高斯分布将产生，但这个新的分布不会马上替换掉原有Kmax个高斯分布中权重最小的一个，而是当这个新的成分的权重大于某一阈值(T=max(i,t), i=1,2, Kmax)后才代替原有的权重最小的分布。在替换之前的这段时间里，这个新分布的均值与方差也将按式(4)进行更新，而权重按照式(5)进行迭代更新，但不同之处在于此时式(5)中Mi,t恒设置为1，而i将用如下sigmoid函数替换：i=1/(1+e0.1(Termc) (6)其中：常数Term用来控制前景像素保持静止后被

16、融入为背景的时间，变量c用来计数，计算观测值与新的高斯分布匹配的次数。当新分布权重更新增大到阈值T时，则将以迭代更新的均值、方差和权重为参数的高斯分布代替原有成分中权重最小的一个。这个较大的权重T可以保证新加入的分布能够成为稳定的背景成分。最后，当新高斯成分成为背景模型后，计数参数c清零，并对新的K个权值重新进行规一化。3.3 光照突变检测和像素点的自动更新实验表明，光照的突变(如开、关灯)将引起场景中几乎所有像素点亮度值发生较大改变。如果仍然按照前面得到的混合高斯分布对单个像素分别处理，大面积背景点就会被误判为前景。为避免此种情况，我们的方法是，统计当前帧中像素值变化较大的像素点个数，若像素

17、个数大于整幅图像像素个数的60%，则对整幅图像所有的像素优先级最大的高斯分布的参数同时进行替换，用当前帧图像像素值代替均值，权重取较大的值(max(t, i)以保证新的分布成为稳定的背景成分，标准差取为20。上述方法能较好地解决了光照的突变问题，实现背景的及时更新，同时也实现了新的光照条件下前景目标的分割。4 阴影的检测与消除HSV颜色空间中H表示色度，S表示饱和度，V表示亮度，反映了人的视觉系统感知色彩的方式，比RGB颜色空间能更准确地检测出阴影。我们采用HSV色彩空间的非模型判决方法8实现阴影检测。其理论依据是，阴影处的亮度与饱和度较背景暗，而色彩基本保持不变。由如下决策公式，判断像素点是

18、否为阴影：24 光电工程 第35卷第3期IV(x,y)S(IS(x,y)BS(x,y)S1, SVB(x,y) (7) IH(x,y)BH(x,y)HSshadow(x,y)= 0, others其中：IH(x, y)、IS(x，y)、IV(x，y) 与BH(x，y)、BS(x，y)、BV(x，y) 分别表示 (x, y) 处像素值I(x，y)与背景像素值的H、S、V分量。参数0<S<S<1，S取值要考虑阴影的强度，背景上投射的阴影越强，S越小；S用来增强对噪声的鲁棒性。参数S、H 的选取则主要凭经验调试。算法中S=0.4，S=1，S=0，H=50。按上述方法对背景混合高斯建

19、模，对新来的各像素点按背景分布进行匹配判别，得到分割前景目标后的二值图像模板Morg。对Morg进行3×3形态学开运算去除孤立噪声点，结果记为Ms。Morg经去阴影处理后，得到的仅包含前景点的二值图像记为M。由于去阴影过程将前景中比阴影更暗或与阴影有相似特性的某些像素点误判为阴影去除掉，导致部分前景像素的丢失。为尽可能保留更多的前景目标，可采取基于形态学目标重构9的处理方法：F=MS(MSE) (8)其中：F是经前景分割、阴影去除和目标重构后最终的分割结果，SE为结构元素，其尺寸依赖于目标的大小，试验表明，7×7的结构元素可以达到较好的效果。5 实验结果与结论为兼顾算法收敛

20、速度和背景模型的稳定性，、分别取较小和相对较大的值0.005、0.2；为使得前景像素保持静止后被融入为背景的时间适中，Term取100左右比较合适；背景阈值T取0.4可较好确定背景模型。上述选定的阈值和参数能适用于光照不同、背景复杂程度不同的各类室内、外场景。为了验证文中算法的有效性，分别对标准序列(160×120)和自拍序列(320×240)进行了测试并与文献2中的算法作了比较。图1(a)(d)为标准序列原图，(e)(h)是采用文献2中算法对各序列的分割结果，(i)(l)是文中所述算法对各序列的分割结果。对于图1(a)Waving Trees序列而言，(e)中错误分割比较

21、严重，相当一部分摇动的树枝被判为前景，而(i)分割的效果显然要好得多。图1(b)、(c)和(d)分别对应Light Switch序列正常光照、关灯和再次开灯的情况，比较(f)、(j)可知，我们的算法分割目标更完整，并且很好地解决了显示屏闪烁的问题。值得注意的是，由于本文算法考虑了光照突变的情况，所以即使出现随机、反复的开、关灯的情形，也能比较准确的进行前景分割，分割结果如图1(k)、(l)所示。相反，一般方法不能正确处理光照突变，如图1(g)、(h)所示，当开、关灯后出现大面积被误判成前景的白点和虚影，检测效果很不理想。(a) (b) (c)(d)(e)(f) (g) (h) (i)(j)(k

22、)(l)图1 标准序列及其分割结果Fig.1 Standard sequences and segmentation results图2(a)(c)是自拍的室内、外场景，(d)(f)是文献2中算法的分割结果，(g)(i)是本文所述算法的分割 结果，再经式(7)、(8)去除阴影后的最终结果如(j)(l)所示。对比两种算法的分割结果可以看出本文算法分2008年3月 王 勇 等：基于阴影消除和混合高斯模型的视频分割算法 25割效果更优。从图2(j)(l)可以看出，基于形态学重构的阴影消除方法可以比较干净的去除阴影，前景目标基本上没有损失。从算法效率上比较，在用图2视频序列测试时，文献2中算法的平均视

23、频处理速度为156.1ms/帧，而本文方法的视频处理速度可达为102.8ms/帧，单帧处理时间减少了50%左右。表1对图2中3种视频序列的计算时间作了比较(运行条件VC+6.0，P4 3.06G CPU，512M Memory)。(a) (b) (c)(d)(e) (f)(g) (h)(k)(l)本文提出了一种新的基于GMM的视频分割算法，对背景模型的学习与更新、高斯分布生成准则的改进和优化，兼顾了背景稳定性与模型收敛速度。考虑了亮度突变的情况，实现背景的及时更新。采用了基于形态学重构的阴影消除方法，在有效去除阴影的同时最大程度地保留了前景目标。对各种实际场景序列的实验分析表明，该算法有效地提

24、高前景目标分割的性能，具有更强的适应性。 参考文献：1 Zivkovic Z，van der Heijden F. Recursive unsupervised learning of finite mixture modelsJ. IEEE Trans. on PAMI，2004，26(5)：651656.2 Stauffer C，Grimson W. Adaptive background mixture models for real-time trackingJ. Proc. of IEEE Int. Conf. on CVPR，1999，2：246-252.3 Dar-shyang Lee. Effective Gaussian mixture learning for video background subtractionJ. IEEE Trans. on PAMI，2005，27(5)：827-832.4 Cheng J. Flexible background mixture m