复杂环境下前景目标检测

1、 视频中复杂环境下的前景目标检测李丽媛黄伟民IreneY.H.GuQiTian通信研究院信号与系统学院通信研究院摘要：本文提出了一个新颖的方法用以检测和分割一个视频的前景目标，该视频既包含固定和移动背景目标，而且还经历经过循序渐进和突如其来的“一次性”的变化。制定了一个贝叶斯决策规则从选定的特征向量中为前景和背景分类。根据这一规则，通过选择一个适当的特征向量，不同种类的背景目标从前景目标中分离出来。静止的背景对象用颜色特征来表述，运动的背景对象则用颜色公升功能来描述。前景对象的提取是通过融合静止和运动像素的分类结果。循序渐进和突如其来的一次性的背景变化的学习策略，是为了适应视频中背景的各种的改

2、变而提出来的。学习过程的收敛性得到证明，也得出一个公式来选择合适的学习速度。在许多复杂的背景中提取前景目标的实验已经的到满意的效果，其中复杂的背景包括摇摆的树枝、闪烁的屏幕、水面、移动的自动扶梯、开门和关门，开灯关灯和移动物体的阴影等。分类和主题描述1.4图像处理和计算机视觉：分割像素分类概述算法视频处理、背景建模、前景分割、视频监控、贝叶斯模型、颜色同现（共生）引言对一个视频流进行前景目标的检测和分割是视频处理、理解和基于对象的视频编码（例如：MPEG4）的基本任务之一，从图像序列中提取前景背景的一个常用方法是通过背景抑制或背景减法和它的变体3,11,12.当从固定式摄影机获取视频时，这些技

3、术已经被广泛的用于实时视频处理中。然而，这项任务就变得很困难当背景中包含阴影和移动对象时，例如：摇摆的树枝、移动的自动扶梯和经历不同的变化，如光照变化和移动对象。已经提出许多方法用于从视频序列中的实时前景目标检测。然而这些方法中的大多数都是在假设的前提下提出来的，这其中假设背景中是由颜色或者强度随着时间推移改变的静止对象组成的。最简单的方法是通过实时视频用一个无限脉冲响应（IIR）或者一个卡尔曼滤波器5,6平滑背景像素的颜色。一个更好的方法来容忍视频中的背景变化是采用一个高斯函数-描述属于一个稳定的背景目标中的每个像素的颜色分布，高斯模型的参数递归更新，以跟踪视频中的逐渐变化的背景。最近，适用

4、于各种背景情况下的其他几种方法已经被提出。其中，混合高斯模型11，9被认为是一种有前途的方法。在混合高斯模型中，来自一个背景目标的像素的颜色由多个高斯分布描述。良好的前景目标检测结果通过将MOG应用到室外场景得到报道，拥有两个以上高斯函数的MOG可以降低前景目标检测1,2的性能。3中的背景变化模型是一个广义的高斯模型。在12中，Toyama等人采用线性威纳滤波器学习和预测视频中每一个背景像素中的颜色变化，线性预测值可以模拟固定和移动的背景目标。这种方法的缺点是很难模拟非周期性的背景变化。这些方法可以用于含各种背景变化的实时视频，然后，他们仍然很难处理运动背景目标的一系列变化，例如：移动的背景对

5、象和不同的阴影。从运动的背景目标中分离前景目标的另一种方法是早短时间内利用光流的一致性13,4。据报道，这些方法可以检测包含非平稳植被的户外场景的前景目标。这种技术的难点是在较少纹理特征的区域和图像边界的不连续处13计算光流场是一个不适定问题。在我们以前的研究7中，一种方法已经被提出，它采用颜色共生描述运动的背景。初步研究结果表明，与采用之前的方法相比，特征能够更有效的模拟背景中的动态部分。然而，他不能从视频中突如其来的一次性环境变化中恢复背景。因此，一个通用背景模型,可以把不同的功能结合起来以满足复杂的环境需求。在本文中，我们提出了一种新颖的方法，在贝叶斯决策规则的框架下，从一个复杂的实时视

6、频中提取前景目标。阐述了从一班特征向量中为前景和背景分类的贝叶斯决策规则。同时，建立一个有效的学习和维护不同的特征向量的统计信息的数据结构。在此基础上，两种特征类型被用于模拟包含固定和移动物体的复杂背景。统计数据中最重要的颜色用来描述背景中的静止部分，与最重要的颜色共生的颜色描述背景中的移动目标。前景目标是通过融合对静止点和运动点的检测结果提取的.与此同时，提出了用于循序渐进和一次性背景变化的学习策略。与我们之前在7中的研究相比，介绍了几种新的扩展。首先，贝叶斯决策规则已经扩展到一般特征.在此框架下，可以集成多个特性对背景和前景分类。因此，该方法不仅可以模拟运动的背景对象，还可以应对突然地“一

7、次性”变化和固定背景下的多种状态。其次，给出了学习过程收敛性的数学证明。最后，记录了复杂情况下的广泛的实验和一些定量评估的报告。测试了许多包含复杂背景目标的视频，而就我们的知识而言，在这项工作之前,现有方法还不能在这样复杂的情况下完成测试。o论文的其他部分组织如下：在第2节中，我们首先给出一个视频中背景场景和背景变化的一个说名；然后，我们利用基于贝叶斯理论的一个一般特征向量制定背景和前景的分类问题。建立一个学习和维护不同背景的特征向量的统计信息的数据结构，它还描述了如何为一个复杂的背景选择特性。第3节描述了基于背景建模和贝叶斯分类的前景目标分割算法，它包含四部分：变化检测、背景和前景分类、前景

8、目标分割和背景学习和维持。在各种复杂视频上的实验结果和定量评价在第4节中呈现，本文在的结论在第5节。2背景和前景的贝叶斯分类问题说明用于视频处理的一般目的，背景通常被认为是场景中存在的人们不感兴趣的对象，如人物对象和行驶中的车辆。背景通常由场景中保持被动的非生命对象组成。在一个关于一般环境的视频中，背景可以同时包括固定和移动的对象。静止的背景目标可以是室内场景中的墙壁、门、家具和室外场景中的建筑物、植被和地面。运动的背景目标可以使摇曳的树枝、闪烁的水面、电脑屏幕、摆动的窗帘、运行的自动扶梯和其他的许多。与此同时，随着时间的变化，背景可能会发生两种类型的变化，一种是由自然光照变化引起的渐进变化，

9、比如，从白天到黑夜光照的变化；另一种是突然“一次性”的转变。这种全局的一次性变化可能是由开/关一些灯、一个摄像机视角的变化、或者局部的一次性变化引起；也可能由删除或者沉积背景目标引起的，例如：移动椅子到一个不同的位置。除此之外，前景目标可能转化为一个背景目标，如汽车进入停车场。在某些情况下，一个背景像素可能有多种状态，如晴天和阴天的场景。因此，对于一个复杂的环境，背景的不同部分应该用不同类型的特性来描述。然而，几乎所有现有的方法都只是用了一种特性，如颜色或光流来，模拟背景中的静态和动态部分。在本文中，我们提出了一种通用的贝叶斯框架，它可以集成多种特性用于前景目标检测中的背景建模。分类规则的制定

10、对一种类型的背景目标，存在一个重要的特性可以被用来有效地从前景目标出分离处背景。设V是一个离散值特征向量，从图像序列中像素点S=(x,y),时间t提取。利用贝叶斯准则，于是出现了在背景b或者前景f的后验概率Vt的结果是使用贝叶斯决策规则，如果特征向量满足J?(b|vtrs)该像素就被分类为背景。与可能来自背景或者前景目标的像素S的特征向量无关。它的结果是P&b)=译)-9闾+P他比町P(fk).将(1)和(3)代入(2)，得到2P(b.s)-P(bs)尸他|吕)(4)这表明通过事先学习一个先验概率Jh、，概率八.、.：和条件概率我们可以把特性W分为与前景相关或者与背景相关。特征统计的表示一般情

11、况下，(4)中的Vf和厂V,这种数学形式是未知的。他们可以用整个特征空间的特征向量直方图表示。对于一个拥有L个量化级别的n维特征向量,，%；或者/iVj0,.的联合直方图包含丿箱，如果L和N很大，无论是计算还是存储，联合直方图的操作都很昂贵。因此需要一个令人比较满意的的近似。背景被认为是包含经常在场景中的同一个地方的非生命对象,而人们感兴趣的目标经常在场景中移动。因此，如果选定的特性能够有效的代表背景，在像素点S,背景中的特征向量将会集中在特征直方图中的一个很小的字空间；而前景目标的特征向量将在特征空间广泛的分布。这意味着，一个好的特征选择，通过使用直方图中少量的箱数就可以覆盖很大百分比（例如

12、：超过90%）的与背景相关的特征向量。与此同时，前景目标的特征向量也将在这几个箱中分布。根据了工仝厂-胚land二P（；对Ahi=L=1当然，Nl的值也依赖于所选择的特性和所使用特性的量变的数量。对于每个类型的特征向量（不管来自前景还是背景），一个被定义为；L的特征统计表，保持在像素点s和时间t从而记录统计N2最要的值。表中的每个元素由三部分组成,例如，忧=P（v：技）血川=成：=班陆町Ivtrtlr*_此广在此列表中的元素根据汇的降序序列排列，与此同时，卩严二Pb也维持在每个时间t以便适应不同时间间隔内场景中的频繁变化。列表中形成了特征向量的直方图的最显著的部分。对许多视频处理的应用程序来说

13、，在一个像素点背景曝光的持续时间要远远长于被前景目标覆盖的时间。列表中前上I个元素已经足够覆盖背景中大部分的特征向量。因此，表中前X个元素连同匕一起被用于背景和前景变化的分类。在表中前上I个元素当中，存在川亠上:用于背景特征，否则，如果心，二，列表中从到N2的元素被用作一个缓冲区，学习通过背景更新得到的新的显著特征。N1和N2的值是凭经验选取的，对于背景中稳定的特性，小值已经足够，而对于变化的特性，需要稍微大点的数值。特征向量的选择当一个像素与一个稳定的背景目标相关时，它的颜色自然地被选择为特征向量，例如，（1）到（6）中的厂被替换为G二沁）。当一个像素与一个移动的背景目标相关时，像素帧间变化

14、出现共生的颜色，被选作特征向量，例如，（1）到（6）中的被替换为2-I口丨6丨：。颜色共生的选择基于以下的观察。对于一个移动的背景目标，即使来自一个像素的颜色和与之关联的的颜色，变化也很大，因为相似的变化经常发生在一个图像中相同的地方，由此帧间变化的颜色共生也非常重要。为了表现在一个像素点的多种状态，比如移动的树枝和曝光的天空，咗r和工在每个像素点保持不变。为了使计算和存储更高效，每个颜色成分中的L=64量化等级被用作颜色矢量。与此同时，Nl=30和N2=50被选定，L=32,Nl=50和N2=80被当做颜色共生的特征向量。在此调查中发现依据这种参数选择，（5）适用于大多数像素，这些像素不论是

15、和静止的还是移动的背景目标都相关。明显地，在三原色和颜色共生向量的联合直方图中各有J广和；L个箱子。其中Nl=30代表颜色特征，Nl=50代表颜色共生特征，静止和移动背景目标的比较好的背景代表已经实现。这就意味着所选择的特想非常有效。3.算法描述随着基于贝叶斯决策理论的背景和前景的分类的制定，建立了一种包含复杂背景的实时视频的前景目标检测算法。它包含四个部分：变化检测，变化分类，前景目标分割，背景更新。该算法的程序框图如图1所示，白色方块从左到右对应于前三个步骤，灰色方块对应自适应背景建模的步骤。第一步，在图像流中可通过使用简单的背景和时间上的差异筛选出无变化的像素。由于根据帧间的变化像素可分

16、为固定的和移动的目标，因此可以区分检测到的变化。第二步，对基于颜色统计学习和颜色共生的背景和前景可分别通过运用贝叶斯决策规则，进一步将与静止和移动的目标相关联的像素分类。第三步，前景目标由于结合了静止和移动部分的分类结果而得到分割。第四步，背景模型的更新。运用渐进性的和一次性的学习策略，去学习特征向量的统计。同时，维持一张背景参考图像，它可使背景差精确而且能适应背景的不断变化。在下面的子章节中将对这四个步骤进行详细的描述。图1该算法的程序框图变化检测在第一步，通过简单的背景和时间差异可筛选出有细微变化的像素。令I(s,t)=Ic(s,t)是:输入的彩色图像,B(s,t)=Bc(s,t)是系统在

17、t时刻的参考背景图像，cer,g,b代表一种彩色成分。背景和时间上的差异表现如下。首先，运用在文献10中描述的方法，一张简单图像差分通过每种颜色成分都带有的自适应阈值得到实现。三个组件结合而产生的结果相结合从而产生背景的差异血丁;电:和时间的差异图像差分用于成像的去噪。其余的变化可根据背景特征进行分类。用自适应全局阈值可准确实现这个目标。变化分类时间上的差异将变化的像素分为两种类型。如果检测到-I,像素被划分为属于一个运动目标的移动像素。否则，它就是一个与静止目标相关联的静止像素。由于背景和前景的分离它们被进一步划分。对一个站像素S,颜色特征矢量:加、由颜色成分生成，每种颜色的成分又有64种不

18、同的等级。对于一个移动像素，颜色同现的特征向量fg二|/.|的颜色成分有32种等级。然后把这个特征向量vt与第一个N1相比较，N1是从相应的背景特征统计表中得到的特征向量，从而检索出相似特征的概率重新得到的。令,其中厂来自于表条件概率p（bs）=璋：!尺心）=严伽曲：有下列公式获得：、其中在兀中的匹配特征集被定义为：，这里使这样如果相似的特性被量化为相邻向量，统计数值仍然可以重新获取。如果在表“中没有与匹配的元素，那么和均赋值为0.将（7）中得到的概率代入到（4），这点被分为背景或前景前景目标分割由观察可知，背景和前景分类后，仅有小部分的背景点错标记为前景的。更多的是残余的（像素）变成了孤立的

19、点。运用形态学操作消除分散的错误点并且连接前景点。随着小部分点的移除提取出剩下的区域。分离出的前景目标构成一个二进制的输出图像:。背景更新背景更新使背景模型随着时间的推移能适应不同的背景变化。在提出的方法中，背景更新包括两个部分，特征统计表的更新和一个参考背景图像。3.4.1更新特征统计表假设特征向量vt用于区分在时刻t像素景还是背景像素，相应的特征统计（色彩或色彩同现）也逐渐的由TOC o 1-5 h z血+“=（l-a2）p：M十蚀财；ZIP：f二（m）P炉+就严）更新。其中i=l,N2,这里是于控制特征学习的速度的学习率。学习率的选择之后将在本节陈述。匹配标签的布尔值产生如下，当在时刻t

20、,由最终分割得出的反馈知s代表背景像素时，否则。当公式（6）中的讥与Vt可以得到最好的匹配，而时=D时可与其余的像素得到最好的匹配。上面更新方程式的描述如下：如果像素S在时刻t被标记为背景点，由于，从略微提升。进一步地，由于，特性匹配的概率也随之增加。如果，那么对那些不匹配的特性的统计就略微下降了。如果Vt和表中的元素中都没有匹配的，那么表中第N2个元素将被一个新的特征向量所取代，素S在时刻t代表前景点，由于.，和均略微下降。然而，在-中匹配的元素，是上升的。在表中更新的元素可对按照一个降序的规则再分类，这样这张表就可能使-V.成为对相应的状态来说是最频繁的模式。“一次性“背景变化的更新当发生

21、了“一次性”背景变化，在变化之后，新背景出现的特性立即占据主导地位。从（5）到（3），在像素s处可检测到新背景Al的特性，如果-，这其中T是一i=l个百分值，它可以确定当新背景出现时新的特性可以被识别出来。如果T的值很大，系统会很稳定但是对“一次性”变化的响应会慢。然而，如果T很小，系统会在新背景出现时很容易地获取频繁的前景特性。在我们的测试中，T一般赋值为90%。因数会阻止少部分特性的更新。从（3）到（6），（11）变为NiNiH卅“-时工応捫A于（12）注释：“工_一迅九对应于任何类型的特征向量，一旦新背景特性在S处被识别，对特性的统计调整如下,t期这里i=1,N1经过“一次性”操作，观察

22、到的占据主导地位的特性被转换为学术上的背景特性。学习过程的收敛如果一些最重要的特征向量表示这个背景很好,那么工二炉。另外，如果背景特性变得重要，那么随着更新的进化需要满足趋近于1。更新公式（9）满足这样的要求。假设在时刻t,-，而且在时刻t+1,中第j-r个元素与背景图像的点中的、相匹配。于是有叭匸臨皿=1-3工p炉+8（恣泌A屁小）=1（14）这就意味着通过更新方程（9），背景特性的概率和保持为1。假设在时刻t由于一些原因如初始化或“一次性”学习的操作使工芻就訐厂，而且炙尸中第一个N1元素的讦与以以+耳中的VM匹配，那么我们有（b=（1-a2）工卩話亠+2=JM%阴从（15）可得果，将有。背

23、景特性aaa的概率和将略微增大。另一方面，如果，将有二.二|;.，背景特性的概率和将略微下降。从这两种情况可得出结论：只要背景特性是有效的且是最频繁的，背景特性的概率和就会趋近于1。3.414学习中的参数选择另外一个有关学习策略的有趣的问题是学习率的选择。为了使逐步的背景更新操作能够适应背景的不断的平稳的变化，并且不被噪声和前景目标干扰过多，应该选择为一个较小的数。另一方面,如果过小，系统就会对“一次性”背景变化的响应较慢。这里，我们根据系统对“一次性”背景变化作出响应所要求的时间给出了一个选择的公式。让我们来研究一下“一次性”背景变化的学习策略的响应。个理想的在时刻to的“一次性”背景变化可

24、看作一个阶跃函数。在to时刻前的特性落入中的第一个kl元素中，to后的特性落入、紧接着的下一个k2元素中。这样，在时刻t0,有t0之后，因为在像素s新出现的背景被分为前景。=.I=r匕笃必逐渐减小，然而，二露曲“逐渐增大，而且将经过每一个时间点的重排操作后移动到-中第一个位置。一旦（12）中的条件在时刻得以满足，就会得到新的背景状态。为了使表达简单，清晰，我们假设在每一时间步中没有重排操作。这样公式（12），从（9）和的条件变为（17），在t0后的时刻tn有1+2Ti1L燈曲=肉曲+(1创卩通过将（18）中的项用（19-21）中的项取代，i=Kj+l1-(1-8广（绚并且做一些简单的重这意味着

25、，如果排，我们可以获得我们认为具有n框架的系统对“一次性”背景变化的响应已足够快速,那么我们就从（22）中选择学习率。例如：如果我们希望系统能在20s后以25fps帧的速率和T=90%来对“一次性”背景变化作出响应,应该大于00046,但是也不能大到使系统对噪音和前景对象敏感。3.4.2更新参考背景图像一张参考背景图像代表最近出现的背景外观，它维持在每一个时间步以使背景的差异精确。通过使用一个无限脉冲响应滤波器(IIR)对静止背景对象的渐变进行更新。在一个变化检测中，如果s被检测到是一个没有明显变化的点，那么参照背景图像以J:沁:进行更新。这里，汽*J：!,是脉冲响应滤波器的参数。因为下一个操作能适应“一次性”变化，那么就可以选择