（通信与信息系统专业论文）视频序列图像中运动目标的分割和识别的研究.pdf

视频序列图像中运动目标的分割和识别的研究 心s 9 1 2 5 摘要 摘要 本文研究目的：从背景相对静止的彩色视频序列中分割出运动目 标，然后进行识别。 运动目标分割部分，本文提出将图像的色彩信息与视频运动信息 相融合的方法，从视频序列图像中分割运动目标。f 生彩色图像分割中， 将部分空间信息介入到迭代均值偏移过程，实现芜参数聚类。该算法 只需设置很少的参数，即能以较快的速度将图像中每个像素归类到相 应的密度模式下，从而实现聚类。然后利用本文提出的求等同标志连 通区域的方法，将聚类之后的图像划分成不同的独立区域；由于 h 0 s ( h i 2 h e 卜o r d e rs t a t i s t i c s 高阶统计) 方法具有较好的去除高斯类噪声 的特性，所以本文用它来进行运动检测。再利用坎尼算子提取运动区 域轮廓，并对其内部填充后，即得到一个运动粗模板。统计这个运动 粗模板中等同颜色区域占原图像相应独立区域的比重，若比重超过预 黄闽值，则将该独立区域作为待融合区域；否则，说明这部分信息不 属于运动部分，不将其作为待融合区j 乳最后，将所有的待融合区域 连接起来，就构成了运动目标模板。， f i 标识别部分，本文只对二维模式进行识别。由于物体和摄像机 位置关系的不同，拍摄结果可能出现平移、尺度变化、扭曲和旋转等 不同的变化。这些变化的出现严重影响了运动目标的识别结果，为了 达到准确识别的目的，我们提出一种基于规格化与z e r n i k e 矩相结合 的识别方法口蔺先，计算图像给定模式的协方差矩阵( 由图像的某些 低阶中心矩构战) ，根据矩阵的特征向量旋转图像，得到一个与新坐 标系无关的图像；然后再根据矩阵特征值进行图像长宽比例调整，得 到一个对图像平移、尺度变化、扭曲具有不变性的规格化图像：接着 求出规格化图像边缘轮廓，将此轮廓图像的八个高阶z e r n i k e 矩作为 目标识别的特征值。在对视频图像分割出的运动目标进行识别之前， 先要对固定类别的样本，用类似的方法计算出特征值，再按照c 均值 聚类法则计算出每类的聚类中心。最后，根据分割出的运动目标模板 摘要视频序列图像中运动目标的分割和识别的研究 特征值与各聚类中心的欧氏距离判别物体。实验证明，此方法对于特 征相差较明显的物体( 如飞机模型) 能达到非常好的识别效果。l ，、 关键词：彩色图像芬蓟密度宿。十均值偏磊过程高阶统计 平移、尺度变化、扭曲规格化z e m i k e 矩c 均值聚类 。7l 、。l， s t u d i e s o n m o v i n g o b j e c t n e g r a e n t a t i o n i n v i d e ，o s e q u e n c e s a n d r e c o g n i t i o n a b s t r a c 一t a b s t r a c t t h e p u r p o s eo f t h i st h e s i si st os e g m e n tm o v i n g o b j e c ti ns t a t i o n a r y b a c k g r o u n d ，t h e nr e c o g n i z ei t i nt h e m o v i n go b j e c ts e g m e n t a t i o np a r t ，w ep r o p o s e dam e t h o d e x t r a c t i n gm o v i n go b j e c tb yu t i l i z i n gt h ec o l o ri n f o r m a t i o na l o n gw i t h t h e m o v i n g i n f o r m a t i o n c o l o r i m a g es e g m e n t a t i o np r i m a r i l y u s e sa n o n p a r a m e t r i cc l u s t e r i n gm e t h o db a s e do np a r t i a ls p a c ei n f o r m a t i o n i n t e r v e n i n g i t e r a t i v em e a ns h i f t p r o c e d u r e b ys e t t i n go n l y af e w p a r a m e t e r s ，w e c a ns u b s u m ee a c h p i x e l o ft h e i m a g e i n t oi t s c o r r e s p o n d i n gd e n s i t yp a t t e r na n d r e a l i z ec l u s t e r i n g i nt h i st h e s i s ，aw a y o f f i n d i n gc o n n e c t e d a r e a sw i t hi d e n t i c a lm a r k sw a si n t r o d u c e dt od i v i d e t h ei m a g ei n t od i f f e r e n t i n d e p e n d e n ta r e a s o w i n gt o t h ef a c tt h a tt h e h o s ( h i g h e r - o r d e rs t a t i s t i c s ) h a v eap r o p e r t yo fe l i m i n a t i n gg a u s st y p e n o i s e s ，i t w a su s e df o rm o t i o nd e t e c t i o n c a n n yo p e r a t o rw a su s e df o r e x t r a c t i n gt h ec o n t o u ro f t h em o t i o na r e aa f t e rf i l l i n gt h ei n n e ro ft h a t m o t i o n a r e a ，r o u g h m o t i o n t e m p l a t e c a nb eo b t a i n e d i ns u c ha t e m p l a t e ，t h er a t i o o fr e g i o n sw i t hi d e n t i c a lm a r k st ot h ec o r r e s p o n d i n g i n d e p e n d e n tr e g i o ni nt h eo r i g i n a li m a g ec a nb ec o m p u t e di f t h er a t i oi s l a r g e r t h a nap r e d e t e r m i n e d t h r e s h o l d ，t h ec o r r e s p o n d i n gi n d e p e n d e n t r e g i o ni sr e g a r d e da sar e g i o nt ob em e r g e d ，o t h e r w i s e ，t h ec o r r e s p o n d i n g r e g i o n d o e sn o t b e l o n g t ot h e m o v i n go b j e c t w h i c hw i l ln o tb e m e r g e d f i n a l l y , t h em o v i n go b j e c tc a nb ee x t r a c t e db ym e r g i n ga l l t h e p r e d e t e r m i n e dr e g i o n st ob em e r g e d i nt h er e c o g n i t i o np a r to f t h i st h e s i s ，a l ld i s c u s s i o n sa r ec o n s t r a i n e d i nt w od i m e n s i o n s i no r d e rt oe l i m i n a t et h ee f f e c to ft h e t r a n s l a t i o n ，s c a l i n g ，s k e w i n g a n dr o t a t i o no nt h e r e c o g n i t i o n r e s u l tw e p r o p o s e dan o v e l m e t h o d i nt h i sm e t h o d ，t h ec o v a r i a n c em a t r i xo ft h e i m a g eu n d e r a g i v e np a t t e r n a r ef i r s t l y c o m p u t e d r o t a t i n gt h ei m a g e i i i abstr，act，studiesonmovingobjectsegmentationinvideosequencesand l e c o g n i t i o n a c c o r d i n gt o t h ee i g e n v e c t o r so ft h ec o v a r i a n c em a t r i x ，m o v i n go b j e c t t e m p l a t e i r r e l e v a n tt ot h en e w c o o r d i n a t e s y s t e m c a nb e o b t a i n e d a d j u s t i n gt h eh e i g h t a n dw i d t ho ft h eo b j e c tt e m p l a t ea c c o r d i n g t ot h ee i g e n v a l u e so fc o v a r i a n c em a t r i x ，s oat r a n s l a t i o n ，s c a l i n g ，s k e w i n g n o r m a l i z e df o r mo ft h em o v i n go b j e c tc a l lb eo b t a i n e d t h ef e a t u r e so f t h em o v i n go b j e c ta r ec o n s t r u c t e db yu s i n gt h e8 - z e r n i k em o m e n t so f t h ec o n t o u ro ft h e p r e m e n t i o n e d n o r m a l i z e df o r m b e f o r e r e c o g n i t i o n ，s o m es a m p l e so fk n o w nc l a s s e s a r eu s e dt od e t e r m i n et h e c e n t e r so fa l lt h ec l a s s e s m o v i n go b j e c t sw e r ec l a s s i f i e db ye v a l u a t i n g t h ee u c l i d ed i s t a n c eb e t w e e nt h ef e a t u r e sa n dt h o s ec e n t e r sd e t e r m i n e d b e f o r es i m u l a t i o nr e s u l t sv e r i f i e dt h a tt h em e t h o dp r o p o s e d i nt h i st h e s i s i sw e l lv a l i d a t ef o rr e c o g n i z i n go b j e c t sw i t ho b v i o u sd i f f e r e n c e s k e yw o r d s ：c o l o ri m a g e s e g m e n t a t i o n d e n s i t y e s t i m a t i o v d m e a n s h i f t p r o c e d u r e h o s t r a n s l a t i o n ，s c a l i n g ，s k e w i n g a n dr o t a t i o n n o r m a l i z a t i o n z e m i k em o m e n t s c m e a nc i u s t e r i n g x i e m i n d i r e c t e db yp r o f e s s o rh u a n g x i a n w u l v 视频序列图像中运动目标的分割和讽别的研究 第一章概述 1 1 视频序列图像运动目标分割的发展 近年来，随着多媒体计算技术飞速发展，视频图像得到了广泛 重视和应用，其应用领域遍及广播电视、医学、保安监控、车场管 理、军事及生命科学等方面。国际标准化组制定了视频图像编码和 传输的若干标准，大大促进了多媒体通信的发展，在世界范围内， 推动了数字化电视、h d t v 以及“三网”合一的发展。但是，传统 的视频编码标准m p e g 1 m p e g 2 和h 2 6 1 h 2 6 3 ，都缺乏视频内容 的高层次信息描述。而m p e g 4 视频编码标准引进了视频对象v o ( v i d e oo b j e c t ) 的概念，具有基于内容的编码功能。它要求在编码 前把视频序列分解成多个与不同视频对象相对应的视频对象平面 v o p ( v i d e oo b j e c tp l a n e ) ，然后对视频对象进行编码。这样一来， 不仅可以对不同视频内容进行编码，还可以灵活地重构或在译码端 对内容进行任何所需的操作。因此，在视频编码时，如何将视频序 列中的每帧图像分解成具有一定语义的视频对象和背景，这是 m p e g 4 m p e g 7 的关键所在。将视频图像中的运动目标提取出来， 加以识别，对工业自动化生产、军事、公安、海关等领域至关重要。 因此，研究如何自动化或智能化提取运动目标具有重大的意义。 m p e g 4 m p e g 7 标准也将会大大地促进从视频图像中分割和识别 出运动目标技术的发展。 纵览国内外的相关文献，视频运动目标分割有两种分类方法， 它们分别依据视频序列图像本身特征和分割的实现方式来划分。 根据视频序列图像本身特征，运动目标分割大体上可以分为三 大类：空间域灰度分割为主、时问域运动分割为主和基于知识的分 割方法【1 1 。 以空问域灰度分割为主的方法，首先对帧内的静止图像进行灰 度分割，然后利用运动信息，对运动状态相同而且空问相邻的灰度 区域进行融合【2 1 。但是，由于空间灰度图像分割容易受噪声影响，分 第章概述 视频序列图像中运动目标的分割和识剐的研究 割之前一般都要采用一些预处理措施，如数学形态学方法等对图像 进行预处理。基于纹理、灰度和运动一致性原则的图像分割，实质 上也是一种区域分割。这类方法计算复杂，难以实时完成，且易产 生区域碎片、过度分割、分割得到的边缘不光滑等现象。 以时间域运动分割为主的方法，主要是利用相邻帧之间的强相 关性，对图像中的像素进行运动估计，根据像素间运动矢量的不同， 对图像进行分割。主要有基于光流场和运动参数估计的两种方法【3 】。 由于提取光流场计算很复杂，且对光流场的分割也存在类似于静态 图像分割中分割闽值难以选取问题，所以，在实践中，常采用运动 参数估计的方法。其中，分层分析合成的视频运动图像分割方法最 具代表性。 基于知识的分割方法主要是利用待分割运动物体已知的先验知 识和统计特性，如结构性、纹理和颜色等知识，有目的地对运动目 标进行搜索、提取的一种方法1 4 j 。 从分割的实现方式来看，目前视频运动目标分割可分为两类。 一类是自动分割的方法，另一类是基于人机交互形式的半自动分割 方法。所谓自动提取，顾名思义就是自动地从视频序列图像中分割 出运动目标。而半自动分割方法，则是先通过人工参与的方式勾勒 j 要提取的目标，然后，通过一些修正的目标跟踪方法使其从背景 中分割出来。即输入初始分割边界控制点，反馈调整分割结果，辅 助计算机产生物体分割。 活动轮廓( a c t i v ec o n t o u r ) 模型的方法也相当于一种半自动的 分割方法，它是一种有效的区域分割以及边缘跟踪方法 5 【6 】【”。活动 轮廓( 又称s n a k e ) 是一条封闭的或者不封闭的弹性曲线，可由若干 个受控点所组成的集合来表示。其主要思想是先定义个能量函数， 这个能量函数主要由内部能量函数及外部能量函数组成，有的文献 上也称之为外力和内力。利用能量函数来活动轮廓跟踪过程实际上 是该轮廓在运动过程中从初始位置向实际边缘靠近的过程。其中， 外力( 如图像灰度变化的梯度因素) 推动活动轮廓向物体边缘运动， 视频序列圈像中运动目标的分割和识别的研究 而内力保持活动轮廓的光滑性( 曲率的大小) 和连续性，到达平衡 位置( 对应于能量最小) 时，即活动轮廓收敛到所有检测物体的边 缘。由于同时考虑了几何约束条件和与图像数据轮廓形状有关的能 量约束条件，有较好的抗噪性，且对目标的局部模糊不敏感，所以 可以得到令人满意的结果。由于s n a k e 算法在处理局部间断的轮廓 时，常常能够得到很好的整体结果，所以逐渐在更多的场合中得到 了应用。但是，活动轮廓法收敛速度慢；分割的结果和活动轮廓的 初始位置有关，容易收敛到局部最优点，很难收敛到曲率高的边缘。 很多学者针对上述问题提出了一些改进方法。 韩国电子与电信研究协会( e t r i ：e l e c t r o n i c sa n d t e l e c o m m u n i c a t i o n sr e s e a r c hi n s t i t u t e ) 提出了以对象轮廓作为对象 特征的半自动视频对象分割方法1 8 o 它实际是以平均绝对值差和图像 边缘强度的运动估计与补偿作为对象特征定位的方法。此方法既包 含时间分割，又包含空间分割，但是没有利用特定对象知识，所以， e t r i 的程序并不能百分之百地区分对象轮廓和背景边缘。文献1 9 】也 提出了一种视频图像运动目标分割方法，这方法也存在同样的问题， 即，在对象跟踪的过程中，误差不断向后传递，且不能较好地满足 实时性要求。 在自动提取运动目标方面，t o m a sm e i e r 提出了利用运动区域跟 踪的运动物体提取方法1 1 川，a n e r i 等人提出利用运动区域的高阶统 计量与运动估计相结合的运动目标提取方法1 1 1 】【1 2 】f 1 3 】。a n d r e a c a v a l l a r o 等人采用自适应参考背景帧计算和时域变化统计信息相结 合的方法1 1 4 】1 1 5 】【1 6 ” ，他们在整体运动物体的自动提取方面都作出了 有益的尝试。 在a n e r i 等人作的自动运动目标分割研究中，主要使用了高阶 统计的方法，这种方法的基本原理将在后面介绍。经过上述方法提 取出的运动信息，实际上还包括原来遮盖的、由于当前物体运动而 重新显现的背景部分。根据s a y r o l 等提出的：沿着序列图像的信息 是不断累积的，在高阶统计过程中可以利用这些冗余信息来减少附 视额序列图像中运动目标的分割和识舜j 的研究 加噪声对结果的影响【l 引，以及a m b l a r e d 等人认为：递归的高阶统 计方法在信号检测中可以克服经典高阶统计量算法的不足【l9 1 。因此， 有人采用递归的高阶统计方法来克服所检测出的运动信息含有部分 背景的问题。这些方法都具有速度快，可以克服一定的噪声的优点， 但在背景噪声估计不是很准确的情况下，噪声仍有残留；另外，如 果运动物体本身纹理不丰富，检测出的运动信息内部容易出现空洞 现象。尽管对此问题可用形态学方法进行相应的处理，但是处理的 效果跟采用的形态学算子有很大关系，如果算子使用不当，分割出 的运动目标边缘将不准确。所以，本文认为，没有一定空间约束信 息的加入是很难达到理想分割效果的。 a n d r e ac a v a l l a r o 等人研究的分割方法主要用在视频图像监控 中。其基本原理是：由于时域变化信息可能包含原来被物体遮挡、 后来由于物体运动而复现的背景区域，这些区域可能由于物体的纹 理性结构不丰富而难与物体区分开，所以首先要通过一系列的图像 帧来获取足够的信息，然后模拟能自适应更新的参考背景帧。而在 当前帧与参考背景的差值图像中，由于背景噪声、照相机噪声存在， 使得运动目标不能被准确提取。因此，该文献提出在一定的统计决 策准则基础上建立一个噪声模型，根据这个模型来判断当前帧与参 考背景帧的差值图像中，哪些像素属于背景，哪些像素属于运动目 标。该方法增大了环境中有慢变部分情况下运动目标检测的鲁棒性， 还可以检测出多个运动目标。该方法的实施需要设定一个窗口，窗 口越大，统计结果对噪声越不敏感，但是将会产生运动目标边缘不 准确性现象，并且带来方块效应； 割出的运动目标部分残缺的情况。 经过相当复杂的算法获取参考帧， 目标有一定的局限性。 反之，窗口越小，越容易出现分 加上需要利用一个长的视频序列 所以，该方法对于实时分割运动 视频图像中的物体分割要求分割的结果既要包含完整的语义， 还要求符合人的主观认识，由于目前的计算机还不具有人的观察、 识别及理解图像的能力，它只能描述图像的彩色信息、纹理信息和 视频序列图像中运动目标的分割和识别的研究 运动信息等低层特征，不能对视频目标进行明确地定义和描述，这 就导致了物体分割准则的不确定性。所以，运动目标分割的研究， 就总体而言，还是有限而初步的寻找到一个适用于所有图像的通用 方法是相当困难的，正是因为这样才促使人们进一步去研究和探索。 1 2 目标识别技术的发展 图像目标识别在军事侦察、城市规划、交通监控、图像检索及 工业自动化等各个领域得到了广泛应用。如，空问地表形状的识别； 飞行器导航的自动跟踪；在工业自动化的自动检测中的标记识别、 缺陷测量、压痕检测；交通监控中车辆的检测；邮政自动信函分拣， 可代替人工分拣的艰苦的劳动，从而降低了工作强度，提高了工作 效率。所以目标识别具有很大的实用价值和重要意义。 我们知道，由于目标原始数据信息存在冗余，若直接运用这些 信息来实现目标识别，其效率将特别低，由此引发了一系列特征提 取方法的研究。为了有效地识别目标，希望提取对图像平移、尺度 变化、旋转、扭曲具有不变性的特征。目标的这些不同姿态主要是 由以下这些原因引起的，如被检测物体为平面物体，当摄像机的光 轴与物体平面的法线平行时，摄像机或者物体的方位会发生变动， 这一变动将会引起物体图像的平移、旋转或两者同时产生的现象。 摄像机和物体之间距离的变化也会引起物体尺寸的变化。由于在实 际运用中，很难保证被测物体和摄像机的相对距离和方位恒定不变， 因此要对平面刚性物体进行识别，必须寻找能够表征物体在平移、 尺度变化、旋转下的不变量( r s f ) 。目前，提取r s t 不变量的常用 办法主要有：基于模板匹配法1 2 0 】1 2 、基于奇异值分解( s v d ) 识别 法、基于不变矩的方法【2 3 】【2 4 】【2 5 】、基于傅氏变换算法【2 6 】、z e r n i k e 旋转不变性方法【2 7 】1 2 8 】、基于h o u g h 变换的算法【2 9 】、基于小波变换 多尺度分析的算法【3 0 1 1 3 1 1 、基于傅立叶。小波变换描述算子方法【3 2 1 、基 于神经网络的算法【3 3 】和三阶累积量与神经网络结合方法【3 4 】等等。当 摄像机的光轴和物体平面法线不平行时，图像则发生扭曲变形，得 苎二兰堡些视频序列图像中运动目标的分割和识别的研究 到的图像是物体在摄像机成像平面上的中心投影，因此，物体上各 个实际的点在图像上的投影点之间必定存在个映射关系。当目标 出现这样的扭曲变形时，上面所述的大多数方法都不能起到很好的 作用，这就严重影响目标识别效果。所以，探寻一些适应这种变形 的不变性方法显得十分重要而迫切。 文献p 提出计算一个标志物体形状紧密性的离散矩阵，根据这 个矩阵的特征向量旋转物体，然后按照矩阵特征值调整物体的尺度， 得到一个对平移、尺度变化、扭曲规格化的紧密图像，但该方法没 有解决旋转问题。台湾大学电子工程学院的p e is o o c h a n g 和l i n c h a o 。n a n f 3 5 1 利用矩的性质，先对图像中目标先进行平移、尺度变化、 扭曲规格化，然后再利用文献1 3 6 】提出的张量理论，对规格化图像再 进行旋转规格化，得到了对四种不同变形都规格化的图像。如果此 时要对目标进行识别，只要将待识别目标也进行相同的规格化处理， 将得到的规格化图像和已知目标规格化图像进行匹配即可识别目 标。西北工业大学计算机科学工程系的王晓红等人【37 】在解决了平移、 尺度变化、扭曲问题的基础上，通过椭圆倾斜角度矫正的方式来得 到旋转规格化图像，也取得了一定的效果。 但是，用上述的方法对图像进行旋转规格化，由于高阶矩对目 标形状、噪声等因素特别敏感，所以通常旋转规格化之后的图像并 不能达到人们所期待的识别效果。为此，本文提出一种基于规格化 与z e m i k e 矩相结合的算法，取得了良好的识别效果。 1 3 运动目标分割与识别系统 经过对国内外文献的研究，我们设计了一套从彩色视频序列图 像中分离运动目标及其识别的方案。该方案主要是将部分空间信息 介入到均值偏移过程聚类中，实现彩色图像分割，分割后的区域和 运动信息相融合，从而分割出运动目标。目标识别部分先对运动目 标模板进行平移、尺度变化、扭曲规格化，然后将规格化之后模板 轮廓的z e r n i k e 矩作为特征值来实现对运动目标的识别。 视频序列母像中运动目标的分刹和识别的研究 由于彩色图像包含丰富的色彩信息，能够给人直观的视觉感受， 所以采用彩色图像分割可以克服灰度图像分割的不足。彩色图像分 割方法主要有聚类法和区域分割法。聚类的方法通常有直接对每一 个像素进行聚类分析和利用图像直方图的聚类分析两种。前者是以 误差平方和最小为准则，采用距离或相似度最小等来实现，此种方 法虽然计算量很大，但是能够充分利用彩色信息，达到较好的聚类 效果；后者基于直方图进行聚类分析，其特征的选取至关重要。区 域分割技术则是按照各种彩色特征将彩色图像分成若干个子区域， 递归地将每一个子区域再进行同样的分割，直至每一个子区域都为 均匀的色彩域为止。该方法计算量相当大，且效果却不好。除此以 外，还有区域分裂合并、区域生长、松弛、边缘检测、区域生长方 法和主动轮廓法相结合的方法及神经网络的方法等。 区域生长方法除了要解决初始种子点的选择和生长准则的选 取，而且还要考虑像素的连通性邻近性。如果以上问题没有得到合 适地处理，分割出来的结果可能没有什么意义。因此使用这种方法 的时候，经常要先对分割结果建立个模型，且辅以一定的先验条 件，才能得到较好的效果。由以上分析可知，很多分割方法计算量 都比较大，分割结果受到多种因素的限制，所以，我们决定采用一 种无参数的聚类方法来进行彩色分割。若要对彩色图像进行分割， 首先要选择一个合适的色彩空问，然后设计一个与这个色彩空问相 适合的分割方法。 、 由于对被分割的图像通常缺乏先验知识，所以我们提出用无参 数聚类法将彩色空间分割成不同的 区域，实现区域分割。无参数聚 类方法主要有层次聚类法和密度估计法两类。层次聚类法在一定的 近似方法下将数据分开或者合并【3 引，其计算量也相当大。而且合成 或分裂数据的终止法则定义不是很明确。基于密度估计的无参数聚 类方法的理论依据是，特征空间可以被看成描述参数的经验概率密 度函数，特征空间的稠密区域与经验概率密度函数的局部最大值相 对应，即对应着未知密度的类型。一旦确定了类型的位置，那么聚 视频序列图像中运动目标的分割和识别的研究 类就很容易实现。 文献【3 9 】【4 0 】 4 1 】f 4 2 1 提出了利用基于均值偏移过程的空间聚类方法进 行图像分割，它是一种非参数方法，可以处理多峰的特征空间，还 可以描述任意形状的聚类，它将离散的数据收敛于相应的密度函数 最近的固定点上，因此可以用它来检测不同的密度模式。但若仅仅 考虑颜色信息，利用这种方法会得到简单的颜色分割。因为它将距 离较远又不连通的区域划归为同一类，所以这不是我们的方案所期 望的结果。将颜色信息和空间信息作为不同的特征混在一起进行无 参数的聚类，由于无法预知颜色信息和空间位置信息所占的比重， 所以很难正确估计出它们的比例关系，所以，不容易得到较好的分 割结果。由于上述原因，我们对这方法作了改进，采用将部分空间 信息介入到均值偏移过程中的聚类方法，其分割速度较其它方法快 而准确。 视频运动检测算法的研究是从9 0 年代初开始的，国内外均取得 了很多重要的成果。视频运动检测算法的具体目的，就是在序列图 像中对某一个时刻的静态图像进行二值化标记，标记出现在当前图 像中的运动目标的形状、位置等信息。虽然算法众多，基本上可以 概括如下： 以图像序列的差分为基础的运动检测方法简单、速度快，但容 易受到噪声的二f 扰；以m r f ( 马尔可夫随机场) 为基础的检测方法， 具有一定的鲁棒性，但计算相当复杂f 4 3 j ；基于神经网络和并行计算 方法的还处在理论研究阶段，且其计算量更大，离实用尚有一定距 离；基于光流法的方法，则主要以光流场方程为主，但也容易受到 噪声的影响。 由于在我们的方案中，只需要一个包括运动目标的粗略模板， 所以要求运动检测速度快，并具有一定的去噪功能。为此，我们采 用了基于序列图像差分高阶统计的运动目标检测方法，该方法除速 度快外，还能滤除背景中大部分噪声，可以获得最初的运动信息。 虽然可能出现对背景噪声方差估计不足、目标纹理信息不够等因素， 视频序列图像中运动目标的分割和识别的研究 使得检测结果受到影响，但是这些问题我们可以通过后处理加以解 决。 下面介绍本文提出的彩色视频序列图像运动目标的分割算法思 想： 1 由于l a b 色彩空间在空间坐标上是均匀的，且色彩变化在 此空问较为明显，范围较一般的色彩空间要大，容易和其它色彩空 间互相转换，所以我们先将彩色图像各像素转换到l a b 色彩空间。 在将部分空间信息介入到均值偏移过程的聚类彩色图像分割方 案中，为了减少计算的复杂度，对总像素进行随机抽样，各抽样点 与相应的像素点均满足一定的欧氏距离关系，所以，这些抽样点在 一定程度上可以代表图像中的色彩特征。由于在一定预设的窗口内 ( 1 6 。1 6 p e l ) 密度较小的抽样点在图像中起的作用不大，所以可以 将这些抽样点去除。然后以剩下的每个抽样点为中心，在1 6 1 6 大 小的矩形窗口内，利用迭代均值偏移算法计算它们最终的收敛值， 这些收敛值作为参考峰点。将色彩空间中欧氏距离较近的峰点进行 合并，再合并中间没有谷点的峰点，得到最后的峰点集合，最后对 图像中每一个像素点归类，即可实现同类像素的聚类。 2 根据本文提出的等同标志区域连通算法则将彩色分割后的图 像划分成独立的色彩区域。 3 利用h o s ( h i g h e r - o r d e rs t a t i s t i c s 高阶统计) 的方法提取相 邻两副图像中的运动信息，这些运动信息包含了真实运动目标、先 覆盖后显露的背景块，以及一些可能还没有完全去除的噪声区域。 还有由于运动目标的内部纹理信息不足，使检测出来的区域内部出 现空洞。为了解决这些问题，我们采用坎尼算子去除背景中残余噪 声，得到运动信息的轮廓。再对该轮廓进行填充，于是得到了运动 目标的粗模板。 4 将运动信息和彩色分割空间信息进行融合。其方法为：计算 模板中的等同标志区域像索在第2 步得出的对应独立颜色区域总像 素数中所占的比重，将所有超过某个阈值的独立颜色区域合并，就 视频序列图像中运动目标的分割和识别的研究 得到运动目标。 目标识别方法简介： 首先采用反向投影法对图像模板进行平移、尺度变化、扭曲规格 化处理，这样可以避免正向规格化投影容易出现的漏点现象。由于 规格化后的图像会有误差，如果直接计算规格化图像的z e r n i k e 矩， 作为目标识别的依据，会导致错误识别率较高。因此，我们对规格 化后的模板进行边缘检测，计算边缘轮廓图像的八个z e r n i k e 高阶 矩，将其作为识别物体的特征值。通过预先对已知类别图像的类似 处理，由c 均值聚类求出每一类的聚类中心，再根据具体目标计算 其特征值与各类的聚类中心的距离来判断当前对象的归属，这样可 以以较高的识别率实现对运动目标的识别。 系统框图如图1 所示： 7 掣i 蚴栅ul 一卜娥取灰度图像lll 警p 竺运动信息融合l 运动目标模板 特征提取 计算特征值与已知模式聚1 分类结果输出 类中心欧氏距离进行分类i 图14 系统框图 祝频序列图像中运动目标的分割和识别的研究 第二章基于色彩信息与视频运动信息相结合的目标分割算法 第二章基于色彩信息与视频运动信息相结合的 目标分割算法 2 1 彩色图像分割原理及实现 2 1 1 色彩空间的选取 前面已提到，要对彩色图像进行分割，必须选择一个较好的色 彩空间。目前，使用最广泛的视觉色彩空间是c i e 色彩空间，它由 国际照明委员会( c i e ) 于1 9 2 0 年开发并在其基础上演变产生的。 三维c i e 色彩空间根据三个方向轴线上的数值来描述任何一种颜 色。其中一个数值表示照度，即颜色的亮度，它不包含任何颜色； 其它两个数值代表色彩浓度和颜色值。c i e 色彩与设备无关，它包 含了r g b 及c m y k 的色域，且范围更阔，所以采用c i e 色彩作为 基础，可以在输出、输入设备有限的色域范围内安全地进行色彩传 递。 c i el * a * b 色彩空问可用三种标志l 、a 和b 表示任何人眼可见的 颜色，该彩色空间如图2 所示。标志a 和b 是球体空间的纬轴和经 轴。a 、b 分别代表像素偏红偏绿和偏黄偏蓝的程度。在球形色空间 的中心饱和度为零。因此，色点离球心越远，其色饱和度( 又称色 品) 越大，否则，色饱和度就越小。当色点围绕圆周移动时，则可 确定所描述的色调1 4 “。 图2c i e l * a * b 色彩空间 1 l 璺三兰苎于色；坠堡墨刍视频运垫信息相结合的目标分割算法视频序列图像中运动目标的分割和识剐的研究 例如，图3 所示的北美洲星云图a 中，数值最高的部分是北美 洲星云，表明它在彩色图像中是最偏紫红的区域。从b 中看出，离 子尾在b 中是数值最低的区域，它是照片中最蓝的部份：而北美洲 星云除了在a 中具有较高的数值 它同时具有紫红与黄的色彩特性 在b 中亦具有若干强度，这表示 两颜色加在一起，呈洋红。因此， 我们在彩图中才看到北美洲星云的颜色。而在a 与b 中均呈现中等 数值的大部分区域，包括背景、大部分的银河，以及尘埃尾，都是不 具有明显色彩的灰色，至于是接近黑的深灰( 如背景) ，还是接近白的 淡灰( 如尘埃尾) ，这在a 或b 中无法分别，而要由它们在l 色域中的 数值来决定f 4 6 1 。 图3r g b 与l a b 色彩空间的比较 我们为什么选择c i el * a * b色彩空间? 在色度图上，每一点都代表了某一确切的颜色。当颜色的坐标 位置变化很小时，人眼就难以辨别出微小的变化。这种人眼感觉不 出来的变化范围称作颜色的宽容量。实验表明，宽容量在c i e 色度 图上表现为椭圆形，随着坐标的变化，椭圆形的大小、长短轴比率 及长轴的取向都在变化。换言之，在色度图上的不同位置，颜色的 宽容量不一样。这样，人眼的感觉和实际颜色的变化就不是很一致 了，这就给颜色复现技术增加了困难。为了克服这一缺点，c i e 建 第二章基于色彩信息与视频运动信息相结合的目标分割算法 立了一些均匀的色度图，在这些图上，每一颜色的宽容量都近似为 一个圆，而且大小基本一致。 c i el * a * b 是与设备无关的、独立的描述颜色的物理量。这个色 彩空间的色域远远大于其他任何的色彩空间，从而在色彩转换映射 过程中不会在基准色彩空间上损失色彩信息。因此，当图像从r g b 色彩空问转换为c i el * a e b 模式后，再转回r g b 色彩空间时，色彩 质量无明显变化。 2 1 2 密度及密度梯度估计 由于对图像中的聚类模式没有先验知识，所以我们采用了非参 数的估计方法。这种方法利用抽样试验的训练样本集x 估计样本x 的 总体概率分布密度p g i x ) 。如果训练样本足够多，那么p ( x i x ) 将非 常接近样本的实际分布密度p ( x ) 。常用的无参数估计方法有p a r z e n 窗法、k 。近邻法和正交级数展开逼近法、直方图法、核密度估计法 等，用它们可以得到总体概率分布密度估计p 0 ) 。直方图在高维空 间中计算量大，因此较少使用，但它最为简单。最近邻方法容易受 到噪声的影响，所以也不常用。对于数据量不多的场合，一般使用 核密度估计法。核密度估计聚类主要有两种方法：一种是基于密度 估计和分层数据结构的方法；另一种是密度梯度估计方法，它是类 似“爬山”的均值偏移过程的模式检测方法。这两种方法都要在使 用某种核的基础上来搜索落在邻域内的像素点。由于前者要按照某 种邻域搜索法则，或者通过不断地对密度估计进行迭代闽值化或分 裂处理，实现数据分层，从而完成聚类，较之后者更难以实现。所 以，本方案采用密度梯度估计方法进行颜色聚类，并在此基础上介 入了部分空间信息，使得分割更有利于与后面的运动信息融合，并 加快了色彩分割的速度。下面对密度梯度估计的方法进行介绍。 假设 v ，为d 维欧氏空问r 。的任意疗个点组成的集合。根据 核k 和窗半径h 可以得到某个点z 的多元核密度估计值。根据文献 【4 7 】可求得核密度估计，g ) 为， 第二章基于色彩信息与砚频运动信息相结合的目标分割算法视频序列图像中运动目标的分剖和识别的研究 夕g ) = 万1 蔷nk 半 ( 1 ) 核k ( x ) 是满足下列条件的标量函数m 8 1 ， s u 咿蚓 d i s t 2 ， 则将该像素聚类号记为s a m p l e i 对应的最新峰点号，否则，记为v a l l y l 编号。从而实现彩色图像的分割。 祝频序列图像中运动目标的分割和识别的研究第二章基于色彩信息与视频运动信息相结合的目标分割算挂 彩色图像分割过程第6 步中，将中间没有明显谷点的新参考峰 点归类算法如下： ( 1 ) 给所有参考峰点设置0 标志( 用于判断该参考峰点是否被搜索， 标志为0 ，表示未被搜索；标志为1 ，表示已被搜索) ，且将每个参 考峰点的归类号初始化为0 ； ( 2 ) 在彩色图像分割过程第5 步产生的新参考峰点序列中，搜索所 有标志为0 的参考峰点，查找密度最小的，记下其在新参考峰点序 列中的编号( m i ni d x ) 及密度，并将该参考峰点标志置为1 ，表示 其已被搜索过； ( 3 ) 在所有标志为0 的参考峰点中，查找与( 2 ) 找到的参考峰点 间无谷点且与其色彩空问距离最小的峰点，其编号记为r a i nd i s t l d x 。 并将第( 2 ) 步找到的参考峰点的归类号改为m i nd i d s t i d x ； ( 4 ) 再回到( 2 ) ，直到所有的参考峰点都被搜索过，才停止。 ( 5 ) 将归类号相同的参考峰点归为同类，并从0 开始重新编号； ( 6 ) 将每个抽样点对应参考峰点编号更新为该参考峰点最新编号。 2 1 4 2 等同标志区域连通算法 为了便于和运动信息结合来获取准确的运动目标，我们尚要将 各标志不同的连通区域合并成一个独立的区域，并统计其像素总数。 算法的实现步骤如下： 第一步，根据图5 所示的四连通关系，扫描图像。对图像中每 个像素进行标记，并记录标志不同但连通的区域的标志关系，流程 图请参见附录一。 第二步，利用等同标志区域连通算法，将图像划分为不同的连 图5 四连通关系图 通独立区域，流程图和部分相关程序代码请参 看附录二。 首先进行第一步： 1 、初始化参数： 变量t e m p n u m 用于存放当前累计的区域 10 第= 章基于色彩信息与视频运动信息相结合的目标分割算法 视频序列图像中运动目标的分割和识别的研究 标志，并初始化为一1 ；数组m o d e _ r e l a t i o n 】( 结构类型，成员 变量分别为m o d e _ l a r g e 和m o d e s m a l l ) 用于存储不相同但连 通的区域标志关系，在这些关系中，大标志存入m o d el a r g e ， 小标志存入m o d es m a l h 关系对个数r e a l t i o nh u m 初始化为0 ； 2 、对彩色分割后的图像进行从上到下，从左到右地顺序扫描( 每扫 描一个像素后都要将相应标志的总数加1 ，对此以后不再进行说明) ： 对于第一行数据： 如果当前像素为该行第一个像素，将t