一种多通道动态区域生长检测方法

一种多通道动态区域生长检测方法

1背景和色标块检测基于视频的目标检测和跟踪技术是计算机视觉的主要研究方向之一。目前，它主要用于智能监控、人机交互、虚拟现实和其他领域。在人机交互领域,国内外已有许多学者从不同的角度、不同的层次对手势识别及其应用进行了研究,也取得了一定的成果,但是对处理的实时性和手势的复杂性方面的要求存在着很大的距离。同时,也有学者运用手上戴颜色标签来进行实验,也取得了一定的成果。本文研究的指示色标块是戴在手上的通过色标块的运动来体现手势的变化从而实现人机交互。色标块的正确检测是后续步骤的前提,而检测的难点是背景复杂,摄像头在采集图像过程中处于晃动状态。本文主要的工作有以下4个方面:(1)利用图像的相似度来确定背景图像,消除摄像头晃动造成的影响。(2)统计归纳出红、绿、蓝、黄4种颜色在Lab颜色空间中的a或b通道上的阈值概率权值表。(3)改进区域生长中种子的选取方法。(4)采用基于最小错误率的贝叶斯决策作为生长准则并统计得到先验概率表。2麻黄的图像差分和阈值分割指示色标块戴在手上,人机交互时必须通过手将指示色标块移入视频中,在这个过程中,指示块处于图像的运动区域中。所以,先检测到运动区域,然后在运动区域中检测色标块,这样的处理步骤可以减除背景的干扰和缩小搜索范围,加快处理速度。运动区域检测的基本方法是背景差分,因此,必先定义背景图像。摄像头处于运动和静止(或轻微晃动)2种状态之一,但是在每一次应用时(色标块移入视频中的过程)摄像头会有一个处于静止(或轻微晃动)的状态,用于采样当前的指示色标块进行跟踪。本文选用Lab颜色空间,该空间是根据色度和亮度组成的3维空间,它适合于一切光源色或物体色的表示与计算。其中,L表示心理明度,a、b为心理色度,反映到坐标系统中,+a表示红色,-a表示绿色,+b表示黄色,-b表示蓝色,颜色的明度由L的百分数来表示,其取值从0～100。a通道对红、绿2种颜色特别敏感,b通道对黄、蓝2种颜色特别敏感,而实验中的指示色标块的颜色是根据这个来选取的。摄像头的状态根据连续间隔帧(一般取间隔5帧)的相似程度来判定,采用像素差值分类准则,准则具体内容可见文献,由于摄像头可能存在轻微的晃动,阈值设置为全部像素点的85%。若满足阈值要求,则确定为背景图像,之后当前帧图像减去背景图像,再采用自适应的最大类间方差法进行阈值分割提取运动区域。最大类间方差的具体算法见文献。在Lab色彩空间中的L通道中进行图像差分和阈值分割,实验结果如图1所示。图1(a)是原始图像,图1(b)是差分图像,图1(c)是基于最大类间方差的阈值分割后的二值化图像,图像除了运动区域以外,还存在噪声点,则对图像进行数学形态学的开、闭运算,以去除图像中的噪声点,图1(d)为经过闭运算后的二值化图像。3区域生长方法的改进指示色标块的检测是在运动区域中使用区域生长来完成。本文对区域生长方法中核心的2个环节进行了改进:(1)种子的选取方法;(2)生长准则的判定方法。3.1采样点的采样在不同的背景中,运动区域分割的效果差别很大,而指示色标块是位于运动区域中的,所以,被提取运动区域可以扩大些但绝不能缩小,不然目标就有可能被丢失,因而凸包是一个很好的选择。同时为了加快计算凸包的速度,在二值化图像中先做一个sobel边缘检测以减少凸包计算的点,在此基础上再进行凸包的划分。本文采用的是Graham扫描法,通过设置一个关于候选点的堆栈S来解决凸包问题。具体步骤见文献,其中,图1(e)为边缘检测图像,图1(f)为凸包检测图像。在得到凸包后,根据凸包点对运动区域扫描采样,确定种子点。具体采样过程如下:先确定凸包点中横坐标最大和最小的2点。根据这2点把凸包分成上下2个部分(位于这2点直线上方的点属于上半部分,下方的点属于下半部分),在上半部分和下半部分的点所形成的轨迹中都从横坐标最小的点开始,每间隔横坐标10个像素点取点作为采样直线的起点和终点进行采样,一直到横坐标最大的点为停止采样。对于求得凸包采样后的样本点的点集结果见图1(g)。在Lab色彩空间中,通道a、b为色度。a对红绿敏感,b对黄蓝敏感,在a、b的值落在0～255区间上时,红色、绿色在a通道,黄色、蓝色在b通道都有一定的阈值范围,但是受到光照条件和背景环境的影响,阈值会发生偏移,本文在各种背景和光照条件下的大量实验基础上,通过统计提出了关于指示色标块颜色阈值的概率权值赋值公式。表1～表4分别为红色、绿色、黄色、蓝色的概率权值赋值公式。在运动区域中,属于指示色标块的采样点比重很少,大部分采样点都属于手肤色的采样点。所以,把0～255依次分成51个区间,然后把样本点分别入号对座,那么样本数很大的区间和样本数为0的区间就不可能是采样点,而剩下的点是指示色标块的点的概率就非常大。本文采样搜索时采用10×10的采样路径,而区间样本的阈值是5个采样点,大于5就可判定不属于指示色标块中的点,因而不是种子点。在剩余的点集中,结合表1的权值计算聚类中心确定种子点。在a通道中,0～127表示红色,128～255表示绿色,b通道中0～127表示黄色,128～255表示蓝色。以红色指示块为例,其对应的种子点的搜索步骤如下:(1)在a通道0～127中找出样本数小于5的区间。(2)根据表1权值为在步骤(1)中找到的点赋予权值。(3)根据这些赋予权值的点计算得到聚类的中心点。(4)根据与聚类中心点的差值对样本点进行排序。(5)在这些排序的点中依次为种子点进行区域生长,一旦找到满足条件的区域后后续点就不再进行区域生长。如果该区域具有一定面积和形状,则为红色指示块。3.2条件概率密度本文使用基于最小错误率的贝叶斯分类决策作为区域生长准则。在取得种子点在a通道或者b通道生长时,设符合生长准则的为类别ω1,不符合的为类别ω2,则对于任一个像素x,p(x/ω1)是ω1类状态下x的类条件概率密度,p(x/ω2)是ω2类状态下x的类条件概率密度,p(ω1)、p(ω2)分别是生长像素和不生长像素的先验概率,经过大量的实验后统计得到当前种子在a通道或b通道中的像素值为m时,先验概率见表5。则基于最小错误率的贝叶斯决策规则为:用正态分布来求得条件概率密度分布,则:根据上一步的采样和聚类结果,μi、σi分别是聚类中心的像素值和排序点的方差。则贝叶斯决策等价于:当x∈ω1时,符合生长准则进行生长,当x∈ω2不符合时,就不生长。基于最小错误率的贝叶斯决策的生长准则结果见图1(h)。应用贝叶斯决策可以使检测的效果更精确,扩大和缩小检测指示色标块的情况明显降低。4结果与分析4.1结果在检测实验中,选取多个光照条件不同的场景,使用普通摄像头进行视频拍摄。实验结果如图2所示。4.2选择灵活的种子点色标块检测的效果取决于2点:(1)运动区域的正确划分;(2)区域生长时种子的正确选择和生长准则的优劣(核心)。传统的阈值向量把色标块的颜色值规定在一个区间中,忽略了颜色值的偏移,而且设定的区间的大小直接影响检测效果,没有很好的鲁棒性,应用场合受到了严重限制。本文方法的最大改进是区域生长部分,种子选择更加灵活,而且选择的种子数量少、精度高,并能包含必需的种子点。在生长时采用最小错误率的贝叶斯决策使种子生长时效果更好,更加精确地区分指示色标块中的像素点。5改进区域生长检测手段本文利用图像的相似度来实时地确定和更新背景图片,在Lab颜色空间的L通道中进行图像差分,再采用基于最大类间方差的自适应阈值来提取运动区域,去除背景的干