基于bp神经网络的图像中兴趣区检测模型

基于bp神经网络的图像中兴趣区检测模型

0roi自动检测基本原理如果人们观察和理解图像，他们会特别注意图像的某些区域，并将其称为兴趣区域。在JPEG2000编码方案中,一个突出的优点就是用户可以在处理的图像中指定感兴趣区ROI,从而优化编码系统的设计。该技术虽然已经有一定的应用,但ROI的指定仍然依靠人工参与的交互方式,因此编码效率并不高。如果引入基于图像内容的自动分析技术,使计算机根据特定图像的内容,自动分割ROI,无疑会增强基于ROI编码系统的应用潜力。在另外一些应用系统中,如机器人视觉中的目标区域定位与识别、视频信息中字幕及标识的自动提取与识别、智能交通系统中车牌区域的自动提取与识别等,均是基于ROI的自动分割技术的具体应用,有的已经形成具有一定应用价值的产品,有着广阔的市场潜力。本文对ROI自动检测的一般性原理作简单的探索,并通过BP神经网络实现汽车图像中车牌区域的自动检测、定位与分割过程,来说明ROI自动检测方法。ROI数据模型与自适应检测系统方案设计1roi的建模基于ROI的图像检测是基于ROI的图像应用系统(压缩存储、目标识别等)的核心部分,它直接影响系统的信息处理效果。因此如何设计ROI的检测算法和算法的有效性,成为非常重要的研究内容。设f(x,y,t,λ)表示一个视频序列,其中的第k帧表示为f(x,y,k,λ),如果该帧包含ROI信息数据,则ROI背景之间的关系可用图1的简单模型表示,并可用关系式(1)描述如下式中:fr(x,y,k,λ)——ROI区域,(fr(x,y,k,λ))——所有属于ROI的像素集合,简写为(fr),类似地,(fb)——所有属于背景的像素集合。如果fr(x,y,k,λ)在(x,y,k,λ)上的支持域记为Rr(x,y,k,λ),检测并分割ROI的过程可以首先通过检测并建立ROI指示函数Ir,由Ir与原图像fr(x,y,k,λ)一起分割并提取ROI。ROI指示函数可表示如下式(2)表明,Ir的建立过程是一个多维非平稳信号空间中的二元假设检验问题,要进行这样的检测,需要分析图像数据灰度级(彩色)模型,分析f、fr、fb的关系,可以得到线性加权的灰度级模型如下f(x,y,k,λ)=(1-Ir(x,y,k))fb(x,y,k,λ)+fr(x,y,k)+W(x,y,k)fb(x,y,k)Ir(x,y,k)(3)式中:W(x,y,k)——加权系数,表示ROI区域与其被遮挡的背景部分的融合系数。对于可见光图像,若ROI为前景,且遮挡相应的背景时,W(x,y,k)=0,式(3)变为式(4)。f(x,y,t,λ)=(1-Ir(x,y,t))fu(x,y,t,λ)+fr(x,y,t)(4)1.2roi检测域内的判别条件检测提取ROI子图像的工作可以简单描述如下。(1)依据ROI的识别标识,检测在当前帧中是否存在ROI信息数据;(2)如果存在ROI,依据ROI存在支持域,分割ROI。通常,ROI识别特征集可以表示为C={Ci,i=1,2,…,L}(5)式中:Ci——ROI具有的某种识别特征。因此ROI检测域可表示为如下定理。定理在被观察的图像中,其特征满足所有ROI识别特征集的区域即为ROI。具体的工程实现如下。在进行基于ROI的分割时,只能采用逐个特征提取的办法,依次去除ROI不确定性,逐步找到准确的ROI区域,在每步去除ROI不确定性的步骤中,均存在与之相对应的特征判别条件准则。假设去除ROI不确定性的步骤分为4步,则与之相对应的判别准则分别表示为C1、C2、C3、C4。用Ck+1/Ck表示在满足Ck的条件下,进行满足Ck+1条件的检测过程,因此实际的检测过程就可用图2表示,并可用式(6)表示如下式中:{pix(C1)}——具有C1识别特征的所有点集,{pix(C2)/pix(C1)}——具有C1识别特征的条件下,同时具有C2识别特征的所有点集,其余与此类同。根据上述方程,可以画出检测系统的框图如图3所示。2关键技术及其实现2.1车辆管理目标区域经过前面的分析,已经初步建立自动检测ROI理论模型和工程实现的一般流程图,下面通过具体的工程实现来检验该模型。基于ROI的检测技术,从本质上来说是属于基于内容的图像分析技术的范畴。颜色、轮廓与形状、纹理特征分析(包括空间特征关系)是图像内容检测过程中进行图像特征提取最常用的方法。因此,根据式(6)和图3,提出基于色彩、纹理和图像区域几何特征的多层分级检测算法如下{ROS}={pix(col)}∩{pix(tex)/pix(col)}∩{pix(shape)/pix(col),pix(tex)}(7)式中:{ROS}——图像敏感信息目标区域;{pix(col)}——具有ROI颜色特征的所有像素子集;{pix(tex)/pix(col}——在具有ROI颜色特征的条件下,具有ROI纹理特征的所有像素子集;{pix(shape)/pix(col),pix(tex)}——同时具有ROI颜色和纹理特征条件下,还具有ROI形状特征的所有像素子集。下面通过汽车牌照图像中车牌区域的自动检测与分割来验证式(7)算法的有效性。首先对汽车牌照图像的特征作简单分析,得出每个特征检测集的具体描述内容。国内汽车牌照根据颜色组合可分为4类:蓝底白字、黄底黑字、黑底白字和白底黑字。汽车前牌照,其尺寸均为44cm长、14cm宽。民用汽车牌照是由一个省份汉字后跟字母或阿拉伯数字组成的7个字序列。标准车牌的具体排列格式是:X1X2·X3X4X5X6X7,X1是各省、直辖市的简称,X2是英文字母,X3是英文字母或阿拉伯数字,X4X5X6X7是阿拉伯数字。除第一个汉字外,字母和数字的笔画在竖直方向都是连通的。从人的视觉特点出发,车牌区域目标具有如下特征。①车牌底色往往与车身颜色、字符颜色有较大差异;②车牌有一个连续或由于磨损而不连续的边框,车牌内字符有多个,基本呈水平排列,所以在车牌照的矩形区域内存在较丰富的边缘,呈现出规则的纹理特征;③车牌内字符之间的间隔比较均匀,字符和牌照底色在灰度值上存在跳变,而字符本身与牌照底的内部都有较均匀的灰度;④不同图像中牌照的具体大小、位置不确定,但其长宽比有一定的范围。根据以上分析,可以采用图2来表示实际检测过程。首先将原始图像进行像素色聚类分析并二值化,得到一个由0,1构成的二维离散随机场;接下来是进行像素的凝聚性分析,得到ROI候选区域,便于进一步进行ROI区域的辨识;最后根据各候选区域的几何特征、纹理特征辨识出每块ROI区域的属性,并最终从原始图像中分割出目标ROI,实现车牌图像区域的自动检测与分割。2.2bp神经网络的实现在像素色彩聚类分析时,实际上是根据每个像素点的RGB值(或灰度值),通过图4的过程,将彩色图像的像素信息f(x,y,λ)进行非线性映射到一个有0、1组成的二维随机场BW(x,y)中。进行该过程常用两类方法,一类用确定性方法,如通过色彩的空间变换法,将RGB数据变换到易于进行分类处理的另一个色彩空间,如HSV空间,然后通过与一个事先设定的阈值作对比,将图像二值化。具体方法可参阅文献。另一类方法是直接采用神经网络的方法,通过神经网络的非线性变换特性,直接将彩色图像数据进行非线性变换,得到二值化数据。采用第二类方法进行二值化变换时,相对于第一类方法具有如下优点。由于光照、明暗程度的变化,同一种颜色在人类的色彩视觉效应中是相同的,但是它们在计算机上测量得到的数据会有非常大的出入。如果更换ROI对象时,由于不同对象具有的颜色特征完全不同,需要重新设定判别数据,适应性较差,而第二种方法正好可以克服这两方面的困难。因此,本文探讨采用BP神经网络来实现图像色彩聚类分析和后面的ROI识别检测过程。本文采用如图5所示的三层前向感知器模型。输入层包含三个节点,分别输入各像素点的RBG值,隐层包含10个节点,输出层只有一个节点。输入层的权值矩阵分别用W表示,输出层的权值矩阵用V表示。该过程可以用式(8)表示如下式中:wjk——输入层第k个节点和隐层第j个节点间的权重,vij——隐层第j个节点和输出层第i个节点间的权重,f(·)——神经元的非线性传递函数,监督输出矢量为T,则网络训练的代价函数用T与实际输出矢量Y(此处为BW(x,y)的值)差值的平方和表示为ε=12∑i(ti−yi)2ε=12∑i(ti-yi)2(9)当调整权重矩阵使代价函数取最小值时,网络训练结束。该算法的权重调整公式为式中:yi——输出层节点的输出值;pj——隐层节点的输出值yi=11+e−Σjpjwij,pj=11+e−Σkxkvjkyi=11+e-Σjpjwij,pj=11+e-Σkxkvjk(12)经过输入训练图像集和目标图像就可以训练该网络,训练结束后,所有权值矩阵W、V自动调整到最佳状态,即可进行色彩聚类分析。下面是针对该网络的训练过程和ROI检测仿真试验分析。针对不同对象的训练图像集,在训练结束后,就可以用于不同对象的ROI的自动检测,从而使系统具备自适应的功能。3roi自动分割实验根据图2,将ROI的自动检测过程分为如下几个阶段:像素色彩聚类分析、像素凝聚性分析和ROI区域辨识处理等三个阶段。采用图5的BP神经网络模型进行像素色彩聚类分析,采用图6所示的两幅图像分别作为训练图像和目标图像,对网络进行训练。首先用经典的带动量项BP算法对网络训练1000个周期,学习速度0.1,动量值0.95,学习到1000个周期时的平均误差平方和小于10-2,此时输入测试集得到测试输出值。然后将该网络用于图6(a)的测试集,测试结果见图6(b)。对于像素凝聚性分析和ROI区域辨识处理两个过程,采用与图5类似的三层网络结构,只是输入的变量个数不同,结构稍有差异,此处不再作结构图。在像素凝聚性分析时,以经过二值化处理的图像中灰度值为1的一个像素为中心的3×3矩形区域的图像数据(0,1序列)作为输入数据,通过网络检测该点邻域数据是否存在不为零的数据来判断是否连通:输出1,表示该区域连通;输出为零,表示该点为孤立点,去除。经过该步处理,图像变为几个连通的ROI候选区域,便于进一步进行ROI辨识过程。在进行ROI辨识处理时,需要对像素凝聚性分析得到的ROI候选区域进行预处理,通过计算机自动计算出各子图像的几何特征值(宽高比、黑白像素比、面积等)、纹理特征值(每行像素值跳变的平均次数等)作为ROI区域识别网络模型的输入值,该网络输入层包含6个节点,分别输入候选区域的宽高比、内部纹理特性数据等;隐层包含10个节点,输出层包含两个节点,分别给出该区域是否为ROI的结论。为验证上述算法的有效性,首先建立一个包含各种条件下拍摄的各式车辆的汽车前牌照区域图像,采用Matlab6.1将上述算法编写为m文件,分别用蓝底白字,黄底黑字的各种车牌图像验证上述算法。图6为具体的仿真试验结果。图6表明,该算法能够准确有效地自动分割车牌图像中的ROI区域。采用该算法对图像库中所有包含车牌的彩色图像(500幅)进行了ROI自动分割实验,从中随机抽取100幅,分为5组,每组的第一幅作为训练图像和后19幅作为测试集,后两组图像通过人工加入随机高斯噪声。试验过程中采用如下三种训练方案,分别对5组图像进行训练和处理。方案1将训练集图像的RGB数据直接输入图5的模型中训练,得到的ROI候选区域经过计算机自动处理后,输入辨识处理模型中训练,然后用于对测试集的识别。方案2将训练集图像压缩为64×48大小后,将其RGB数据输入图5的模型中训练,得到的ROI候选区域经过计算机自动处理后,输入辨识处理模型中训练,用于对测试集的识别。方案3将训练集图像压缩为64×48大小后,依次加入随机高斯噪声,再将其RGB数据输入图5的模型中训练,得到的ROI候选区域经过计算机自动处理后,输入辨识处理模型中训练,然后用于对测试集的识别。方案4只将训练集第一幅图像作为训练图像,将其压缩为64×48大小后,再将其RGB数据输入图5的模型中训练,得到的ROI候选区域经过计算机自动处理后,输入辨识处理模型中训练,然后用于对测试集的识别。方案5将训练集第一幅图像作为训练图像,将其压缩为64×48大小后,加入随机高斯噪声,再将其RGB数据输入图5的模型中训练,得到的ROI候选区域经过计算机自动处理后,输入辨识处理模型中训练,然后用于对测试集的识别。从表1中可以看出,方案1、2的自动检测准确度均达到98%,说明将480×640维图像变为48×64维图像,不会影响ROI的自动检测;方案3为加入随机高斯噪声后,网络性能并没有显著降低,仍然达到97.5%,说明网络具备较强的抗干扰性能。方案4、5为降低训练的图像数量,可以看到网络的处理效果稍微有所下降,但仍然达到非常好的效果。4基于bp神经网络的多层自动检测模型基于ROI的