模式识别及其在图像处理中的应用

-4-学号：

1049721603719武汉理工大学模式识别及其在图像处理中的应用学院（系）：自动化学院课程名称：模式识别原理专业班级：控制科学与工程1603班任课教师：张素文学生姓名：王红刚2017年1月3日模式识别及其在图像处理中的应用摘要:随着计算机和人工智能技术的发展,模式识别在图像处理中的应用日益广泛。综述了模式识别在图像处理中特征提取、主要的识别方法(统计决策法、句法识别、模糊识别、神经网络)及其存在的问题,并且对近年来模式识别的新进展———支持向量机与仿生模式识别做了分析和总结,最后讨论了模式识别亟待解决的问题并对其发展进行了展望。关键词:模式识别;图像处理;特征提取;识别方法PatternRecognitionandItsApplicationinImageProcessingAbstract:Withthedevelopmentofcomputerandartificialintelli-gence,patternrecognitioniswidelyusedintheimageprocessingin-creasingly.Thefeatureextractionandthemainmethodsofpatternrecognitionintheimageprocessing,whichincludestatisticaldeci-sion,structuralmethod,fuzzymethod,artificialneuralnetworkaresummarized.Thesupportvectorandbionicpatternrecognitionwhicharethenewdevelopmentsofthepatternrecognitionarealsoanalyzed.Atlast,theproblemstobesolvedanddevelopmenttrendsarediscussed.Keywords:patternrecognition;imageprocessing;featureextrac-tion;recognitionmethods模式识别方法大致可以分为4类:统计决策法、结构模式识别方法、模糊模式识别方法与基于人工智能方法。其中基于人工智能的方法本文主要介绍人工神经网络模式识别方法。前两种方法发展得比较早,理论相对也比较成熟,在早期的模式识别中应用较多。后两种方法目前的应用较多,由于模糊方法更合乎逻辑、神经网络方法具有较强的解决复杂模式识别的能力,因此日益得到人们的重视。3.1 统计决策法统计决策法以概率论和数理统计为基础,它包括参数方法和非参数方法。p(x|ωi)P(ωi)参数方法主要以Bayes决策准则为指导。其中最小错误率和最小风险贝叶斯决策是最常用的两种决策方法。假定特征对于给定类的影响独立于其他特征,在决策分类的类别N已知与各类别的先验概率P(ωi)及类条件概率密度p(x|ωi)已知的情况下,对于一特征矢量x根据式(1)计算待检模式在各类中发生的后验概率P(ωi|x),p(x|ωi)P(ωi)N∑p(x|ωi)P(ωiN∑p(x|ωi)P(ωi)i=1（（1）在贝叶斯决策的基础上,根据各种错误决策造成损失的不同,人们提出基于贝叶斯风险的决策,即计算给定特征矢量x在各种决策中的条件风险大小,找出其中风险最小的决策。实际上对于具体的模式识别问题,先验概率和类条件概率密度很难精确知道。先验概率根据样本总数可大致估计,类条件概率密度可采用统计学中的最大似然估计法、Bayes估计法等进行估计。这类方法应用于图像分割、图像复原以及图像识别等方面。在图像分割中,假定图中的数据是服从K个概率密度混合分布的样本,然后估计概率密度函数的参数,最后计算后验概率或风险,对像素进行归类,从而达到分割图像的目的。一般情况下,往往假定概率密度函数是高斯型的,这一方面很多情况下样本的分布接近高斯分布,另一方面是数学上处理相对比较简单。和图像分割的原理类似,图像识别也是对图像的某些特征采用贝叶斯决策的方法设计分类器,根据分类器对未知图像的特征进行识别。参数估计方法的理论基础是样本数目趋近于无穷大时的渐进理论。在样本数目很大时,参数估计的结果才趋近于真实的模型。然而实际样本数目总是有限的,很难满足这一要求。另外参数估计的另一个前提条件是特征独立性,这一点有时和实际差别较大。实际上在样本数量不是很大的情况下,往往根据样本直接设计分类器,这就是非参数方法。这类方法物理意义直观,但所得的结果和错误率往往没有直接联系,所设计的分类器不能保证最优。比较典型的方法如线性分类器、最近邻方法、K均值聚类法等。在图像压缩领域的矢量量化编码算法中,码书的训练就是一个典型的聚类过程,压缩的效果和聚类的结果关系很大。在图像分割中,采用对像素或图像的其他特征进行聚类,达到图像分割的目的。然而,统计决策理论主要集中在数量的统计关系上而忽略了刻画模式的结构特征。图像处理往往与图像的结构信息有关,对于很复杂的图像,要求的特征量非常巨大,要把某一模式准确分类很困难,这时采用统计分类方法很难实现,因此设法分割出图像的基元子模式,将基元按照一定句法关系组合来代替原图像进行分类,这就涉及到结构模式识别的问题。3.2结构模式识别结构模式识别是利用模式的结构描述与句法描述之间的相似性对模式进行分类。每个模式由它的各个子部分(称为子模式或模式基元)的组合来表示。对模式的识别常以句法分析的方式进行,即依据给定的一组句法规则来剖析模式的结构。当模式中每一个基元被辨认后,识别过程就可通过执行语法分析来实现。选择合适的基元是结构模式识别的关键。基元应具有“结构简单、含义明确、能方便地描述数据、易于抽取、结构信息少”等特点。由于基元选择的不确定性以及基元特征的多样性,实际应用中有时很难同时满足以上特点,所以有必要在基元的复杂性和易识别性之间取一个恰当的折衷。结构模式识别主要用于文字识别、遥感图形的识别与分析、纹理图像的分析中。该方法的特点是识别方便,能够反映模式的结构特征,能描述模式的性质,对图像畸变的抗干扰能力较强。如何选择基元是本方法的一个关键问题,尤其是当存在干扰及噪声时,抽取基元更困难,且易失误。基于统计决策和结构模式识别在早期的模式识别中应用比较多,随着人们对模式识别要求的提高,在解决一些复杂的模式识别问题时,上述方法的局限性越来越明显。模糊逻辑思想和神经网络的提出,为人们解决模式识别问题提供了新的思路。3.3模糊模式识别1965年Zadeh提出了他著名的模糊集理论,使人们认识事物的传统二值0,1逻辑转化为[0,1]区间上的逻辑,这种刻画事物的方法改变了人们以往单纯地通过事物内涵来描述其特征的片面方式,并提供了能综合事物内涵与外延性态的合理数学模型———隶属度函数。对于A、B两类问题,传统二值逻辑认为样本C要么属于A,要么属于B,但是模糊逻辑认为C既属于A,又属于B,二者的区别在于C在这两类中的隶属度不同。所谓模糊模式识别就是解决模式识别问题时引入模糊逻辑的方法或思想。同一般的模式识别方法相比较,模糊模式识别具有客体信息表达更加合理,信息利用充分,各种算法简单灵巧,识别稳定性好,推理能力强的特点。模糊模式识别在图像处理中也被广泛应用,文献[15]还将模糊K近邻(FKNN)方法用于盲图像的反卷积,实验结果证明了这种方法的有效性;文献[16]将模糊技术同K均值聚类结合用于矢量量化编码中,这种方法消除了聚类初始化对结果码书的依赖性，提高了聚类结果的鲁棒性，文献[17]将模糊方法同K近邻(K-NN)结合,对图像进行分类,取得比传统K-NN方法更好的效果。文献[18]将模糊逻辑同BP神经网络相结合对手写字符识别,取得接近100%的效果。文献以上方法在获得比较好的效果的同时,往往增加一定的计算量,但是有些算法本身比较简单,在同其他算法的结合中,模糊思想运用引入的计算开销有时同整个算法的计算量相比并不大,计算速度通常是可以接受的。模糊模式识别的关键在隶属度函数的建立,目前主要的方法有模糊统计法、模糊分布法、二元对比排序法、相对比较法和专家评分法等。虽然这些方法具有一定的客观规律性与科学性,但同时也包含一定的主观因素,准确合理的隶属度函数很难得到,如何在模糊模式识别方法中建立比较合理的隶属度函数是需要进一步解决的问题。3.4人工神经网络模式识别早在20世纪50年代,研究人员就开始模拟动物神经系统的某些功能,他们采用软件或硬件的办法,建立了许多以大量处理单元为结点,处理单元间实现(加权值的)互联的拓扑网络,进行模拟。称之为人工神经网络。这种方法可以看作是对原始特征空间进行非线性变换,产生一个新的样本空间,使得变换后的特征线性可分。同传统统计方法相比,其分类器是与概率分布无关的。人工神经网络的主要特点在于其具有信息处理的并行性、自组织和自适应性、具有很强的学习能力和联想功能以及容错性能等,在解决一些复杂的模式识别问题中显示出其独特的优势。近年来,在图像处理中应用也很多。有的采用自组织网络对医学图像进行分割,并能够将CT图像中的病灶分割出来。有的利用各种神经网络方法识别图像的情况,取得一些令人满意的结果。人工神经网络是一种复杂的非线性映射方法,其物理意义比较难解释,在理论上还存在一系列亟待解决的问题。例如在设计上,网络层数的确定和节点个数的选取带有很大的经验性和盲目性,缺乏理论指导,网络结构的设计仍是一个尚未解决的问题。在算法复杂度方面,神经网络计算复杂度大,在特征维数比较高时,样本训练时间比较长;在算法稳定性方面,学习过程中容易陷入局部极小,并且存在欠学习与过学习的现象,范化能力不容易控制。这些也是制约人工神经网络进一步发展的关键问题。近些年来基于统计学习理论的支撑向量机在模式识别方法表现出出色的学习性能和范化能力,同神经网络相比,其可有效地克服局部极小、维数灾难等问题,因而成为目前模式识别领域中又一个研究热点。模式识别的新进展及其在图像处理中的应用.1支撑向量机前面提到,在有限样本尤其是小样本的情况下,采用统计决策法中的很多方法都难以取得理想的效果。Vapnik早在20世纪60年代开始研究有限样本情况下的机器学习问题,直至90年代才形成一个较完善的理论体系——统计学习理论。该理论定义了衡量函数集性能的指标——VC维,VC维越大,函数的推广能力越差,VC维越小,函数的推广能力越强。在该理论的框架下,经验风险最小化原则下学习机器的实际风险由两部分组成nnhR(w)≤Remp(w)+Ø()式中第一项为训练样本的经验风险;第二项为置信范围,在训练样本数目n一定的情况下,函数集的VC维越大,其置信范围越大。因此,在设计分类器时,不但要使经验风险最小,同时也要使VC维尽量小,缩小置信范围,从而提高分类器的预测能力。统计学习理论提出了结构风险最小化的原则:即把函数集分解为一个函数集序列,使各个子集能够根据VC维的大小排列,在每个子集中寻找最小经验风险。选择最小经验风险和置信范围之和最小的子集,即达到期望风险最小,这个子集中使期望风险最小的函数也即所求的最优函数。这种思想称为结构风险最小化SRM(structuralriskminimization),如图2所示。图2结构风险最小化示意图实现结构风险最小化有两种方法:一是在函数集的每一子集中求最小经验风险,然后选择最小经验风险和置信范围最小的子集。这种方法类似穷举法,计算量比较大,当子集数目很大时几乎无法实现。另一种方法是设计函数集的某种结构,使每个子集中都能取得最小的经验风险,然后选择适当的子集使置信范围最小,这个子集中使经验风险最小的函数就是最优函数。支撑向量机SVM(supportvectormachine)是结构风险最小化的第二种实现方法的体现。其基本思想是:首先通过非线性变换将输入空间变换到一个高维空间,甚至是一个无限维空间,然后在这个高维空间求取最优分类面,其中非线性变换是通过核函数的方法来实现的。SVM方法通过内积计算比较有效地解决了维数灾难问题,通过在高维空间设计最优分类面,比较好地实现了VC维最小的问题;在数学上支撑向量机的训练问题可转化为一个求解受约束的二次型规划(QP)问题,这个问题存在惟一解,避免了神经网络训练结果不稳定、容易陷入局部极小的问题,因而SVM方法是一种比较好的模式识别方法。SVM最初用来解决两类问题,表现出优越的性能,一个很自然的想法就是将其推广到多类识别问题。多类SVM的分类和识别主要有两种方法,一是根据多类样本集直接设计分类器,此时分类器的设计问题可转化为一个考虑所有样本的优化问题。在样本比较多时,这种方法求解比较复杂;另一种是分解法,将多类样本分类器的设计转化为多个两类问题的分类器设计问题,由于这类方法比直接法求解简单,在实际中应用很广。比较有代表性的训练和预测多类SVM的方法有一对一OAO(oneagainstone)、一对多OAA(oneagainstall)和有向无回路图DAG(directedacyclicgraph)方法和决策树(decisivetree)方法等。SVM的优越性能引起人们极大的研究兴趣,它被越来越多的图像处理研究者和工作者所应用。由于SVM的范化能力比较好,因而常常获得比其他方法更好的识别效果。4.2 仿生模式识别前面介绍的各种模式识别方法都是假定分类信息是完全包含在训练样本内,以两类或多类样本的最优划分为基础,分类器的训练过程实际上可以看作对样本的划分过程。文献[21]提出把模式识别问题看成是模式的“认识”,而不是分类划分,不是模式分类;是一类一类样本的“认识”,而不是多类样本的划分。为了强调与传统模式识别在概念上的不同,文献[20]中采用“仿生模式识别”这一概念,“仿生”的含义只是在模式识别的功能和数学模型上强调了“认识”的概念,更接近于人类的认识。传统模式识别从特征空间中不同类样本的划分出发设计分类器。而仿生模式识别就在引入特征空间同类样本的连续性规律,对一类事物的“认识”,实际上是对这类事物的全体在特征空间中形成的无穷点集合的“形状”的分析和认识,文中根据这种规律性建立起“多维空间中非超球复杂几何形体覆盖”的识别原理。文献[21]根据这一思想,采用神经网络覆盖的方法训练样本,对8种实物模型进行训练与识别,取得了比较好的识别效果,全部识别样本没有一次误识。文献[23]基于仿生模式识别的多镜头人脸身份确认系统研究中,采用多权值神经网络算法,同样得到比较好的识别率。这种高的识别率显示了这一思想在模式识别方面的潜力。仿生模式识别提出了一种新的模式识别思想,为模式识别的研究开辟了一个崭新的研究方向。文献[21～23]采用神经网络覆盖来实现该思想,不可避免地遇到训练速度慢、网络结构参数、节点个数选择等选择问题,因此这种思想的实现模型有待于进一步的研究。以上的各种模式识别方法都有其特点和适用范围。研究表明,不同的分类器错误率所覆盖的范围不同,多个分类器之间既存在一定的冗余性,同时也存在一定的信息互补性。多个分类器联合应用,可以提高正确识别率。文献[24]对多种分类器联合的最终决策的多种方法进行了分析和比较,并且给出了各种决策方法的适用条件。文献[25]采用了7个分类器,用模式识别中常用的不同数据集对每一个分类器单独做实验,然后根据各自的结果对分类器进行组合决策,从中选出效果最优的组合作为最终分类器的组合,结果表明这种识别效果比较理想。当然,这种方法提高识别率的同时,牺牲了一部分计算代价。模式识别发展到今天,已经提出了200多种分类和识别方法,如何进行已有分类器的组合,解决具体的模式识别问题也是一个值得注意的问题。5展望随着计算机和人工智能技术的发展,人们对计算机图像处理中自动图像处理的要求越来越高,因此对模式识别技术提出更高的要求。到目前为止,虽然模式识别在图像处理中的应用取得了一些可喜的成就,但是它还存在一系列亟待解决问题,例如支撑向量机中核函数的选择问题、VC维的计算和估计问题，神经网络节点选择和结构设计问题、仿生模式识别新思想的建模和实现问题、多种方法综合运用中的分类器选择问题等,这些问题的解决将直接推动模式识别领域的发展,进而推动其在图像处理领域的应用。同时,模式识别是一门综合性学科,它涉及和利用到数学、计算机科学等多学科的知识,如何将这些学科的新方法新成就综合应用到模式识别中,提出更加符合人类认识的识别方法也是进一步值得研究的问题。参考文献[1]边肇祺,张学工,等.模式识别(第二版)[M].北京:清华大学出版社,2000-01.[2]JainAK,DuinRobertPW,MaoJianchang.Statisticalpatternrecog-nition:areview[J].IEEETransactionsonpatternanalysisandma-chineintelligence,2000,22(1):4-37.[3]沈清,汤森.模式识别导论[M].长沙:国防科技大学出版社,1991.[4]戚飞虎.模式识别与图象处理[M].上海:上海科学技术出版社,1989.[5]吴传孙.汽车牌照自动识别技术研究[D].江西师范大学,2003.[6]黄宁.遥感图像中模式分类技术的研究[D].中国科学院,2003.[7]YangMH,AhujaN.KriegmanD.Facerecognitionusingkerneleigenfaces[A].IEEEInternationalConferenceonImageProcessing,2000-01:37-40.[8]ZobelM,GebhardA,PaulusD,etal.Robustfacialfeaturelocalization

bycoupledfeatures,Proceedings[A].FourthIEEEInternationalConferenceonAutomaticFaceandGestureRecognition,2000-03:2-7[9]TangYuanY,TaoYu,LamErnestCM.Newmethodforfeatureextractionbasedonfractalbehavior[J].PatternRecognition,2002.[10]范昕炜.支持向量机算法的研究及其应用[D].浙江大学,2003.[11]吴艳冬.复杂背景的人脸检测与定位[D].大连理工大学,2002.[12]Usingneu-ralnetworks[A].ProceedingsofIEEEInternationalConferenceonImageProcessing,1994-03:936-939.[13]GuoGuodong,LiSZ,ChanKapluk.Facerecognitionbysupportvec-tormachines[A].ProceedingsofFourthIEEEInternationalConfer-enceonAutomaticFaceandGestureRecognition,2000,196-201.[14]Machines:anapplicationtofacedetection[A].ProceedingsofIEEEComputerSo-ietyConferenceonComputerVisionandPatternRecognition,1997.[15]ChenLi,YapKim-Hui.AfuzzyK-nearest-neighboralgorithmtoblindimagedeconvolution[A].IEEEInternationalConferenceonSystems,ManandCybernetics,2003-03:2049-2054[16]KarayiannisNB,PaiPI.Fuzzyvectorquantizationalgorithmsandtheirapplicationinimagecompression[J].IEEETransactionsonImageProcessing,1995,4(9):1193-1201[17]HanJH,KimYK.AfuzzyK-NNalgorithmusingweightsfromthevarianceofmembershipvalues[A].I