图像匹配与识别

图像匹配与识别第一页，共五十三页，2022年，8月28日2023/1/252第11章图像匹配与识别11.1模式与模式识别11.2基于匹配的识别技术11.3统计模式识别11.4句法模式识别11.5模糊模式识别方法11.6人工神经网络识别法11.7统计学习理论和支持向量机识别方法11.8小结第二页，共五十三页，2022年，8月28日2023/1/25311.1模式与模式识别

11.1.1模式的概念模式识别(patternrecognition)作为一门学科有其系统的理论基础和技术方法。模式识别属于图像分析的范畴，它所得到的结果是一幅有明确意义的数值或符号构成的图像或图形文件，而不再是一幅具有随机分布性质的图像。模式识别的目的:对图像中的物体进行分类;找出图像中有哪些物体。第三页，共五十三页，2022年，8月28日2023/1/254举例

在人们的日常生活和工作中，模式识别是普遍存在和经常进行的过程。例如，医师为一个患者看病，首先要测量这个患者的体温和血压，化验血沉，询问临床表现然后通过综合分析，抓住主要病症，最后医师运用自己的知识，根据主要病症，为这个患者作出正确的诊断。上述医师为患者诊断的过程就是模式识别的一个完整过程。在模式识别技术中，经常使用的术语有样本、模式、特征和类型等。医院里有许多患者，每个患者都是一个样本。请医生给出诊断的某一个患者，就是来自许多患者中的单一样本。患者的体温、血压等测量值，就是这个样本的诸测量值。样本诸测量值的综合，在模式识中被称为模式。具有某种模式的样本，有时称为模式样本。获得某个样本诸测量值的过程称为模式采集。患者的主要病症可以称为样本的特征。模式样本诸测量值经过综合分析找出主要病症这个过程在模式识别技术中称为特征提取和特征选择。医帅运用自己的知识作出诊断，在模式识别中称为分类判决。医师的知识是判决的准则，或者称为判决规则。判决结果把患者区分成某种疾病的患者，这就是把样本(患者)区分成相应的类型(疾病)。第四页，共五十三页，2022年，8月28日2023/1/255模式模式就是存在于时间和空间中，可以区别它们是否相同或相似的可观察的事物。模式所指的不是事物本身，而是从事物中获取的信息。模式往往表现为具有时间和空间分布的信息。模式的直观特性:可观察性可区分性相似性第五页，共五十三页，2022年，8月28日2023/1/25611.1.2模式识别系统模式识别技术起源于人类自身对事物的认知分析过程，是依据一定的量度或观测基础把待识别模式划分到各自的模式类中去的过程。模式类是指模式所属的类别或同一类中模式的总体。模式识别–

直观，无所不在，“人以类聚，物以群分”周围物体的认知：桌子、椅子人的识别：张三、李四声音的辨别：汽车、火车，狗叫、人语气味的分辨：炸带鱼、红烧肉人和动物的模式识别能力是极其平常的，但对计算机来说却是非常困难的。

第六页，共五十三页，2022年，8月28日2023/1/257图像分析技术分类的三种基本范畴知识库分割表示与描述识别与解释预处理图像获取低级处理高级处理中级处理结果问题图像分析系统的组成第七页，共五十三页，2022年，8月28日2023/1/258图像分析技术图像分析技术分类的三种基本范畴低级处理：图像获取、预处理，不需要智能中级处理：图像分割、表示与描述，需要智能高级处理：图像识别、解释，缺少理论，为降低难度，设计得更专用。第八页，共五十三页，2022年，8月28日2023/1/259模式识别系统的基本构成信息获取或模式采集数据预处理特征提取和选择分类器设计分类决策训练过程输出结果模式识别步骤：图像分割（物体分离）：检测出各个物体，并把它们的图像和其余景物分离;特征抽取：对物体进行度量。通过计算对物体的一些重要特性进行量化表示;分类：确定每个物体应该归属的类别.第九页，共五十三页，2022年，8月28日2023/1/25101.信息获取部分（或模式采集）为了使计算机能够对各种现象进行分类识别，首先利用各种输入设备将要识别对象的信息输入计算机。

通过测量、采样和量化，可以用矩阵或者向量来表示待识别对象的信息。这就是信息获取的过程。模式识别系统获取的信息，如：二维图像：文字、指纹、地图、照片等一维波形：脑电图、心电图、季节震动波形等物理参量和逻辑值：体温、化验数据、参量正常与否的描述第十页，共五十三页，2022年，8月28日2023/1/2511模式识别系统2.预处理部分预处理的目的就是去除噪声，加强有用的信息，并对输入测量仪器或其他因素所造成的退化现象进行复原。对于数字图像来说，预处理就是应用前面讲到的图像复原、增强和变换等技术对图像进行处理，提高图像的视觉效果，优化各种统计指标，为特征提取提供高质量的图像。第十一页，共五十三页，2022年，8月28日2023/1/25123.特征提取和选择由于待识别对象的数据量可能是相当大的，为了有效的实现分类识别，就要对原始数据进行某种变换，得到最能反映分类本质的特征。这就是特征提取和选择的过程。特征提取实现由模式空间向特征空间的转变，成功地压缩维数。

模式识别系统测量空间：原始数据组成的空间特征空间：分类识别赖以进行的空间模式表示：维数较高的测量空间->维数较低的特征空间第十二页，共五十三页，2022年，8月28日2023/1/2513模式识别系统4.决策分类决策分类就是利用特征空间中获得的信息，对计算机进行训练，从而制定判别标准，用某种方法把待识别对象归为某一类别的过程。

基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小第十三页，共五十三页，2022年，8月28日2023/1/2514模式识别系统5.分类器的训练/学习为了能使分类器有效地进行分类判决，还必须首先对分类器进行训练，即分类器首先要进行学习。研究机器的自动识别，对分类器进行训练，使它学会识别，具有自动识别的能力，就尤为重要。一个孩子认字尚需一个反复学习过程，何况一部机器要掌握某种判决规则，学习过程更不可缺少。这种过程往往要多次反复，不断地纠正错误，最后才能使机器自动诊断的错误率不超过给定的要求。这种输人、修正，再输人、再修正，不断反复循环，直到分类错误率不大于给定值为止，才完成一个完整的学习过程。学习又可分为两种，一叫做预分类的训练试验，即监督训练，和未分类的训练试验，即无监督训练。第十四页，共五十三页，2022年，8月28日2023/1/2515模式识别实例在传送带上用光学传感器件对鱼按品种分类 鲈鱼(Seabass)

品种 鲑鱼(Salmon)第十五页，共五十三页，2022年，8月28日2023/1/2516模式识别实例识别过程：数据获取：架设一个摄像机，采集一些样本图像，获取样本数据。预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量长度亮度宽度鱼翅的数量和形状嘴的位置，等等…分类决策：把特征送入决策分类器第十六页，共五十三页，2022年，8月28日2023/1/2517模式分类器的获取和评测过程数据采集特征选取模型选择训练和测试计算结果和复杂度分析，反馈第十七页，共五十三页，2022年，8月28日2023/1/2518训练和测试训练集：是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。测试集：在设计识别和分类系统时没有用过的独立样本集。系统评价原则：为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。第十八页，共五十三页，2022年，8月28日2023/1/251911.1.3模式识别方法的分类１．统计模式识别方法将提取的特征向量定义在一个特征空间中，不同类别的对象都对应于空间中的一点，在分类阶段，利用统计决策原理对特征空间进行划分，从而识别不同特征的对象。

第十九页，共五十三页，2022年，8月28日2023/1/2520２．模糊模式识别模糊识别的理论基础是模糊数学(fuzzymath)。它根据人辨识事物的思维逻辑，吸取人脑的识别特点，将计算机中常用的二值逻辑转向连续逻辑。模糊识别的结果是用被识别对象隶属于某一类别的程度，即隶属度来表示的。

11.1.3模式识别方法的分类第二十页，共五十三页，2022年，8月28日2023/1/2521３．人工神经网络模式识别人工神经网络研究源于对生物神经系统的研究。它将若干个处理单元(即神经元)通过一定的互连模型连结成一个网络，这个网络通过一定的机制(如误差后向传播)可以模仿人的神经系统的动作过程，以达到识别分类的目的。11.1.3模式识别方法的分类第二十一页，共五十三页，2022年，8月28日2023/1/2522４．句法结构模式识别着眼于对待识别对象的结构特征的描述。将一个识别对象看成是一个语言结构，例如一个句子是由单词和标点符号按照一定的语法规则生成的，同样，一幅图像是由点、线、面等基本元素按照一定的规则构成的。11.1.3模式识别方法的分类第二十二页，共五十三页，2022年，8月28日2023/1/252311.1.4模式识别的应用

模式识别已经在天气预报、卫星航空图片解释、工业产品检测、字符识别、语音识别、指纹识别、医学图像分析等许多方面得到了成功的应用。分为以下几个方面：字符识别如清华的尚书OCR识别软件；邮局信函自动分拣机生物特征识别指纹识别,人像识别等遥感应用卫星云图,地面导弹、飞机场等设施的卫星图像识别处理医学诊断CT等图像的识别处理第二十三页，共五十三页，2022年，8月28日2023/1/252411.2基于匹配的识别技术11.2.1全局模板匹配为了从图像中确定出是否存在某一目标，可把某目标从标准图像中预先分割出来作为全局描述的模板，然后在另一幅图像中搜索是否有这种模板目标。设全图像f(x,y)大小为M×N，若目标模板是J×K大小的w(x,y)，常用相关度量R(x，y)来表示它们之间的相关性：式中，m=0,1,2…,M-1;n=0,1,2,…,N-1。第二十四页，共五十三页，2022年，8月28日2023/1/252511.2.1全局模板匹配进一步，规格化相关度：

第二十五页，共五十三页，2022年，8月28日2023/1/2526

上式中设样板所框出范围都是j,k从１到J,K计算，而(m,n)则为f(x,y)的MN小区中任一点，式中f1(x,y)是f(x,y)在(m,n)点框出JK大小的f(x,y)区，当m,n改变时，可搜索到一个R(m,n)最大值即为样板配准或匹配的位置。若图像和目标样板用f和w1向量表示，则相关计算为：

式中w1为w(j-m,k-n)形成的向量。

模板匹配与空间滤波非常相似。即，模板匹配表示把w(x,y)当作加权矩阵对f(x,y)进行空间滤波。第二十六页，共五十三页，2022年，8月28日2023/1/2527ＮyMxJ(m,n)w(x,y)K在点(m,n)处的全局样本相关第二十七页，共五十三页，2022年，8月28日例通过相关系数进行目标匹配图a是f(x,y),图b是w(x,y),图c是相关系数r(x,y).在f和w之间找到最佳匹配的地方,相关系数r(x,y)的值最大(更亮).2023/1/2528第二十八页，共五十三页，2022年，8月28日2023/1/252911.2.2模板向量匹配

若用向量描述模板，则相关匹配可以用求向量差的方法求相关，如用相似度作为模板与图像某子区的匹配量度。把图像被J×K框出部分用向量表示，模板也用向量表示，这时两个向量相似度可用两个向量的向量差为相似度的一种度量，差值D(m,n)D(m,n)是被搜索到的图像场f(j,k)和样板w差。规定一个最小向量差的阈值Ｔ，若D(m,n)＜Ｔ，则说明在(m,n)位置上匹配，向量仅为J×K维。第二十九页，共五十三页，2022年，8月28日2023/1/253011.2.3特征匹配若图像待识别部分和样板都用特征向量表示，则向量的维数大为减少。例如用不变矩描述时，则f(j,k)和w(j,k)特征向量只有7维(参见10.3.3)，即

x=(x11,x12,x13,x14,x15,x16,x17)w=(w11,w12,w13,w14,w15,w16,w17)X和W向量差可用差向量的范数来表示：

DJ(x,w)=||x-w||2=(x-w)T(x-w)若图像中已分割出Ｌ个目标物，求其中是否有目标物Ｗ，则只需求出Ｌ个

Dj(x,w)=||w-xj||2j=1,2,…,L

选出其中最小的一个Ｄj，即为与w相似的图像。第三十页，共五十三页，2022年，8月28日2023/1/253111.3统计模式识别统计模式识别主要是根据模式统计特性，采用一系列自动处理技术对给定模式进行大量统计分析，抓取反映模式本质的特征而进行赋值和分类识别处理。

统计识别认为图像可能包含有一个或若干个不同的物体，对于每一个物体都应当属于若干事先定义的模式类之一。第三十一页，共五十三页，2022年，8月28日2023/1/2532统计模式识别的过程统计模式识别方法最终都要归结为分类的问题。如果从某个模式中共抽取N个模式符图像，可以分为m个模式类，那么就可以对N进行分类，进而决定出未知图像属于这m个模式类中的哪一种。对模式的分类主要建立在统计决策理论之上的，而决策理论方法又要用到决策函数。通常可以把识别模式当作是对一个n维模式矢量进行分类，即：其中xi为描述模式表达方式的第i个描述符。第三十二页，共五十三页，2022年，8月28日2023/1/2533

上式代表了一个n维模式矢量，对于给定的m个模式类ω1，ω2，ω3，…，ωm，识别过程就是要确定此n维模式矢量是否属于模式类ωi，以及模式矢量中的每一个x可以划归到哪一个ωi模式类。该问题也可以转化为对决策函数d1(x),d2(x),…,dm(x)的确定，如果模式x属于模式类ωi，就有

di(x)>dj(x),j=1,2,…,m,i≠j

从另一个角度考虑：如果将未知模式代入所有的决策函数，得到第i个决策函数的计算结果最大，那么就可以将这个未知模式划归到第i个模式类。

关键问题是找到合适的决策判别函数。这个过程叫学习或训练。第三十三页，共五十三页，2022年，8月28日2023/1/2534实例：统计模式识别19名男女同学进行体检，测量了身高和体重，但事后发现其中有4人忘记填写性别，试问（在最小错误的条件下）这4人是男是女？体检数值如下：第三十四页，共五十三页，2022年，8月28日2023/1/2535实例：统计模式识别待识别的模式：性别（男或女）测量的特征：身高和体重训练样本：15名已知性别的样本特征目标：希望借助于训练样本的特征建立判别函数（即数学模型）第三十五页，共五十三页，2022年，8月28日2023/1/2536实例：统计模式识别由训练样本得到的特征空间分布图第三十六页，共五十三页，2022年，8月28日2023/1/2537实例：统计模式识别从图中训练样本的分布情况，找出男、女两类特征各自的聚类特点，从而求取一个判别函数（直线或曲线）。只要给出待分类的模式特征的数值，看它在特征平面上落在判别函数的哪一侧，就可以判别是男还是女了。第三十七页，共五十三页，2022年，8月28日2023/1/253811.4句法模式识别

所谓句法，是描述语法规则的一种法则。一个完整的句子一定是主语+谓语或主语+谓语+宾语(或表语)的基本结构构成。一种特定的语言，一定类型的句子之间是有一定的结构顺序的。特点：无规则的任意组合，必然达不到正确的思想交流。形容词、副词、冠词等可以与名词、动词构成“短语”，丰富句子要表达的思想内容。而这些短语的构成也是有特定规律的。第三十八页，共五十三页，2022年，8月28日2023/1/2539句子的层状结构第三十九页，共五十三页，2022年，8月28日2023/1/2540自然句法规则的思想可以移植到图像的模式识别中。尽管自然界的景物组合是千变万化的，但仔细分析可以看出：某一对象的结构，也存在一些不变的规则。一座房子由内屋顶和墙面构成。组成屋顶的几何图形，可以是三角形、四边形、圆形等，组成墙平面的几何图形也是由矩形、平行四边形(透视效果)等构成，至少某一个墙面应该有门，而窗的高度不低于门等等。进一步，还可以提出一些用来刻画构成一所房子的规则，如屋顶一定在墙面之上，且由墙面支撑。一所房子这些规则就像构成一个句子的句法规则一样，是不能改变的。第四十页，共五十三页，2022年，8月28日2023/1/2541如果将描述房子的规则(它构成一个房子的模式)存于计算机，要在一张风景照片上去识别有无房子，那么就可按照片上所有景物的外形匹配是否符合房子的模式(房子构成规则)。符合房子模式的就输出为“有房子”，否则，输出“无房子”。句法模式识别是将一个复杂的模式分解成一系列更简单的模式(子模式)，对子模式继续分解，最后分解成最简单的子模式(或称基元)，借助于一种形式语言对模式的结构进行描述，从而识别图像。模式、子模式、基元类似于英文句子的短语、单词、字母，这种识别方法类似语言的句法结构分析。因此称为句法模式识别。第四十一页，共五十三页，2022年，8月28日2023/1/2542句法模式识别系统框图第四十二页，共五十三页，2022年，8月28日2023/1/2543实例：句法模式识别问题：如何利用对图像的结构信息描述，识别如下所示图片：第四十三页，共五十三页，2022年，8月28日2023/1/2544实例：句法模式识别将整个场景图像结构分解成一些比较简单的子图像的组合；子图像又用一些更为简单的基本图像单元来表示，直至子图像达到了我们认为的最简单的图像单元（基元）；所有这些基元按一定的结构关系来表示，利用多级树结构对其进行描述（这种描述可以采用形式语言理论）。第四十四页，共五十三页，2022年，8月28日2023/1/2545实例：句法模式识别多级树描述结构第四十五页，共五十三页，2022年，8月28日2023/1/2546实例：句法模式识别训练过程：用已知结构信息的图像作为训练样本，先识别出基元（比如场景图中的X、Y、Z等简单平面）和它们之间的连接关系（例如长方体E是由X、Y和Z三个面拼接而成），并用字母符号代表之；然后用构造句子的文法来描述生成这幅场景的过程，由此推断出生成该场景的一种文法。第四十六页，共五十三页，2022年，8月28日2023/1/2547实例：句法模式识别识别过程：先对未知结构信息的图像进行基元提取及其相互结构关系的识别；然后用训练过程获得的文法做句法分析；如果能被已知结构信息的文法分析出来，则该幅未知图像与训练样本具有相同的结构（识别成功），否则就不是这种结构（识别失败）。第四十七页，共五十三页，2022年，8月28日2023/1/254811.5模糊模式识别方法

问题：“张三是个学生吗？”-----回答是精确的“