图像识别技术1教材课件

第六章图像识别与处理技术授课老师：蒙自明物理与光电工程学院mengzm@1第六章图像识别与处理技术授课老师：蒙自明1获取信息处理信息识别信息被识别信息已识别信息自动识别系统自动识别系统是一个以信息处理为主的技术系统，它的输入端是将被识别的信息，输出端是已识别的信息。自动识别系统的输入信息分为特定格式信息和图像图形格式信息两大类2获取信息处理信息识别信息被识别信息已识别信息自动识别系统自动1、特定格式信息识别系统特定格式信息就是采用规定的表现形式来表示规定的信息。如条码符号、IC卡中的数据格式等。系统模型如下图：被识别信息获取信息译码已识别信息识别信息31、特定格式信息识别系统被识别信息获取信息译2、图像图形格式信息识别系统图象图形格式信息则是指二维图像与一维波形等信息。如二维图像包括的文字、地图、照片、指纹、语音等。系统模型如下图：被识别信息已识别信息数据采集获取预处理特征提取与选择分类决策识别信息42、图像图形格式信息识别系统被识别已识别数据预处理特征分类识图像处理、识别及理解图像图像图像处理（编码、压缩、增强分割）图像类别+结构分析图像识别（特征提取、分类分析）图像图像描述+解释图像理解5图像处理、识别及理解图像图像图像处理图像类别+结构分析图像识图像识别过程图像信息获取图像预处理图像特征提取图像特征匹配结果6图像识别过程图像信息图像图像特征提取图像特征匹配结果6图像识别运用模式识别的原理对图像对象进行分类的学问。模式（pattern）与模式识别（patternrecognition）

广义地说，存在于时间和空间中可观察的事物，如果我们可以区别它们是否相同或是否相异，都可以称之为模式。模式识别就是根据观察到的事物的模式对事物进行分类的过程。

7图像识别7*模式是一个客观事物的描述，即一个可用来仿效的完善的例子。模式识别按照哲学的定义，是指一个“外部信息到达感觉器官并被转换成有意义的感觉经验”的过程。模式识别问题通常表现为对一组过程或事件的判别或分类。**按照广义的定义，模式是一些供模仿用的、完美无缺的标本。模式识别就是识别出特定客体所模仿的标本。客体是指人类能用感官直接或间接接收的外部信息，不如声音、图像、文字是模式，心电图、脑电图、地震波也是模式。8*模式是一个客观事物的描述，即一个可用来仿效的完善的例子。模**模式类的定义模式类是具有某些公共特征的模式的系列（集合）模式类用w1,w2,…wM表示，M是类的个数**模式识别的定义根据对象的特征组成的模式，确定对象是属于那一个模式类，即为模式识别模式与模式类举例已知汽车的长、宽、高（x1,x2,x3）,希望识别出，大客车、小轿车、卡车（w1,w2,w3）9**模式类的定义9模式识别的过程是由计算机（机器）来自动完成。广义上说，模式识别属于人工智能的范畴。10模式识别的过程是由计算机（机器）来自动完成。广义上说，模式识模式识别系统的基本构成11模式识别系统的基本构成11（1）数据（信息）获取通过传感器，将光或声等信息转化为电信息。（2）预处理：A、信号增强：去除噪声，加强有用信息。信号恢复：对退化现象进行复原。B、归一化处理（例如图像大小的归一化；神经网络输入数据的归一化）12（1）数据（信息）获取12（3）特征提取和特征选择

A、特征分类：物理特征、结构特征、数学特征。B、特征形成：根据被识别的对象产生出一组基本特征，它可以是计算出来的（当识别对象是波形或数字图像时），也可以是用仪表或传感器测量出来的（当识别对象是事物或某种过程时），这样产生的特征叫做原始特征。C、特征提取：原始特征的数量可能很大，通过映射（或变换）的方法可以用低维空间表示样本，这个过程叫做特征提取。映射后的二次特征是原始特征的线性组合（通常是线性组合）。D、特征选择：从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的过程。13（3）特征提取和特征选择13例如：一幅96x64的图象细节点：分歧点、端点14例如：一幅96x64的图象细节点：分歧点、端点14特征提取和选择：特征能够较容易地从图像中提取；所选取的特征必须有利于分类。15特征提取和选择：特征能够较容易地从图像中提取；所选取的特征必（4）分类器设计分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低或风险最小。（5）分类决策分类器按已确定的分类判别规则对待识模式进行分类判别，输出分类结果，这就是分类器的使用过程，也称分类决策**。16（4）分类器设计16模式可以是以矢量形式表示的数字特征；也可以是以句法结构表示的字符串或图；还可以是以关系结构表示的语义网络或框架结构等。对于上述三种类型的模式，必须分别使用不同的识别方法：统计模式识别，结构（句法）模式识别和人工智能方法（神经网络识别）。

17模式可以是以矢量形式表示的数字特征；17常用的模式序列表示方法模式向量、模式串、模式树模式向量模式向量用粗体的小写字母表示，如x,y，形式如下：

其中每一个xi代表第i个描述子，n是这种描述子的数量。模式向量被表示为一列或表示成

x=(x1,x2,…,xn)T，

其中T指出是转秩x=x1x2.xn18常用的模式序列表示方法x=x118x=x1x2模式向量举例 假设我们想描述三种蝴蝶花（多毛的、维吉尼亚、多色的）通过测量它们花瓣的宽度和长度。这里涉及一个两维的模式向量：其中x1、x2分别对应花瓣的长和宽三种模式类用w1、w2、w3表示19x=x1模式向量举例19模式树

以分层目录结构排序的模式类，一般多采用树结构。模式树举例图像城市田园城区内城市郊公路草地森林娱乐区商业区娱乐区商业区20模式树图像城市田园城区内城市郊公路草地森林娱乐区商业区娱乐区模式串 用于以对象特征的结构或空间关系作为模式的识别模式串举例：梯状的模式abaaabbb(1)S->aA(2)A->bS(3)A->b21模式串abaaabbb(1)S->aA21统计模式识别基本原理是：有相似性的样本在模式空间中互相接近，并形成“集团”，即“物以类聚”。主要方法有：决策函数法，k近邻分类法，支持向量机，特征分析法，主因子分析法等…参考书籍：《统计模式识别》(AndrewR.Webb)

JainAK,DuinRPW,JianchangMao.Statisticalpatternrecognition:areview.PatternAnalysisandMachineIntelligence,2000.22(1):4～37.

22统计模式识别22分类器的设计（统计分类器）对于要研究的分类问题有M个模式类，各个类用wi来表示，i=1,2,…,M，各个类出现的先验概率P(wi)和条件概率密度函数P(wi|x)已知。现在特征空间观察到某一向量x，那么x分到哪一类最合理。贝叶斯（Bayes）决策论的方法：使分类可能出现的错误最小。23分类器的设计（统计分类器）23结构（或句法）模式识别基于形式语言理论的概念为基础。模式按其结构分解为子模式或模式基元，模式基元的连接关系以文法形式进行描述。一个场景的示意图场景结构的分析

24结构（或句法）模式识别一个场景的示意图神经网络模式识别特点：具有信息分布式存储、大规模自适应并行处理、高度的容错性以及学习能力缺点：实际应用中仍有许多因素需要凭经验确定，比如如何选择网络节点数、初始权值和学习步长等；局部极小点问题、过学习与欠学习问题等模糊模式识别模糊集理论，Zadeh，1965模糊集理论在模式识别中的应用25神经网络模式识别25图像的基本概念“图”是物体投射或反射光的分布，“像”是人的视觉系统对图的接受在大脑中形成的印象或反映。因此，图像是客观和主观的结合。

分类：（1）从视觉特点，分为可见图像和不可见图像。（2）从图像空间坐标和明暗程度的连续性，可分为模拟图像和数字图像。26图像的基本概念“图”是物体投射或反射光的分布，“像”是人的视图像的表示方法模拟图像：

图像是连续的，即用函数f(x,y)表示的图像。其中：

x,y表示空间坐标点的位置；

f表示图像在点（x,y）的某种性质的数值，如亮度、灰度，色度等。

f,x,y可以是任意实数。27图像的表示方法模拟图像：27数字图像：

I(r,c)是对f(x,y)的离散化后的结果。r表示图像的行(row)；c表示图像的列(column)；I表示离散后的f；I,r,c的值只能是整数。数字图像可用矩阵或数组进行描述。28数字图像：28（1）网格化：每一个网格即图像元素，简称像素pixel（2）每个pixel上的亮度进行采样和量化：用一个整数值代表亮暗程度mn012320323303526183242394029414548333149606312001430001232032330352618324239402941454833314960631200143000128255数字图像的矩阵表示29（1）网格化：每一个网格即图像元素，简称像素pixel（2）图像恢复（运动中物体）图像增强30图像恢复（运动中物体）图像增强30图像分割直方图分析法设图像的灰度范围为0，1，…，l-1，设有灰度值为i的像素个数为n，则图像的总像素个数为灰度值i和它的像素个数ni之间的关系，可以用灰度直方图表示，它反映了图像灰度分布的统计特征，是利用像素灰度作属性的分割方法的基础。31图像分割直方图分析法设图像的灰度范围为0，1，…，l-1，设直方图分析对于有突出目标和背景的图像，其灰度直方图会有明显的双峰值或更多的峰值。这时可选择峰值之间的谷点作为图像分割的阈值。32直方图分析对于有突出目标和背景的图像，其灰度直方图会有明显的参考文献*齐敏等编著，《模式识别导论》，清华大学出版社，2009年。**钟珞等主编，《模式识别》，武汉大学出版社，2006年。MilanSonka等著，艾海舟等译《图像处理、分析与机器视觉》（第3版），清华大学出版社，2011年。沈勇武“基于图像识别的车型自动分类系统”浙江大学硕士学位论文2008年。汪晨等，“图像识别综述及在电力信息安全中的应用研究”，计算机技术与发展，22卷4期161页，2012年。33参考文献*齐敏等编著，《模式识别导论》，清华大学出版社，2思考题（1）简述图像识别的过程。（2）简述模式和模式识别的含义。（3）模式识别系统由哪几部分构成。34思考题34第六章图像识别与处理技术授课老师：蒙自明物理与光电工程学院mengzm@35第六章图像识别与处理技术授课老师：蒙自明1获取信息处理信息识别信息被识别信息已识别信息自动识别系统自动识别系统是一个以信息处理为主的技术系统，它的输入端是将被识别的信息，输出端是已识别的信息。自动识别系统的输入信息分为特定格式信息和图像图形格式信息两大类36获取信息处理信息识别信息被识别信息已识别信息自动识别系统自动1、特定格式信息识别系统特定格式信息就是采用规定的表现形式来表示规定的信息。如条码符号、IC卡中的数据格式等。系统模型如下图：被识别信息获取信息译码已识别信息识别信息371、特定格式信息识别系统被识别信息获取信息译2、图像图形格式信息识别系统图象图形格式信息则是指二维图像与一维波形等信息。如二维图像包括的文字、地图、照片、指纹、语音等。系统模型如下图：被识别信息已识别信息数据采集获取预处理特征提取与选择分类决策识别信息382、图像图形格式信息识别系统被识别已识别数据预处理特征分类识图像处理、识别及理解图像图像图像处理（编码、压缩、增强分割）图像类别+结构分析图像识别（特征提取、分类分析）图像图像描述+解释图像理解39图像处理、识别及理解图像图像图像处理图像类别+结构分析图像识图像识别过程图像信息获取图像预处理图像特征提取图像特征匹配结果40图像识别过程图像信息图像图像特征提取图像特征匹配结果6图像识别运用模式识别的原理对图像对象进行分类的学问。模式（pattern）与模式识别（patternrecognition）

广义地说，存在于时间和空间中可观察的事物，如果我们可以区别它们是否相同或是否相异，都可以称之为模式。模式识别就是根据观察到的事物的模式对事物进行分类的过程。

41图像识别7*模式是一个客观事物的描述，即一个可用来仿效的完善的例子。模式识别按照哲学的定义，是指一个“外部信息到达感觉器官并被转换成有意义的感觉经验”的过程。模式识别问题通常表现为对一组过程或事件的判别或分类。**按照广义的定义，模式是一些供模仿用的、完美无缺的标本。模式识别就是识别出特定客体所模仿的标本。客体是指人类能用感官直接或间接接收的外部信息，不如声音、图像、文字是模式，心电图、脑电图、地震波也是模式。42*模式是一个客观事物的描述，即一个可用来仿效的完善的例子。模**模式类的定义模式类是具有某些公共特征的模式的系列（集合）模式类用w1,w2,…wM表示，M是类的个数**模式识别的定义根据对象的特征组成的模式，确定对象是属于那一个模式类，即为模式识别模式与模式类举例已知汽车的长、宽、高（x1,x2,x3）,希望识别出，大客车、小轿车、卡车（w1,w2,w3）43**模式类的定义9模式识别的过程是由计算机（机器）来自动完成。广义上说，模式识别属于人工智能的范畴。44模式识别的过程是由计算机（机器）来自动完成。广义上说，模式识模式识别系统的基本构成45模式识别系统的基本构成11（1）数据（信息）获取通过传感器，将光或声等信息转化为电信息。（2）预处理：A、信号增强：去除噪声，加强有用信息。信号恢复：对退化现象进行复原。B、归一化处理（例如图像大小的归一化；神经网络输入数据的归一化）46（1）数据（信息）获取12（3）特征提取和特征选择

A、特征分类：物理特征、结构特征、数学特征。B、特征形成：根据被识别的对象产生出一组基本特征，它可以是计算出来的（当识别对象是波形或数字图像时），也可以是用仪表或传感器测量出来的（当识别对象是事物或某种过程时），这样产生的特征叫做原始特征。C、特征提取：原始特征的数量可能很大，通过映射（或变换）的方法可以用低维空间表示样本，这个过程叫做特征提取。映射后的二次特征是原始特征的线性组合（通常是线性组合）。D、特征选择：从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的过程。47（3）特征提取和特征选择13例如：一幅96x64的图象细节点：分歧点、端点48例如：一幅96x64的图象细节点：分歧点、端点14特征提取和选择：特征能够较容易地从图像中提取；所选取的特征必须有利于分类。49特征提取和选择：特征能够较容易地从图像中提取；所选取的特征必（4）分类器设计分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低或风险最小。（5）分类决策分类器按已确定的分类判别规则对待识模式进行分类判别，输出分类结果，这就是分类器的使用过程，也称分类决策**。50（4）分类器设计16模式可以是以矢量形式表示的数字特征；也可以是以句法结构表示的字符串或图；还可以是以关系结构表示的语义网络或框架结构等。对于上述三种类型的模式，必须分别使用不同的识别方法：统计模式识别，结构（句法）模式识别和人工智能方法（神经网络识别）。

51模式可以是以矢量形式表示的数字特征；17常用的模式序列表示方法模式向量、模式串、模式树模式向量模式向量用粗体的小写字母表示，如x,y，形式如下：

其中每一个xi代表第i个描述子，n是这种描述子的数量。模式向量被表示为一列或表示成

x=(x1,x2,…,xn)T，

其中T指出是转秩x=x1x2.xn52常用的模式序列表示方法x=x118x=x1x2模式向量举例 假设我们想描述三种蝴蝶花（多毛的、维吉尼亚、多色的）通过测量它们花瓣的宽度和长度。这里涉及一个两维的模式向量：其中x1、x2分别对应花瓣的长和宽三种模式类用w1、w2、w3表示53x=x1模式向量举例19模式树

以分层目录结构排序的模式类，一般多采用树结构。模式树举例图像城市田园城区内城市郊公路草地森林娱乐区商业区娱乐区商业区54模式树图像城市田园城区内城市郊公路草地森林娱乐区商业区娱乐区模式串 用于以对象特征的结构或空间关系作为模式的识别模式串举例：梯状的模式abaaabbb(1)S->aA(2)A->bS(3)A->b55模式串abaaabbb(1)S->aA21统计模式识别基本原理是：有相似性的样本在模式空间中互相接近，并形成“集团”，即“物以类聚”。主要方法有：决策函数法，k近邻分类法，支持向量机，特征分析法，主因子分析法等…参考书籍：《统计模式识别》(AndrewR.Webb)

JainAK,DuinRPW,JianchangMao.Statisticalpatternrecognition:areview.PatternAnalysisandMachineIntelligence,2000.22(1):4～37.

56统计模式识别22分类器的设计（统计分类器）对于要研究的分类问题有M个模式类，各个类用wi来表示，i=1,2,…,M，各个类出现的先验概率P(wi)和条件概率密度函数P(wi|x)已知。现在特征空间观察到某一向量x，那么x分到哪一类最合理。贝叶斯（Bayes）决策论的方法：使分类可能出现的错误最小。57分类器的设计（统计分类器）23结构（或句法）模式识别基于形式语言理论的概念为基础。模式按其结构分解为子模式或模式基元，模式基元的连接关系以文法形式进行描述。一个场景的示意图场景结构的分析

58结构（或句法）模式识别一个场景的示意图神经网络模式识别特点：具有信息分布式存储、大规模自适应并行处理、高度的容错性以及学习能力缺点：实际应用中仍有许多因素需要凭经验确定，比如如何选择网络节点数、初始权值和学习步长等；局部极小点问题、过学习与欠学习问题等模糊模式识别模糊集理论，Zadeh，1965模糊集理论在模式识别中的应用59神经网络模式识别25图像的基本概念“图”是物体投射或反射光的分布，“像”是人的视觉系统对图的接受在大脑中形成的印象或反映。因此，图像是客观和主观的结合。

分类：（1）从视觉特点，分为可见图像和不可见图像。（2）从图像空间坐标和明暗程度的连续性，可分为模拟图像和数字图像。60图像的基本概念“图”是物体投射或反射光的分布，“像”是人的视图像的表示方法模拟图像：

图像是连续的，即用函数f(x,y)表示的图像。其中：

x,y表示空间坐标点的位置；

f表示图像在点（x,y）的某种性质的数值，如亮度、灰度，色度等。

f,x,y可以是任意实数。61图像的表示方法模拟图像：27数字图像：

I(r,c)是对f(x,y)