模式识别方法及其研究进展

1、模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review1模式识别方法及其研模式识别方法及其研究进展究进展Pattern Recorgnition Method And Its Research Review模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review2主要内容 有关组织与出版物 模式识别的基本概念 模式识别系统 模式识别过程 模式识别方法与进展 未来展望模式识别方法及其研究进展模式识别方法及

2、其研究进展Pattern recognition method & its research review3机构、会议、刊物 1973年 IEEE发起了第一次关于模式识别的国际会议“ICPR”（此后两年一次），成立了国际模式识别协会-“IAPR” 1977年IEEE成立PAMI委员会，创立IEEE Trans. on PAMI，并支持ICCV, CVPR两个会议 其他刊物 Pattern Recognition (PR) Pattern Recognition Letters (PRL) Pattern Analysis and Application (PAA) Internatio

3、nal Journal of Pattern Recognition and Artificial Intelligence (IJPRAI)模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review4 统计学 概率论 线性代数（矩阵计算） 形式语言 机器学习 人工智能 图像处理 计算机视觉 与模式识别相关的学科模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review5什么是模式（Pattern）？模式识别

4、方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review6 广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。 模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。 模式的直观特性: 可观察性 可区分性 相似性什么是模式？模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review7 模式识别 直观，无所不在，“人以类聚，物以群

5、分” 周围物体的认知：桌子、椅子 人的识别：张三、李四 声音的辨别：汽车、火车，狗叫、人语 气味的分辨：炸带鱼、红烧肉 人和动物的模式识别能力是极其平常的，但对计算机来说却是非常困难的。模式识别的概念模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review8 目的：利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。 Y = F(X)X的定义域取自特征集Y的值域为类别的标号集F是模式识别的判别方法模式识别的研究模式识别方法及其研究进展模式识别方法及其研究进展Pat

6、tern recognition method & its research review9 1929年 G. Tauschek发明阅读机 ，能够阅读0-9的数字。 30年代 Fisher提出统计分类理论，奠定了统计模式识别的基础。 50年代 Noam Chemsky 提出形式语言理论傅京荪 提出句法结构模式识别。 60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别方法得以发展和应用。 80年代以Hopfield网、BP网为代表的神经网络模型导致人工神经元网络复活，并在模式识别得到较广泛的应用。 90年代小样本学习理论，支持向量机也受到了很大的重视。模式识别简史模式识别方法及其

7、研究进展模式识别方法及其研究进展Pattern recognition method & its research review10 生物学 自动细胞学、染色体特性研究、遗传研究 天文学 天文望远镜图像分析、自动光谱学 经济学 股票交易预测、企业行为分析 医学 心电图分析、脑电图分析、医学图像分析模式识别的应用（一）模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review11 工程 产品缺陷检测、特征识别、语音识别、自动导航系统、污染分析 军事 航空摄像分析、雷达和声纳信号检测和分类、自动目

8、标识别 安全 指纹识别、人脸识别、监视和报警系统模式识别的应用（二）模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review12模式识别目标 模式识别系统的目标：在特征空间和解释空间之间找到一种映射关系，这种映射也称之为假说。 特征空间：从模式得到的对分类有用的度量属性或基元构成的空间。 解释空间：将c个类别表示为其中 为所属类别的集合，称为解释空间。 )(XFY 模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its researc

9、h review13两种实现假说：归纳 监督学习、概念驱动或归纳假说：在特征空间中找到一个与解释空间的结构相对应的假说。在给定模式下假定一个解决方案，任何在训练集中接近目标的假说也都必须在“未知”的样本上得到近似的结果。 依靠已知所属类别的的训练样本集，按它们特征向量的分布来确定假说 （通常为一个判别函数），只有在判别函数确定之后才能用它对未知的模式进行分类； 对分类的模式要有足够的先验知识，通常需要采集足够数量的具有典型性的样本进行训练。模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review14

10、两种实现假说：演绎 非监督学习、数据驱动或演绎假说：在解释空间中找到一个与特征空间的结构相对应的假说。这种方法试图找到一种只以特征空间中的相似关系为基础的有效假说。 在没有先验知识的情况下，通常采用聚类分析方法，基于“物以类聚”的观点，用数学方法分析各特征向量之间的距离及分散情况； 如果特征向量集聚集若干个群，可按群间距离远近把它们划分成类； 这种按各类之间的亲疏程度的划分，若事先能知道应划分成几类，则可获得更好的分类结果。模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review15模式识别系统的基

11、本构成模式识别系统数据获取特征提取和选择预处理分类决策分类器设计模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review16 数据获取：用计算机可以运算的符号来表示所研究的对象 二维图像：文字、指纹、地图、照片等 一维波形：脑电图、心电图、季节震动波形等 物理参量和逻辑值：体温、化验数据、参量正常与否的描述 预处理单元：去噪声，提取有用信息，并对输入测量仪器或其它因素所造成的退化现象进行复原模式识别系统组成（一）模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition

12、method & its research review17 特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征 测量空间：原始数据组成的空间 特征空间：分类识别赖以进行的空间 模式表示：维数较高的测量空间-维数较低的特征空间 分类决策：在特征空间中用模式识别方法把被识别对象归为某一类别 基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小模式识别系统组成（二）模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research revie

13、w18由训练样本所得特征空间分布图模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review19 光学传感器对鱼分类：鲈鱼(Seabass)鲑鱼(Salmon)模式识别过程实例模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review20 数据获取：架设一个摄像机，采集一些样本图像，获取样本数据 预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开 特征提取和选择：对单个鱼的信息进行特征选择，从而通

14、过测量某些特征来减少信息量 长度 亮度 宽度 鱼翅的数量和形状 嘴的位置，等等 分类决策：把特征送入决策分类器识别过程模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review21模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review22模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review23模式识别方法及

15、其研究进展模式识别方法及其研究进展Pattern recognition method & its research review24模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review25模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review26 数据聚类、PCA 统计模式识别 结构模式识别（句法） 神经网络 支持向量机 模糊理论 特征提取理论 分形理论 小波分析模式分类的主要方法模式识别

16、方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review27 目标：用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集。 是一种非监督学习的方法，解决方案是数据驱动的。数据聚类模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review281543126654321X101099887702X1x2x3x4x5x6x7x8x9x10 x11x12x13x14x15x16x17x18x19x20 x模式识

17、别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review29 基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。 特征向量分布的获得是基于一个类别已知的训练样本集。 是一种监督分类的方法，分类器是概念驱动的。统计模式识别模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review30 该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目的。 识别采用结构匹配的形式，通过计算一个匹配程度值（matc

18、hing score）来评估一个未知的对象或未知对象某些部分与某种典型模式的关系如何。 当成功地制定出了一组可以描述对象部分之间关系的规则后，可以应用一种特殊的结构模式识别方法 句法模式识别，来检查一个模式基元的序列是否遵守某种规则，即句法规则或语法。结构模式识别模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review31 神经网络是受人脑组织的生理学启发而创立的。 由一系列互相联系的、相同的单元（神经元）组成。相互间的联系可以在不同的神经元之间传递增强或抑制信号。 增强或抑制是通过调整神经元相互间

19、联系的权重系数来（weight）实现。 神经网络可以实现监督和非监督学习条件下的分类。神经网络模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review32MP模型模型模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review33多层感知器多层感知器?如果在输入和输出层间加上一层或多层的神经元(隐层神经元)，就可构成多层前向网络，这里称为多层感知器。 模式识别方法及其研究进展模式识别方法及其研究进展Patte

20、rn recognition method & its research review34支持向量机 基于统计学习理论的支持向量机（support vector machines, SVM），作为一种新的强大数据分类和函数估计工具以及神经网络领域中一种新的重要方法学，得到了巨大的发展。 目前SVM已经达到了一个比较成熟的水平，被成功地应用于模式识别和目标检测、函数估计、基因分析等领域。 模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review35线性分类器线性分类器f xy+1-1f(x,w

21、,b) = sign(w. x - b)How would you classify this data?模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review36f xy+1-1f(x,w,b) = sign(w. x - b)How would you classify this data?模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review37f x+1-1f(x,w,b) = sign(w.

22、 x - b)How would you classify this data?模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review38f x+1-1f(x,w,b) = sign(w. x - b)How would you classify this data?模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review39f xy+1-1f(x,w,b) = sign(w. x - b)Any of

23、 these would be fine.but which is best?模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review40 xy+1-1f(x,w,b) = sign(w. x - b)线性分类器的间隔（ margin）：到超平面最近的样本与此超平面之间的距离。模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review41最大间隔最大间隔f xy+1-1f(x,w,b) = sign(w.

24、x - b)具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM) (称为线性支持向量机，即LSVM)线性支持向量机模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review42f xy+1-1f(x,w,b) = sign(w. x - b)支持向量(Support Vectors) :是那些距离超平面最近的点。具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM) (称为线性支持向量机，即LSVM)线性支持向量机最大间隔最大间隔模式识

25、别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review43Why 最大间隔?+1-1f(x,w,b) = sign(w. x - b)支持向量(Support Vectors) :是那些距离超平面最近的点。具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM) (称为线性支持向量机，即LSVM)线性支持向量机直观上感觉很好. 学习得到的线性分类器.其对未知样本的预测能力与分类器间隔有如下关系：)arg1()()(inmRRemp模式识别方法及其研究进展模式识别方法及其研究

26、进展Pattern recognition method & its research review44Overfitting and underfittingProblem: how rich class of classifications q(x;) to use.underfittingoverfittinggood fitProblem of generalization: a small emprical risk Remp does not imply small true expected risk R.模式识别方法及其研究进展模式识别方法及其研究进展Pattern r

27、ecognition method & its research review45分形理论的创始人曼德布罗特(Mandelprot)曾说过：“浮云不呈球浮云不呈球形，山峰不呈锥体，海岸线不是圆圈，树干不是光溜溜的，闪电形，山峰不呈锥体，海岸线不是圆圈，树干不是光溜溜的，闪电永不会沿直线行进永不会沿直线行进”，说的就是人们一般不应以简单的、理想的体系去对待实际体系。 大自然中存在的不规则的物体，可能存在不同尺度上的相似性，称为自相似性。例如： 1. 布朗微粒轨迹图存在自相似性：虽然记录时间间隔相差很大，但它们仍都具有相同的复杂性。 2. 不管漫步在海岸边以厘米量级观察，还是从人造卫星上以

28、数千米跨度观察，海岸线的弯曲的复杂程度也可能是相同的。以不以不同尺度去测量都有相似结果说明，测量对象没有特征尺寸，它们同尺度去测量都有相似结果说明，测量对象没有特征尺寸，它们具有尺度（标度）不变性具有尺度（标度）不变性。分 形多姿的大自然体形多姿的大自然体形模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review46布朗微粒轨迹布朗微粒轨迹 皮兰（Perrin）于1908年用显微镜测量了布朗运动的轨迹，他每隔30秒记录一次某个微粒的位置，再将相继得到的两点位置连成直线，得到一幅由长短不等的直线段连接

29、成的轨迹图。他又将测量时间间隔缩短为每隔3秒，画出的另外一幅微粒的轨迹图。将两图进行比较可以发现，两幅图虽不尽相同，它们具有同等的复杂程度。以不同尺度去测量都有相似结果说明，测以不同尺度去测量都有相似结果说明，测量对象没有特征尺寸，它们具有尺度（标量对象没有特征尺寸，它们具有尺度（标度）不变性度）不变性。模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review47大自然中的自相似体大自然中的自相似体 不管漫步在海岸 边以厘米量级观察，还是从人造卫星上以数千米跨度观察，海岸线的弯曲的复杂程度也可能是相

30、同的。 大自然中的许多大自然中的许多不规则物体，可能不规则物体，可能存在不同尺度上的存在不同尺度上的相似性，称为自相相似性，称为自相似性似性。模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review48多彩的大自然多彩的大自然大自然是异常复大自然是异常复杂、丰富多彩的，杂、丰富多彩的，那些简单、正规那些简单、正规的理想对象只是的理想对象只是少数。人们不应少数。人们不应以简单的、理想以简单的、理想的体系去对待实的体系去对待实际体系。际体系。模式识别方法及其研究进展模式识别方法及其研究进展Pattern

31、 recognition method & its research review49理理不不清清的的相相轨轨线线模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review50奇妙的计算图形奇妙的计算图形模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review51基于测量对象体形上的自相似性与标度不变性，曼德布罗特提出了分形理论分形理论。1973年，在法兰商学院讲学期间提出了分形的几何学的基本思想，

32、 1977年，出版了第一本著作：分形对象：形、机遇与维数， 1982年，出版了第二本著作：自然界的形几何学 分形的英文词是分形的英文词是“fractal”，是曼德布罗特创造的，用以表征某，是曼德布罗特创造的，用以表征某些不规则的几何形体。些不规则的几何形体。分形定义 “A fractal is a shape made of parts simslar to the whole in some way”， “分形是其组成部分以某种方式与整体相似的图形分形是其组成部分以某种方式与整体相似的图形”，或者说： 分形是指一类体形复杂的体系，其局部与整体具有相似性分形是指一类体形复杂的体系，其局部与整体

33、具有相似性。维数维数：与人们熟悉的整规体形的整数维整数维不同，分形体的维数不一定分形体的维数不一定是整数是整数，它可取连续变化的各种数值，称为分形维数（简称分维）。 根据分形体不同特征，分形维数的定义有多种，而且不同维数定义计算出的维数也有一些差别。分形的定义模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review52分形的研究现已大大地超出了数学、物理学的范畴，它不仅广泛用于处理自然科学中相关问题，象雷电、相变、聚合物生长等等，而且在扩展到生态、生命、经济、人文的许多领域。在地震、气象的预报预测、

34、石油的多次开采等应用领域，甚至在股票涨落分析等方面，分形也都得到了广泛的应用。分形与系统的混沌运动是密切相关的，是非线性科学的一个重要分支。分形研究领域有如下方面分形研究领域有如下方面1. 数学，这是分形的基础领域；2. 物理学、化学等自然科学， 如雷电、相变、聚合物生长、天文、地理地质、生态、生命等自然现象；3. 非线性动力系统中的分形研究；4. 人文、经济 如股票涨落分析等；5. 国民经济：如地震、气象的预报预测、石油的多次开采等领域。 分形研究模式识别方法及其研究进展模式识别方法及其研究进展Pattern recognition method & its research review53小波分析 时频分析局部化 时频分析局部化的特点提高了信号分析的能力。Fourier变换无法做局部分析，小波分析正式为了克服Fourier变换这些不足而提出来的。 具有多分辨率（multi-resolution），也叫多尺度(multi-scale)的特点。 可以由粗及精地逐步观察信号。当在某一个分辨度检测不到的现象，在另一个分辨度却很容易观察处理。小波变换的多分辨度的变换，有利于各分辨度不同特征的提取。 小波变换比快速Fourier变换还要快一个数量级。 信号长度为M时， Fourier变换（左）和小波变换（右）计算复杂性分别如下公式： MOMMOwf,log2模式识别方法及其研究