模式识别原理及其应用

1、模式识别-概念、原理及应用，黄庆明，中国科学院研究生院信息学院/刘春喜(助理)cxliu，导论，课程目标，计算机应用技术专业研究生专业基础课，电子科学与技术专业研究生专业基础课，模式识别相关学科，统计概率论，线性代数(矩阵计算)，语言机器学习，人工智能，图像处理，计算机视觉，教学方法， 关注模式识别的基本概念注重理论与实践相结合的案例教学：通过大量的实例讲述如何将所学知识应用于实际应用，避免过多繁琐的数学推导。教学目标，掌握模式识别的基本概念和方法，有效地应用所学的知识和方法解决实际问题，并为学习模式识别的新理论和新方法打下基础，题外话，基础知识：完成课程学习，通过考试并获得学分。提高：能够将

2、学到的知识和内容应用于研究和解决实际问题。飞跃：通过对模式识别的研究，改善思维方式，为以后的工作打下良好的基础，并有益于生活。教材/参考文献，杜达，哈特，斯道克，模式分类，第二版，2000年。卞赵琪，模式识别(第二版)，清华大学出版社，2000年。蔡，模式识别，西北电信工程学院出版社，1986。1973年，IEEE发起了首届国际模式识别会议“ICPR”(每两年一次)，并成立了国际模式识别协会“IAPR”。1977年，IEEE成立了PAMI委员会，成立了IEEE传输。支持ICCV。CVPR两次会议的其他出版物：模式识别模式识别字母模式分析和应用国际模式识别和人工智能杂志，第1章，模式识别导论，什

3、么是模式？什么是模式？广义地说，存在于时间和空间中的可观察物体，如果我们能区分它们是相同的还是相似的，就可以称之为模式。模式不是指事物本身，而是指从事物中获得的信息。因此，模式通常被表达为具有时间和空间分布的信息。模式的直观特征：可观察性、可区分性、相似性、模式识别的概念、直观且无处不在的模式识别、对周围物体的认知：桌椅识别：张三、李四的声音识别：汽车、火车、狗吠、人类语言气味识别：油炸带鱼、红烧猪肉人和动物的模式识别能力极其普遍。模式识别的目的是用计算机对物理对象进行分类，在误差概率最小的条件下，使识别结果尽可能与客观对象一致。Y=F(X) X的值域取自标签集，特征集Y的值域作为类别。f是模

4、式识别的判别方法，模式识别的简史。G. Tauschek在1929年发明了能从0到9读取数字的阅读器。费希尔在20世纪30年代提出了统计分类理论，为统计模式识别奠定了基础。20世纪50年代，诺姆切姆斯基提出了形式语言理论，傅提出了句法结构模式识别。20世纪60年代，扎德提出了模糊集理论，发展并应用了模糊模式识别方法。20世纪80年代，以霍普菲尔德网络和神经网络为代表的神经网络模型导致了人工神经网络的复兴，人工神经网络被广泛应用于模式识别。20世纪90年代，小样本学习理论和支持向量机也受到了极大的关注。模式识别的应用(例如)、生物学中的自动细胞学、染色体特征的研究、遗传学研究中天文望远镜的图像分

5、析、自动光谱经济学中的股票交易预测、企业行为分析、医学心电图分析、脑电图分析、医学图像分析、模式识别的应用(例如)、工程产品缺陷检测、特征识别、语音识别、自动导航系统、污染分析、军用航空相机分析、雷达和声纳信号检测与分类、自动目标识别、安全指纹识别、人脸识别、 监控和报警系统，模式识别方法，模式识别系统的目标：找到特征空间和解释空间之间的映射关系，这也称为假设。 特征空间：由度量、属性或从模式中获得的对分类有用的原语组成的空间。解释空间：类别被表示为类别的集合，称为解释空间。获得假设有两种方法，监督学习、概念驱动或归纳假设：在特征空间中找到与解释空间结构相对应的假设。假设在一个给定的模式下有一

6、个解，任何在训练集中接近目标的假设也必须得到一个关于“未知”样本的近似结果。假设(通常是判别函数)是根据已知类别的训练样本集，根据其特征向量的分布来确定的，而未知模式只有在判别函数确定后才能使用它来分类；为了对分类模式有足够的先验知识，通常需要收集足够的典型样本进行训练。获得假设的两种方法(续):无监督学习、数据驱动或演绎假设：在解释空间中找到与特征空间结构相对应的假设。该方法试图仅基于特征空间中的相似关系来寻找有效的假设。在缺乏先验知识的情况下，通常采用聚类分析方法。基于“物以类聚”的观点，用数学方法分析了每个特征向量的距离和离散度，如果特征向量集集合了几个组，则可以根据组间的距离将它们分成

7、几类；这种根据不同类型之间的相似程度进行的分类，如果我们事先知道应该把哪些类别划分出来，可以得到更好的分类结果。模式分类、数据聚类、统计分类结构、模式识别神经网络、数据聚类的主要方法，目的：通过一定的相似性度量将原始数据组织成有意义和有用的数据集。这是一种无监督的学习方法，解决方案是数据驱动的。统计分类，根据概率统计模型得到每个类别的特征向量的分布情况，从而得到分类方法。特征向量分布是基于具有已知类别的一组训练样本获得的。这是一种有监督的分类方法，分类器是概念驱动的。结构模式识别，该方法通过考虑识别对象各部分之间的关系，达到识别和分类的目的。识别采用结构匹配的形式，通过计算匹配分数来评估未知对

8、象或未知对象的某些部分与典型模式之间的关系。在成功地制定了一组能够描述对象部分之间的关系的规则之后，可以应用一种特殊的结构模式识别方法，即句法模式识别，来检查模式基元序列是否遵循某种规则，即句法规则或语法。神经网络，神经网络是受人类大脑组织生理学的启发。它由一系列相互连接且相同的单元(神经元)组成。这种相互联系可以在不同的神经元之间传递增强或抑制信号。增强或抑制是通过调整神经元之间关系的权重系数来实现的。神经网络可以在有监督和无监督的学习条件下实现分类。模式识别系统、模式识别系统的基本组成、数据采集、特征提取和选择、预处理、分类决策、分类器设计、模式识别系统组件单元、数据采集：待研究对象的二维

9、图像由可由计算机操作的符号表示：一维波形，如字符、指纹、地图和照片；物理参数和逻辑值，如脑电图、心电图和季节性振动波形；描述体温、实验室数据和参数是否正常；预处理单元：去噪，提取有用信息，恢复输入测量仪器或其他因素引起的退化；模式识别系统由单元组成。特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征度量空间：由原始数据组成的空间特征空间：分类识别所依赖的空间模式表示：高维度量空间-低维特征空间的分类决策：在特征空间中用模式识别方法将识别出的物体分类到某一类别。基本实践：根据样本训练集确定一定的决策规则。将根据此规则对已识别对象进行分类所导致的错误识别率或损失降至最低。例如，模式识别

10、过程使用光学传感器根据传送带上的品种对鱼进行分类。Seabass，Salmon，识别过程，数据采集：设置一个摄像头，采集一些样本图像，并获取样本数据。预处理：去噪，通过分割操作将鱼与鱼和鱼与背景分离，识别过程，特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息长度、亮度宽度、鱼翅数量和鱼嘴形状位置等。分类决策：将特征送入决策分类器，模式分类器的获取和评估过程，数据获取特征选择模型选择训练和测试计算结果和复杂性分析，反馈，训练和测试，训练集：是测试集：设计识别和分类系统时未使用的独立样本集。系统评估原则：为了更好地评估模式识别系统的性能，必须使用一组独立于训练集的测试集来

11、测试系统。统计模式识别：19名男女学生接受了体检，并测量了他们的身高和体重，但后来发现其中4人忘记填写他们的性别。这四个人是男人还是女人(在误差最小的情况下)？体检值如下：示例：统计模式识别(续)，模式识别：性别特征(男性或女性)测量：身高和体重训练样本：15个已知性别特征的样本目标：希望借助训练样本的特征建立判别函数(即数学模型)，示例：统计模式识别(续)，从训练样本获得的特征空间分布图，示例：统计模式识别(续)。只要我们给出要分类的模式特征的数值，并看到它落在特征平面的判别函数的哪一侧，我们就可以判断它是男性还是女性。示例：句法模式识别，问题：如何利用图像的结构信息描述来识别以下图片：示例

12、：句法模式识别(续)，将整个场景图像结构分解成一些简单的子图像组合；子图像由一些更简单的基本图像单元表示，直到子图像达到我们认为的最简单的图像单元(图元)。所有这些原语都是按照一定的结构关系来表达的，并且用多级树结构来描述(这种描述可以采用形式语言理论)。示例：句法模式识别(续)、多级树描述结构、示例：句法模式识别(续)、训练过程：使用已知结构信息的图像作为训练样本，首先识别图元(如场景图中的X、Y、Z等简单平面)及其连接关系(如长方体E由X、Y、Z拼接而成)，并用字母符号表示；然后，用构句语法描述生成场景的过程，并推导出生成场景的语法。例如：句法模式识别(续)，识别过程：首先，原始提取未知结构信息的图像，并识别它们之间的相互结构关系；然后利用训练过程中获得的语法进行句法分析；如果可以通过已知结构信息的语法进行分析，则未知图像具有与训练样本相同的结构(识别成功)，否则不是这个结构(识别失败)。本课程的主要内容，第1章绪论第2章聚类分析第3章判别函数第4章统计识别第5章特征选择与提取第6章句法模式识别第7章神经网络，相关数学概念，随机向量及其分布随机向量如果一个物体的特征观测值为x1，x2，xn，它可以构成一个N维特征向量值x，即x=(x1，x2，xn) t一个特征可以看作是一个向量或N维空间中的一个点，这就是所谓的模式的特征空间rn。在模式识别过程中，需要测量许多具体的物体以获