模式识别基础教程课件

模式识别

(PatternRecognition)

主讲教师：宫宁生模式识别

(PatternRecognition)2提纲模式识别概论主要模式识别方法模式识别过程案例介绍DEMO2提纲模式识别概论3为什么需要模式识别？模式识别：人类学习的基本方法人眼识别物中医看舌苔/脉搏图谱辨别化合物3为什么需要模式识别？模式识别：人类学习的基本方法4什么是模式？分类确定模式非确定模式随机模式4什么是模式？分类5定义：模式类模式x:具有某些量化测量值或者特征模式类(vi)：Acollectionof“similar”(notnecessarilyidentical)objectsInter-classvariabilityIntra-classvariability模式类的统计特性相似性-先验概率：P(vi)类条件概率密度：p(x|vi)Theletter“T”indifferenttypefacesCharactersthatlooksimilar5定义：模式类模式x:具有某些量化测量值或者特征The6定义：模式识别依据一定的规则，将模式进行分类的过程（Classifies“patterns”into“classes”）主要过程:数据处理：模式类的模型假设：选择最优的模型并分类：6定义：模式识别依据一定的规则，将模式进行分类的过程（Cla7模式识别的主要问题建模问题描述表示例如：用面积和周长表示某种形状特征提取与选择问题维数灾难——如何降维？主成分分析PCA选择具有最大区分能力的特征线性判别分析LDA任务特定的学习问题贝叶斯决策理论、统计学习理论和SVM7模式识别的主要问题建模问题8模式分类

vs.

模式聚类ClassificationClusteringCategory“A”Category“B”Classification(Recognition)(SupervisedClassification)Clustering(UnsupervisedClassification)8模式分类vs.模式聚类ClassificationCa9典型应用语音识别（例如：IBMViaVoice系统）表情分析、年龄、种族、性别分类OCR:车牌照、集装箱号码…手写体识别：汉王手势识别：基于视觉的，基于数据手套人脸识别、指纹识别、虹膜识别…军事目标识别生物信息、医学图像遥感、气象9典型应用语音识别（例如：IBMViaVoice系统）模式识别方法10参数估计近邻法直接计算判别函数·非参数方法有监督学习最小距离分层聚类无监督学习静态模式（不相关）HMM时序模式（相关的静态模式）统计模式识别模板匹配结构模式识别神经网络句法模式识别统计学习理论和支持向量机模糊模式识别半监督学习模式识别方法10参数估计近邻法直接计算判别函数·非参数方法有11模板匹配TemplateMatchingTemplateInputscene11模板匹配TemplateMatchingTemplat12统计模式识别模式识别最初从统计理论发展而来基本思想：模式被描述为一组测量值组成的随机特征向量，用概率统计理论对其进行建模，用统计决策理论划分特征空间来进行分类。12统计模式识别模式识别最初从统计理论发展而来13统计模式识别的一般过程预处理特征提取/选择分类预处理特征提取/选择学习分类规则测试模式训练模式分类训练错误率检测13统计模式识别的一般过程预处理特征提分类预处理特征提学习分14模糊模式识别1965年Zadeh提出模糊集理论是对传统集合理论的一种推广传统：属于或者不属于模糊：以一定的程度属于模糊逻辑：相对传统二值逻辑“是或不是”模糊数学：研究模糊集和模糊逻辑模糊系统：应用角度14模糊模式识别1965年Zadeh提出模糊集理论15特征提取：PR的第一步任务：提取适于分类的特征（量化测量值）好的特征Objectsfromthesameclasshavesimilarfeaturevalues.Objectsfromdifferentclasseshavedifferentvalues.“Good”features“Bad”features15特征提取：PR的第一步任务：提取适于分类的特征（量化测量16特征提取与选择问题变成：如何优化特征提取算子的参数维数灾难——如何降维？PCA选择具有最大区分能力的特征LDAFeatureextractionFeatureselection16特征提取与选择问题变成：如何优化特征提取算子的17基于AdaBoost

的快速人脸检测17基于AdaBoost

的快速人脸检测18AdaBoost算法简介在2001年的ICCV上，Compaq的研究员PaulViola和MichaelJ.Jones发表了一个实时人脸检测系统，其速度是平均每秒15帧，图像大小是384x288。参见：PaulViola,MichaelJ.Jones.RobustReal-timeObjectDetection.CRL2001/01February2001.系统在技术上的三个贡献：1.用简单的矩形特征来作为人脸图像特征;2.基于AdaBoost的分类器;3.采用了Cascade(分级分类器)技术提高检测速度。这种技术具有实时性的特点，而且有可能扩展到多个姿态的人脸检测。18AdaBoost算法简介在2001年的ICCV上，Com19人脸的特征表示方法矩形特征（Harr-like特征）矩形特征的值是所有白色矩形中点的亮度值的和减去所有灰色矩形中点的亮度值的和，所得到的差有4种类型的矩形特征19人脸的特征表示方法矩形特征（Harr-like特征）20输入图像积分图像基于积分图像的Haar-like特征计算20输入图像积分图像基于积分图像的Haar-like特征计算21AdaBoost分类器AdaBoost分类器Adaboost学习算法是用来提高某种简单分类算法的性能的。它通过对一些弱分类器的组合来形成一个强分类器功能将分类性能不好的弱分类器提升为分类性能好的强分类器的学习算法。思想学习一系列分类器，在这个序列中每一个分类器对它前一个分类器导致的错误分类样例给予更大的重视。21AdaBoost分类器AdaBoost分类器Adaboost学习算法输入：1.训练用人脸和非脸样本2.指定要挑选出来的弱分类器的数目T,这也是程序循环的次数

3.利用先验知识初始化权值向量弱分类器22其中，表示弱分类器的值，表示弱学习算法寻找出的阈值，表示不等号的方向，表示特征值，表示一个Harr-like特征。Adaboost学习算法输入：22其中，表示弱分类器的值23基于AdaBoost的快速人脸检测基于分级分类器的加速策略大量候选窗口可以利用非常少量的特征（简单快速的分类器）就可以排除是人脸的可能性！只有极少数需要大量的特征（更复杂的更慢的分类器来判别是否人脸）23基于AdaBoost的快速人脸检测基于分级分类器的加速策24分级分类器的构建采用由粗到细的思想（coarsetofine）将数量少的重要的特征构成的分类器置于前面若干层，检测大部分人脸的同时，排除大量非脸后面层包含大量次重要的特征对非脸进行进一步排除每层训练用非脸样本使用前面层分类器误判为人脸的那些样本24分级分类器的构建采用由粗到细的思想（coarseto25基于AdaBoost的快速人脸检测分级分类器的训练算法25基于AdaBoost的快速人脸检测分级分类器的训练算法26实验结果和系统训练样本正例4800张手工标定的人脸照片作为训练样本集1000张人脸照片作为测试集反例10万张反例样本

人脸样本

26实验结果和系统训练样本人脸样本模式识别

(PatternRecognition)

主讲教师：宫宁生模式识别

(PatternRecognition)28提纲模式识别概论主要模式识别方法模式识别过程案例介绍DEMO2提纲模式识别概论29为什么需要模式识别？模式识别：人类学习的基本方法人眼识别物中医看舌苔/脉搏图谱辨别化合物3为什么需要模式识别？模式识别：人类学习的基本方法30什么是模式？分类确定模式非确定模式随机模式4什么是模式？分类31定义：模式类模式x:具有某些量化测量值或者特征模式类(vi)：Acollectionof“similar”(notnecessarilyidentical)objectsInter-classvariabilityIntra-classvariability模式类的统计特性相似性-先验概率：P(vi)类条件概率密度：p(x|vi)Theletter“T”indifferenttypefacesCharactersthatlooksimilar5定义：模式类模式x:具有某些量化测量值或者特征The32定义：模式识别依据一定的规则，将模式进行分类的过程（Classifies“patterns”into“classes”）主要过程:数据处理：模式类的模型假设：选择最优的模型并分类：6定义：模式识别依据一定的规则，将模式进行分类的过程（Cla33模式识别的主要问题建模问题描述表示例如：用面积和周长表示某种形状特征提取与选择问题维数灾难——如何降维？主成分分析PCA选择具有最大区分能力的特征线性判别分析LDA任务特定的学习问题贝叶斯决策理论、统计学习理论和SVM7模式识别的主要问题建模问题34模式分类

vs.

模式聚类ClassificationClusteringCategory“A”Category“B”Classification(Recognition)(SupervisedClassification)Clustering(UnsupervisedClassification)8模式分类vs.模式聚类ClassificationCa35典型应用语音识别（例如：IBMViaVoice系统）表情分析、年龄、种族、性别分类OCR:车牌照、集装箱号码…手写体识别：汉王手势识别：基于视觉的，基于数据手套人脸识别、指纹识别、虹膜识别…军事目标识别生物信息、医学图像遥感、气象9典型应用语音识别（例如：IBMViaVoice系统）模式识别方法36参数估计近邻法直接计算判别函数·非参数方法有监督学习最小距离分层聚类无监督学习静态模式（不相关）HMM时序模式（相关的静态模式）统计模式识别模板匹配结构模式识别神经网络句法模式识别统计学习理论和支持向量机模糊模式识别半监督学习模式识别方法10参数估计近邻法直接计算判别函数·非参数方法有37模板匹配TemplateMatchingTemplateInputscene11模板匹配TemplateMatchingTemplat38统计模式识别模式识别最初从统计理论发展而来基本思想：模式被描述为一组测量值组成的随机特征向量，用概率统计理论对其进行建模，用统计决策理论划分特征空间来进行分类。12统计模式识别模式识别最初从统计理论发展而来39统计模式识别的一般过程预处理特征提取/选择分类预处理特征提取/选择学习分类规则测试模式训练模式分类训练错误率检测13统计模式识别的一般过程预处理特征提分类预处理特征提学习分40模糊模式识别1965年Zadeh提出模糊集理论是对传统集合理论的一种推广传统：属于或者不属于模糊：以一定的程度属于模糊逻辑：相对传统二值逻辑“是或不是”模糊数学：研究模糊集和模糊逻辑模糊系统：应用角度14模糊模式识别1965年Zadeh提出模糊集理论41特征提取：PR的第一步任务：提取适于分类的特征（量化测量值）好的特征Objectsfromthesameclasshavesimilarfeaturevalues.Objectsfromdifferentclasseshavedifferentvalues.“Good”features“Bad”features15特征提取：PR的第一步任务：提取适于分类的特征（量化测量42特征提取与选择问题变成：如何优化特征提取算子的参数维数灾难——如何降维？PCA选择具有最大区分能力的特征LDAFeatureextractionFeatureselection16特征提取与选择问题变成：如何优化特征提取算子的43基于AdaBoost

的快速人脸检测17基于AdaBoost

的快速人脸检测44AdaBoost算法简介在2001年的ICCV上，Compaq的研究员PaulViola和MichaelJ.Jones发表了一个实时人脸检测系统，其速度是平均每秒15帧，图像大小是384x288。参见：PaulViola,MichaelJ.Jones.RobustReal-timeObjectDetection.CRL2001/01February2001.系统在技术上的三个贡献：1.用简单的矩形特征来作为人脸图像特征;2.基于AdaBoost的分类器;3.采用了Cascade(分级分类器)技术提高检测速度。这种技术具有实时性的特点，而且有可能扩展到多个姿态的人脸检测。18AdaBoost算法简介在2001年的ICCV上，Com45人脸的特征表示方法矩形特征（Harr-like特征）矩形特征的值是所有白色矩形中点的亮度值的和减去所有灰色矩形中点的亮度值的和，所得到的差有4种类型的矩形特征19人脸的特征表示方法矩形特征（Harr-like特征）46输入图像积分图像基于积分图像的Haar-like特征计算20输入图像积分图像基于积分图像的Haar-like特征计算47AdaBoost分类器AdaBoost分类器Adaboost学习算法是用来提高某种简单分类算法的性能的。它通过对一些弱分类器的组合来形成一个强分类器功能将分类性能不好的弱分类器提升为分类性能好的强分类器的学习算法。思想学