第1章模式识别课程绪论

第1章模式识别课程绪论第一页，共102页。模式识别的定义

Patternrecognition

isthestudyofhow

machines

canobservetheenvironment,learnto

distinguishpatterns

ofinterestfromtheirbackground,andmakesoundandreasonable

decisions

aboutthecategoriesofthepatterns.

——AnilK.Jain，MichiganStateUniversity

Ref:AnilK.Jainetal.StatisticalPatternRecognition：AReview.IEEETrans.onpatternanalysisandmachineintelligence.2000,22(1):4-37什么是模式识别？第二页，共102页。模式识别的目的：利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。Y=F(X)X的定义域取自特征集

Y的值域为类别的标号集

F是模式识别的判别方法什么是识别？第三页，共102页。生产实践的需要：需要智能机器人，另外人的工资高，而计算机的价格越来便宜。信息爆炸现象：处理人来不及处理的信息。如：卫星遥感，超级市场，邮政，银行，指纹库。危险地带：油漆、放射、高温、核电站。提高工效：自动化带来的好处已经显而易见。为什么要研究模式识别第四页，共102页。与其他学科的联系与区别人工智能:

符号主义，连接主义，行为主义，机制主义（结构，功能，行为）计算智能：神经网络，模糊逻辑，进化计算……机器学习：分类，聚类，回归，有监督学习，无监督学习，半监督学习……统计学运筹学与其他学科的关系第五页，共102页。主要内容模式识别基本概念模式识别系统组成模式识别基本问题应用领域小结第六页，共102页。模式识别基本概念

第七页，共102页。【基本概念】(1)模式识别(PatternRecognition)：确定一个样本的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。(2)样本（Sample)：一个具体的研究（客观）对象。如患者，某人写的一个汉字，一幅图片等。(3)模式(Pattern)：对客体（研究对象）特征的描述（定量的或结构的描述），是取自客观世界的某一样本的测量值的集合（或综合）。它是一种具有时间或空间分布的信息。从工程角度讲是指客观事物存在形式的数学表达。第八页，共102页。【基本概念】

(4)模式类（PatternClass）：把模式所属的类别或同一类别中模式的总体称为模式类（或简称为类）。

(5)例子：以身高为例，模式：身高：167cm,180cm,156cm,176cm,…模式类：高个头、中等个头、矮个头；第九页，共102页。【基本概念】(6)说明：（1）模式所指的不是事物本身，而是我们从事物中获得的信息。（2）模式往往表现为具体的时间和空间分布的信息。（3）本课程讨论的是用计算机进行模式识别，信息进入计算机之前通常要经过取样和量化，在计算机中表现为具有时空分布的信息表现为向量或数组，数组中元素的序号可以对应时间和空间，也可对应其它标识，此处所说的时间和空间是更广义和抽象的理解。第十页，共102页。主要内容模式识别基本概念模式识别系统组成模式识别基本问题应用领域小结第十一页，共102页。模式识别系统组成

第十二页，共102页。【模式识别系统组成】1.信息的获取：通过测量、采样、量化并用矩阵或向量表示。通常输入对象的信息有三个类型：二维图像（文字、指纹、地图、照片等）、一维波形（脑电图、心电图、机械震动波形等）、物理参量和逻辑值（体检中的温度、血化验结果等）2.预处理：去除噪声，加强有用的信息，并对输入测量仪器或其它因素造成的干扰进行处理。3.特征提取与选择：为了实现有效的识别分类，要对原始数据进行变换得到最能反映分类本质的特征，此过程为特征提取和选择。4.分类决策：在特征空间中用统计方法把被识别对象归为某一类。基本作法是在样本训练集基础上确定某个判决规则，使按这种判决规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。5.后处理：针对决策采取相应的行动。信息获取预处理特征提取与选择分类决策后处理模式识别系统组成框图第十三页，共102页。【模式识别系统组成】数据采集特征提取二次特征提取与选择分类识别待识对象识别结果数据采集特征提取改进分类识别规则二次特征提取与选择训练样本改进采集提取方法改进特征提取与选择制定改进分类识别规则人工干预正确率测试第十四页，共102页。【例1：车牌识别】车牌识别系统框图原始图像车牌定位字符识别倾斜校正字符分割系统流程图车牌定位车牌倾斜校正字符分割第十五页，共102页。传感器：摄像头预处理：统一光照、统一焦距，去除背景，分割…特征提取：长度，亮度，重量，鳍的数目…输入（测量）：重量，长度，宽度，光泽度（亮还是暗）鳍数目特征选择：哪个特征能最好的区分两种鱼？设计分类器：线性？非线性？例2：鲈鱼和鲑鱼识别第十六页，共102页。

从长度很难区分Salmon：鲑鱼Seabass：鲈鱼特征选择：长度第十七页，共102页。错误率仍然较高特征选择：亮度第十八页，共102页。完美的分界特征选择：宽度+亮度第十九页，共102页。线性分类器分类器设计第二十页，共102页。非线性分类器分类器设计第二十一页，共102页。哪一个好？为什么？分类器设计第二十二页，共102页。泛化能力/推广能力（Generalization）设计分类器的中心目标是能够对新样本做出正确的反应，而不是对训练样本的完美分类。分类模型对训练样本的过分匹配是一种应当努力避免的现象：过拟合（Overfitting）避免过拟合的方法：避免过于复杂的决策面复杂的决策面or简单的决策面？分类器的泛化能力第二十三页，共102页。模式识别的基本问题

第二十四页，共102页。对象空间模式空间特征空间类型空间模式识别的任务模式采集：从客观世界（对象空间）到模式空间的过程称为模式采集。特征提取和特征选择：由模式空间到特征空间的变换和选择。类型判别：特征空间到类型空间所作的操作。模式识别三大任务第二十五页，共102页。【主要内容】(1)模式识别的训练方法

(2)紧致性(3)特征选取(4)相似性度量与分类

(5)性能评价(6)识别系统设计过程第二十六页，共102页。【模式识别的训练方法】学习的分类：学习的定义：广义地讲，任何设计分类器时所用的方法只要它利用了训练样本的信息就可以认为学习，学习的目的是指利用某种算法来降低由于训练样本的差异导致的分类误差。

监督学习（supervisedlearning

）：存在一个教师信号，对训练样本集的每个输入样本能提供类别标记和分类代价并寻找能够降低总体代价的方向。(人脸识别)。利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程。对具有概念标记（分类）的训练样本进行学习，以尽可能对训练样本集外的数据进行标记（分类）预测。所有的标记（分类）是已知的。因此，训练样本的岐义性低。无监督学习（unsupervisedlearning

）：没有显示的教师指导整个训练过程。（图像检索）。对没有概念标记（分类）的训练样本进行学习，以发现训练样本集中的结构性知识。所有的标记（分类）是未知的。因此，训练样本的岐义性高。聚类就是典型的无监督学习。半监督学习（Semi-supervisedLearning

）：半监督学习是利用少部分标记数据集及未标记样本进行学习的主流技术。（如医学图像）。无监督学习只利用未标记的样本集，而监督学习则只利用标记的样本集进行学习。但在很多实际问题中，只有少量的带有标记的数据，因为对数据进行标记的代价有时很高。第二十七页，共102页。【监督学习与无监督学习】监督的学习方法的性能完全由训练样本的数量和质量决定，目标是通过已有的一部分输入数据与输出数据之间的对应关系，生成一个函数，建立问题域的预测模型，将输入映射到合适的输出。主要存在以下两点缺陷：(1)垃圾进、垃圾出。是指分类器的有效性完全依赖于训练样本的质量，当训练样本的质量不高时，很难得到好的分类效果。（2）过分适应训练样本（过拟合）。当训练样本的数量有限时，就会出现过分适应训练样本的现象，从而影响对新到数据的分类性能。简单解决的办法是增加训练样本的数量，但是给训练数据分类是一项极其耗费时间的工作，甚至有些情况下是不可能的。比如：对于有些问题，人们还不知道问题的正确答案，因此“增加训练样本的数量”看似简单，实际上并不简单。一句话：从它得到的训练集中进行“学习”，从而对未知数据进行分类。常用的算法包括：决策树分类法，朴素的贝叶斯分类算法(nativeBayesianclassifier)、基于支持向量机(SVM)的分类器，神经网络法，k-最近邻法(k-nearestneighbor，kNN)，模糊分类法等等。无监督的学习方法的目标是直接对输入数据集进行建模，通过数据分析以发现有趣的模式或结构。聚类方法是一种典型的无监督的学习方法。需要聚类的数据对象没有标记，需要由聚类算法自己确定。由于对数据对象不具备任何背景知识，聚类算法采用相同的原则对这些数据进行分析，聚类结果是否有效依赖于数据集对事先所制定的原则（假设）的符合程度。第二十八页，共102页。【半监督学习】Motivation：1、有标记样本难以获取。需要专门的人员,特别的设备,额外的开销等等。2、无标记的样本相对而言是很廉价，容易获取的。两个例子：（1）在计算机辅助医学图像分析中,可以从医院获得大量的医学图像作为训练例,但如果要求医学专家把这些图像中的病灶都标识出来,则往往是不现实的。（2）在进行Web网页推荐时,需要用户标记出哪些网页是他感兴趣的,很少会有用户愿意花大量的时间来提供标记,因此有标记的网页示例比较少,Web上存在着无数的网页,它们都可作为未标记示例来使用。显然,如果只使用少量的有标记示例,那么利用它们所训练出的学习系统往往很难具有强泛化能力;另一方面,如果仅使用少量“昂贵的”有标记示例而不利用大量“廉价的”未标记示例,则是对数据资源的极大的浪费。目前,利用未标记示例的主流学习技术主要有三大类：半监督学习(semi-supervisedlearning)、直推学习(transductivelearning)和主动学习(activelearning)。这三类技术都是试图利用大量的未标记示例来辅助对少量有标记示例的学习,但它们的基本思想却有显著的不同。在半监督学习中,学习器试图自行利用未标记示例,即整个学习过程不需人工干预,仅基于学习器自身对未标记示例进行利用。直推学习与半监督学习的相似之处是它也是由学习器自行利用未标记示例,但不同的是,直推学习假定未标记示例就是测试例,即学习的目的就是在这些未标记示例上取得最佳泛化能力。换句话说,半监督学习考虑的是一个“开放世界”,即在进行学习时并不知道要预测的示例是什么,而直推学习考虑的则是一个“封闭世界”,在学习时已经知道了需要预测哪些示例。总结：半监督学习是归纳式的,生成的模型可用做更广泛的样本;而直推式学习仅仅为了当前无标记样本的分类。前者使用无标记样本,为了以后其他样本更好的分类。后者只是为了分类好这些有限的无标记样本。主动学习算法可以主动地提出一些标注请求，将一些经过筛选的数据提交给专家进行标注。第二十九页，共102页。【主要内容】(1)模式识别的训练方法

(2)紧致性(3)特征选取(4)相似性度量与分类

(5)性能评价(6)识别系统设计过程第三十页，共102页。【紧致性】紧致集：同一类模式类样本的分布比较集中，没有或临界样本很少，这样的模式类称紧致集。临界点(样本)：在多类样本中，某些样本的值有微小变化时就变成另一类样本称为临界样本（点）。紧致性的概念：为了能在某个空间中进行分类，通常假设同一类的各个模式在该空间中组成一个紧致集。从这个紧致集中的任何一点可以均匀过渡到同一集中的另外一点，且在过渡途中的所有各个点都仍然属于这个紧致集（即属于同一模式类）。此外，当紧致集中各个点在任意方向有某些不大的移动时它仍然属于这个集合。第三十一页，共102页。第1种情况：A1:111,101,110,011A2：000，010，100，001只要用一个平面就可以将两个点集分开。【举例】011111001101100110010x1x3x2000第三十二页，共102页。第2种情况：A1:111A2：000任何一个通过点000与111连线的平面都能达到分类的目的。【举例】x2011111001101100110010x1x3000第三十三页，共102页。第3种情况：A1:111,001,100,010A2：000，011，101，110需要用3个平面才能分开。【举例】011111001101100110010x1x3x2000对于这种情况，结合A1中任意一点的一个码的数值发生变化，例如111变为101，那么就成为A2中的成员。把这些点成为临界点。把改变其中一个码值不能改变其集合属性的点成为内点。在该情况下，集合A1和集合A2没有内点，全部为临界点。一般情况，两个集合中具有的临界点越多，就越难分开。例如，A1={000};A2={111}，没有临界点，全部为内点，因此较为容易将其分开第三十四页，共102页。

一般来说，在D维空间中要用超表面进行分类，假若我们用平面图表示D维空间中点的分布。如下图。没有临界点有许多临界点临界点过多，造成不可分第三十五页，共102页。【紧致性】紧致性的性质：临界点的数量与总的点数相比很少；集合中任意两点可以用光滑线连接，在该连线上的点也属于这个集合；每个内点都有足够大的领域只包含同一集合中的点。模式识别的要求:满足紧致集，才能很好的分类；如果不满足紧致集，就要采取变换的方法,满足紧致集。第三十六页，共102页。【主要内容】(1)模式识别的训练方法

(2)紧致性(3)特征选取(4)相似性度量与分类

(5)性能评价(6)识别系统设计过程第三十七页，共102页。【特征选取】特征是决定相似性和分类的关键，当分类的目的决定后，如何找到合适的特征成为识别物体的关键。下面举一个实例说明。第三十八页，共102页。Salmon(鲑鱼)与Seabass(鲈鱼)分类系统【特征选取】光泽度长度宽度可选特征第三十九页，共102页。长度特征直方图光泽度直方图

宽度（纵轴）-光泽度（横轴）不成功不成功成功【特征选取】第四十页，共102页。泛化推广能力：模型的复杂度对分类效果的影响【特征选取】第四十一页，共102页。

1.底层特征：（1）数值尺度（numericalsize）：有明确的数量和数值。（2）非数值尺度（non-numericalsize)①有序尺度：有先后、好坏的次序关系，如酒分为上，中，下三个等级。②名义尺度(nominal))：无数量、无次序关系，如颜色：红、黄、蓝、黑

2.中层特征：经过计算，变换得到的特征

3.高层特征：在中层特征的基础上有目的的经过运算形成

【特征选取】第四十二页，共102页。车身车轮车型颜色底层中层汽车高层品牌第四十三页，共102页。【主要内容】(1)模式识别的训练方法

(2)紧致性(3)特征选取(4)相似性度量与分类

(5)性能评价(6)识别系统设计过程第四十四页，共102页。【相似性度量与分类】(1)相似性度量第四十五页，共102页。【相似性度量与分类】(1)相似性度量第四十六页，共102页。距离值越小，相似性越高【相似性度量与分类】第四十七页，共102页。2.用各种距离度量相似性：已知两个样本：

Xi=(xi1,xi2,xi3,…,xin)T

Xj=(xj1,xj2,xj3,…,xjn)T①绝对值距离(街坊距离或Manhattan距离）：【相似性度量与分类】第四十八页，共102页。②欧几里德(Euclidean)距离③明考夫斯基(Minkowski)距离

其中当q=1时为绝对值距离，当q=2时为欧氏距离第四十九页，共102页。其中Xi，Xj为特征向量，为协方差矩阵。使用于N个样本的集合中两个样本之间求M氏距离：④切比雪夫(Chebyshev)距离：是q趋向无穷大时明氏距离的极限情况⑤马哈拉诺比斯（Mahalanobis)距离N——样本个数第五十页，共102页。例：马哈拉诺比斯（Mahalanobis)距离：设X1=（0,0)T,X2=（0,1)T,X3=（1,0)T,X4=（1,1)T.则N=4，第五十一页，共102页。第五十二页，共102页。X1X2X3X4X10X20X30X40两点之间的马氏距离X1X2X3X4两点之间的欧氏距离X1X2X3X4X1011X2101X3101X4110都具对称性。但数值不同。马氏距离的计算步骤：1.求样本均值；2.求协方差矩阵；3.求协方差矩阵的逆矩阵？；4.按公式求两点间马氏距离。5.优点：量纲无关，排除变量之间的相关性的干扰。第五十三页，共102页。马氏距离的优点1、用逆矩阵的原因是相当于除去scale对距离的影响。如一维的情况下，同样距离都是3，但对于方差大的数据，这个距离就算小了，所以要用距离再除以方差。高维情况就是协方差阵的逆。2、如：均值分别为a和b两个正态分布的总体，方差不一样，则图中的A点离哪个总体近呢？显然，A离左边的更近，属于左边总体的概率更大，尽管A与a的欧式距离远一些。【马氏距离的优点】第五十四页，共102页。即样本间夹角小的具有相似性强。例：X1,X2,X3的夹角如图：因为X1,X2的夹角小，所以X1,X2最相似。XYX1X2X3⑥夹角余弦第五十五页，共102页。如：1，3，5，7，9与2，4，6，8，10的相关系数为1；

1，3，5，7，9与10，8，6，4，2的相关系数为-1；注意：在求相关系数之前，要将数标准化*相关系数分别为Xi,Xj的均值:其中，Xi=(xi1,xi2,…,xin),Xj=(xj1,xj2,…,xjn).相关系数的绝对值越大，则表明两向量相关度越高第五十六页，共102页。【相似性度量与分类】(2)分类(a)不存在纯客观的分类标准，任何分类都是带有主观性的。例如，鲸鱼在生物学角度属于哺乳类，应该和牛算作一类；但从产业的角度，捕鲸属于水产业，而牛是畜牧业。(b)分类问题不是纯数学问题。第五十七页，共102页。【主要内容】(1)模式识别的训练方法

(2)紧致性(3)特征选取(4)相似性度量与分类

(5)性能评价(6)识别系统设计过程第五十八页，共102页。【性能评价】正确识别率=正确分类数/总数错误识别率=错误分类数/总数拒绝识别率=拒绝分类数/总数第五十九页，共102页。【主要内容】(1)模式识别的训练方法

(2)紧致性(3)特征选取(4)相似性度量与分类

(5)性能评价(6)识别系统设计过程第六十页，共102页。【识别系统设计过程】数据采集：在开发一个模式识别系统总的费用中，数据采集部分占令人吃惊的比重，当然采用较小的“典型”样本集对问题的可行性进行初步研究是可以的，但在实际应用中为了确保现场工作良好的性能，需要采集到大量的数据。采集数据选择特征选择模型训练分类器评价分类器设计结束设计开始选择特征：选择有明显区分意义的特征是设计过程关键的一步。选择模型：用数学形式表达的不同特征的描述。训练分类器：利用样本数据确定分类器的过程。评价分类器：避免过拟合。第六十一页，共102页。总结：几个重要问题特征提取噪声过拟合模型选择先验知识特征缺失部分与整体分割上下文不变性分类器集成代价与风险计算复杂性……第六十二页，共102页。特征提取FeatureExtraction：Whichfeaturesaremostpromisingproblemanddomaindependent第六十三页，共102页。噪声Noise：anypropertyofthesensedpatternduenottothetrueunderlyingmodelbutinsteadtorandomnessintheworldorthesensors.噪声的影响：降低特征值测量的可靠性第六十四页，共102页。过拟合Overtting：Whileanoverlycomplexmodelmayallowperfectclassificationofthetrainingsamples,itisunlikelytogivegoodclassificationofnovelpatternsArethereprincipledmethodsforfindingthebestcomplexityforaclassier?第六十五页，共102页。模型选择ModelSelection：Howdoweknowwhentorejectaclassofmodelsandtryanotherone?LinearNon-linear第六十六页，共102页。先验知识PriorKnowledge：Whenthereisnotsufficienttrainingdata,incorporatepriorknowledge第六十七页，共102页。特征缺失MissingFeatures:Howshouldtheclassifiermakethebestdecisionwithmissingfeatures?Howtotraintheclassifierwithmissingfeatures?第六十八页，共102页。部分与整体Mereology：theproblemofsubsetsandsupersets,thestudyof

part/wholerelationships.Itisrelatedtopriorknowledgeandsegmentation第六十九页，共102页。分割Segmentation：Howdowe“group”togetherthepropernumberofelements？第七十页，共102页。上下文Context：input-dependentinformationotherthanfromthetargetpatternitselfThesamepatternwithindifferentcontextmighthavedifferentmeanings第七十一页，共102页。不变性Invariance：translationinvariance,rotationalinvariance,scaleinvariance第七十二页，共102页。分类器集成EvidencePooling:

ClassifierEnsemble.Performancecanbeimprovedusingmultipleclassifiers第七十三页，共102页。代价与风险CostsandRisks：EachclassificationisassociatedwithacostorriskCanweestimatethelowestpossibleriskofanyclassifier?第七十四页，共102页。计算复杂性ComputationalComplexity：impracticaltimeormemoryrequirements？HowdoesanalgorithmscalewiththenumberoffeaturedimensionsnumberofpatternsnumberofcategoriesWhatisthetradeoffbetweencomputationalcomplexityandperformance?第七十五页，共102页。主要内容模式识别基本概念模式识别系统组成模式识别基本问题应用领域小结第七十六页，共102页。应用领域

第七十七页，共102页。【应用领域】(1)工业领域

(2)农业领域(3)生物特征识别(4)交通领域

(5)医学领域(6)航空航天第七十八页，共102页。(1)工业领域工业机器人电路板检测第七十九页，共102页。(2)农业领域农业采摘机器人第八十页，共102页。(3)生物特征识别人脸识别虹膜识别手掌静脉识别指纹识别第八十一页，共102页。(4)交通领域无人驾驶车牌识别交通流量分析第八十二页，共102页。(5)医学领域计算机辅助诊断系统医学图像决策系统第八十三页，共102页。(6)航空航天导弹图像末制导无人侦察机全天候雷达监控系统遥感地貌分析第八十四页，共102页。主要内容模式识别基本概念模式识别系统组成模式识别基本问题应用领域小结第八十五页，共102页。本章小结

第八十六页，共102页。【小结】(1)模式识别是每时每刻都发生的，重点强调分类。(2)具有广泛的应用。(3)对工程学科的意义

(4)发展历程(5)重要研究期刊(6)参考书目第八十七页，共102页。【4.发展历程】模式识别诞生于20世纪20年代；随着40年代计算机的出现，50年代人工智能的兴起，模式识别在60年代迅速发展成一门学科；3.60年代L.A.Zadeh提出了模糊集理论，模糊模式识别理论得到了较广泛的应用。4.80年代Hopfield提出神经元网络模型理论。近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用。5.90年代，支持矢量机（SVM）的提出吸引了模式识别领域对小样本统计学习理论和核方法（KernelMethods）的关注。与神经网络相比，SVM通过优化一个泛化误差界限自动确定一个最优的分类器结构，具有更好的泛化能力。核方法的引入使统计方法从线性空间推广到高维非线性空间。第八十八页，共102页。21世纪以来：蓬勃发展时期

统计学习理论越来越多地用于解决具体的模式识别和模型选择问题新的概率密度估计、特征选择、特征变换、聚类算法不断提出模式识别领域和机器学习领域的互相渗透模式识别系统大规模用于实际问题Ref：刘成林,谈铁牛.模式识别研究进展.中科院自动化所,模式识别重点实验室【4.发展历程】第八十九页，共102页。【5.重要期刊论文和数据】1.IEEETransactiononPatternAnalysisandMachineIntelligence，PAMI2.JournalofMachineLearningResearch3.IEEETransactiononMachineLearning,NeuralComputation,NN(NeuralNetwork)4.PatternRecognition5.PatternRecognitionLetter

6.PatternAnalysisandApplications,1997-(Springer)7.InternationalJournalonDocumentAnalysis&Recognition,1998-(Springer)8.InternationalJournalofPatternRecognitionandArtificialIntelligence实验数据UCImachinelearningrepositoryhttp://DataforEvaluatingLearninginValidExperiments(DELVE)http:///~delve/StatLibDatasetsArchive/datasets/第九十页，共102页。主要会议ICPR(InternationalConferenceonPatternRecognition)：2年一次，1000人规模ICDAR(InternationalConferenceonDocumentAnalysisandRecognition)：2年一次，300-400人规模FG(IEEEInt’lConferenceonAutomaticFaceandGestureRecognition)第九十一页，共102页。ICASSP(IEEEInternationalConferenceonAcoustics,SpeechandSignalProcessing),ICIP(InternationalConferenceonImageProcessing)ICML(InternationalConferenceonMachineLearning)第九十二页，共102页。计算机视觉三大国际会议

ICCV(InternationalConferenceonComputerVision)：2年一次，1000人规模

CVPR(InternationalConferenceonComputerVisionandPatternRecognition)：每年一次在美国，1000人规模

ECCV(EuropeanConferenceonComputerVision)：2年一次第九十三页，共102页。主要组织

国际组织IAPR(InternationalAssociationforPatternRecognition,模式识别国际协会)IEEEComputerSociety:TC(TechnicalCommittee)onPAMI(PatternAnalysisandMachineIntelligence)国内组织中国自动化学会：模式识别与机器智能(PRMI)专业委员会，1981年成立，IAPR(InternationalAssociationofPatternRecognition)成员组织中国计算机学会：人工智能与模式识别专业委员会中国人工智能学会第九十四页，共102页。USA:MIT(TomasoPoggio,BrainandCognitiveSciencesandattheArtificialIntelligenceLaboratory.)

UIUC(ThomasHuang,UniversityofIllinoisUrbanaChampaign伊利诺伊大学厄本那香槟分校,Robotics,vision,artificialintelligence)

CMU(CarnegieMellonUniversity卡内基梅隆大学,computervision,human-computerinteraction,mobilerobots)

MSU(A.K.Jain,MichiganStateUniversity密西根州立大学,patternrecognition,computervisionandbiometricrecognition)

第九十五页，共102页。Canada:TorontoUniversity多伦多(G.E.Hinton,NeuralNetwork,MachineLearning.BoltzmannMachines,Distributed