实验课程-091042-模式识别(共6页)

1、模式识别(m sh sh bi)实验(shyn)教学大纲(jio xu d n)(实验课程)课程编号：091042课程英文名称：Pattern Recognition课程类型： 通识通修 通识通选 学科必修 学科选修 跨学科选修 专业核心 专业选修（学术研究） 专业选修（就业创业）适用年级专业（学科类）：计算机科学与技术、网络工程、软件工程 四年级先修课程：高等数学、线性代数、概率与数理统计、程序设计语言总学分：1总学时：32一、课程简介与教学目标模式识别实验是配合计算机科学与技术、网络工程和软件工程专业课程模式识别开设的实验课程。要求学生在理解模式识别理论及方法的基础上，应具有设计、实现、分

2、析和维护模式识别等方面的能力。通过本实验课程的训练，使学生熟练掌握模式识别的基本原理和方法，加深对各方法涉及的基础知识的认识，强化编程技能，培养创新能力。二、教学方式与方法教学方式：学生动手实验为主，辅以适当的提问、小组讨论及实验点评等。教学方法：探讨式教学、启发式教学、实验教学相结合；尝试包括实验设计、研究设计、答辩、总结等环节的教学。三、教学重点与难点 （一）教学重点理解模式识别系统的基本原理，掌握模式识别中Bayes分类器、Parzen窗估计与KN近邻估计、最近邻方法和C均值聚类算法等，学会使用相应工具进行模式识别方法的设计与实现，从而进一步理解模式识别课程中所讲授的理论知识。（二）教学

3、难点H-K算法、基于K-L变换的实现。四、学时分配计划序号实验项目名称实验要求实验类型学时一Bayes分类器设计必修设计研究性4二最大似然估计必修设计研究性4三Parzen窗估计与KN近邻估计必修设计研究性4四H-K算法选修设计研究性4五最近邻方法必修设计研究性4六基于K-L变换的特征提取必修设计研究性4七c-均值算法必修设计研究性2八层次聚类算法选修设计研究性6合计32五、教材(jioci)与教学参考书（一）教材(jioci)1.模式识别(m sh sh bi)（第2版），边肇祺，张学工等，清华大学出版社，2000。（二）教学参考书1模式识别导论，齐敏、李大健、郝重阳，清华大学出版社，200

4、9；2模式识别原理，孙亮，北京工业大学出版社，2009；3模式识别（第3版），张学工，清华大学出版社，2010；4模式识别(英文版第3版)(经典原版书库)，(希腊)西奥多里迪斯 等著，机械工业出版社，2006。六、课程考核与成绩评定【考核类型】 考试 考查【考核方式】 开卷（Open-Book） 闭卷（Close-Book） 项目报告/论文 其它： 实验成绩综合评定 （填写具体考核方式）【成绩评定】平时成绩占30-40%，实验成绩占60-70%七、课程内容概述实验一 Bayes分类器设计（一）教学要求理解基于Bayes决策理论的随机模式分类的原理和方法，掌握基于最小错误率的贝叶斯决策和基于最小

5、风险的贝叶斯决策，并能够对贝叶斯规则给出具体的实现。（二）知识点提示知识点：错误率、风险、先验概率、概率密度函数、最小错误率贝叶斯决策规则、最小风险贝叶斯决策规则。重点：最小错误率贝叶斯决策规则和最小风险贝叶斯决策规则的实现。难点：最小风险贝叶斯决策规则的实现。（三）教学内容Bayes分类器的基本思想是依据类别先验概率和条件概率密度，按照某种准则使分类结果从统计上讲是最佳的。换言之，根据类别先验概率和条件概率密度将模式空间划分成若干个子空间，在此基础上形成模式分类的判决规则。准则函数不同，所导出的判决规则就不同，分类结果也不同；使用哪种准则或方法应根据具体问题来确定。1产生二维正态分布模式，并

6、将产生的样本集随机地分为训练集和测试集；2分别设计最小错误率的Bayes分类器和最小风险Bayes分类器，并对测试集进行分类，观察代价函数的设置对分类结果的影响；3统计错分概率。（四）思考题1.如何获得类条件概率密度？2.按照最小错误率的贝叶斯决策规则和最小风险的贝叶斯决策规则对测试集中的样本分类，结果一致吗？实验(shyn)二 最大似然估计(gj)（一）教学要求理解(lji)概率密度函数的估计方法，掌握监督参数估计方法的基本原理，并能够对最大似然估计给出具体的实现。（二）知识点提示知识点：概率密度函数的估计方法、监督参数估计、最大似然估计、似然函数。重点：似然函数、最大似然估计的实现。难点：

7、最大似然估计的实现。（三）教学内容最大似然估计的基本思想是已知某一类型的样本集，且概率密度函数的形式已知，如何利用已知的样本集估计概率密度函数中的参数。实验内容包括：1产生二维正态分布模式；2用最大似然估计法估计模式的分布参数。（四）思考题1.如何产生服从正态分布的样本？2.利用最大似然估计方法得到的结果与实际参数值一致吗？ 实验三 Parzen窗估计与KN近邻估计（一）教学要求理解概率密度函数的估计方法，掌握非参数估计方法的基本原理，理解并能够实现Parzen窗估计与KN近邻估计。（二）知识点提示知识点：非参数估计方法的基本原理、Parzen窗估计与KN近邻估计。重点：Parzen窗估计与K

8、N近邻估计的实现。难点：Parzen窗估计的实现。（三）教学内容Parzen窗估计和KN近邻估计是两种非参数估计方法，主要通过样本直接估计概率密度函数。实验内容包括：1产生二维正态分布模式；2用Parzen窗法和KN近邻法估计概率密度。（四）思考题1.如何产生服从正态分布的样本？2.利用Parzen窗估计与KN近邻估计得到的结果一致吗？ 实验四 H-K算法（一）教学要求掌握基于二次准则函数的梯度下降算法的基本思想，了解该算法的特点。编写能对实际模式样本正确分类的Ho-Kashyyap算法(简称H-K算法)程序。（二）知识点提示知识点：最小错分样本数准则、共轭梯度法。重点：掌握用程序设计语言实现

9、H-K算法。难点：H-K算法的实现。（三）教学内容梯度下降法的目标是通过迭代(di di)校正：wk=wk-1+xi，i=1,2,N，k=0,1,2，N为样本个数，求解(qi ji)线性判决函数d(x)=wx的解矢量(shling)w。解通常不是唯一的，故解在解空间构成一个解区。H-K算法利用最小错分样本数准则解决训练模式是否线性可分的情况，它是一种求判别域代数界面方程近似解的问题。首先引入分量均为正的余量矢量b, 显然满足wxb的解矢量将比满足wx0的解矢量更趋于解区中心，也即解更可靠。其次采用二次准则函数J(X,w,b)=|Xw-b|2，X =（x1，x2，xN）为符号规范化后的增广特征矢

10、量矩阵，使算法对线性可分情况和非线性可分情况都有效。对线性可分情况，求得的解使准则函数取最小值0；对非线性可分情况，使二次准则函数最小的解可使误分模式数最少。H-K算法将准则函数视为w和b的函数，在迭代过程中修正w的同时，也对矢量b进行调整，并通过最小化技术可求得准则函数关于w和b的极小值点。在迭代求准则函数最小值过程中，可根据误差矢量(Xw-b)的值判断算法是否收敛，同时误差矢量也反映模式是否线性可分。编写H-K算法程序，要求针对不同的输入样本集，观察算法的收敛性及收敛速度。（四）思考题1、使用H-K算法得到的解与其他方法有何不同？2、H-K算法适用于所有情形吗？实验五 k-近邻方法（一）教

11、学要求通过实验加深k-近邻方法原理，编写能对实际模式样本正确分类的算法程序；掌握k-近邻算法的基本思想；认识影响算法性能的因素，编写对实际模式样本正确分类的算法程序。（二）知识点提示知识点：判别函数、k-近邻的决策规则。重点：掌握用程序设计语言实现k-近邻法的程序。难点：k-近邻法的实现。（三）教学内容对待识别模式x, 分别计算它与N(N=N1+N2+Nc)个已知类别样本xj(i)i，i=1,2,c，的距离，取k个最近邻样本，这k个样本中属于哪一类的样本最多, 就判x属于哪一类。这里，c为类别数，Ni为第i类的样本个数，N为样本总数。编写k-近邻算法程序，要求能对实际模式样本进行分类。要求：1

12、在程序注解中，列写出程序的输入、输出、算法描述、变量说明；2将已知类别的样本集分为参照集和测试集，对测试集进行分类；3统计错分概率，分析产生错分的原因。（四）思考题1使用k-近邻法与最近邻法得到的结果一致吗？2如何计算错分概率？实验(shyn)六 基于(jy)K-L变换的特征提取（一）教学要求掌握(zhngw)离散K-L变换原理、特点，编写基于离散K-L变换的特征提取程序。（二）知识点提示知识点：类间离散度、离散K-L变换、本征向量。重点：基于类间离散度准则的离散K-L变换。难点：矩阵的本征向量。（三）教学内容编写基于类间离散度矩阵Sb的特征提取程序，要求： 1对c类问题，求输入样本x的类间离

13、散度矩阵Sb；2求Sb的本征值12d及其对应的本征向量T=( t1,t2,tn)，dc；3取d=2，做变换y=Tx，观察y的分布情况。（四）思考题1是否存在使用其它准则的K-L变换？实验七 c-均值算法（一）教学要求掌握动态聚类算法的基本思想；认识类别数、初始类中心的选择对c-均值算法聚类结果的影响；编写能对实际模式样本正确分类的c-均值算法程序。（二）知识点提示知识点：相似性度量、评价聚类结果质量的准则函数、代表点的选择方法、确定初始分类的方法。重点：理解并实现c均值算法。难点：c均值算法的实现。（三）教学内容设类别数为c，选取c个初始聚类中心，按最小距离原则将各模式分配到c类中的某一类，不

14、断地计算类心和调整各模式的类别使每个模式特征矢量到其所属类别中心的距离平方之和最小。编写c-均值算法程序，要求：1改变初始类中心，观察对聚类结果的影响；2改变类别数c，比较其对类内距离平方和的大小的影响。（四）思考题1c均值聚类算法一定收敛吗？2c均值算法主要适应于何种类型数据？实验八 层次聚类算法（一）教学要求掌握层次聚类算法的基本思想；认识类间距离的定义对层次聚类算法的影响；掌握距离递推计算技巧；编写能对实际模式样本正确分类的层次聚类算法程序。（二）知识点提示知识点：层次聚类算法的基本思想、簇合并方法、相似性度量。重点：掌握并实现层次聚类算法。难点：层次聚类算法中簇的合并。（三）教学内容初始时，设各模式自成一类；然后计算类与类之间的距离，选择距离最小的一对合并成一个新类；计算在新产生的类别(libi)划分下各类之间的距离，再将距离最近的两类合并；直至所有模式聚成两类为止。编写(binxi)层次聚类算法程序，要求：1改变停止条件，观察(gunch)对聚类结果的影响；a. 以类间距离门限T作为停止条件，即当类间距离矩阵中最小阵元大于T时，聚类过程停止； b. 以预定的类别数目作为停止条件，当类别合并过程中，类数等于预定值时，聚类过程停止。2选择不同的类间距离，观察对聚类结果的影响；3要求类间距离以递推方式计算。（四）思考题1在层次聚类中，如何确定数