机器学习与模式识别-教学大纲

《机器学习与模式识别》教学大纲课程编号：071243B课程类型：□通识教育必修课□通识教育选修课■专业必修课 □专业选修课□学科基础课总学时：48 讲课学时：32实验（上机）学时：16学分：3适用对象：计算机科学与技术专业先修课程：程序设计基础与应用、数据结构、高等数学、算法导论一、教学目标《机器学习与算法导论》是计算机科学技术专业的一门专业选修课程。本课程是面向计算机技术开设的专业选修课。其教学重点是使学生掌握常见机器学习算法，包括算法的主要思想和基本步骤，并通过编程练习和典型应用实例加深了解；同时对机器学习的一般理论，如假设空间、采样理论、计算学习理论，以及无监督学习和强化学习有所了解。模式识别部分是研究计算机模式识别的基本理论、方法和应用。通过本课程的学习，使学生掌握模式识别的基本概念、基本原理、基本分析方法和算法，培养学生利用模式识别方法，运用技能解决本专业和相关领域的实际问题的能力。学生通过本门课程的学习，能够对机器学习和模式识别的内容有一个较为全面的了解和认识，更深刻地理解机器学习的实质内容，使学生具备前沿的计算机技术必要的专业知识。从而，为学生今后从事计算机技术应用与计算机技术前沿研究，以及相关领域的科学研究做好理论和技术上的准备。目标1：通过对机器学习与模式识别基本概念、原理、和基本方法的讲解，让学生理解并掌握机器学习和模式识别的基本技术。目标2：培养学生利用模式识别方法，运用技能解决本专业和相关领域的实际问题的能力。目标3：鼓励学生运用知识解决各自学科的实际问题，培养他们的独立科研的能力和理论联系实际的能力。二、教学内容及其与毕业要求的对应关系（黑体，小四号字）本课程主要介绍决策论与信息论基础、概率分布、回归的线性模型、分类的线性模型、核方法、支持向量机、图模型、混合模型和期望最大化、隐Markov模型和条件随机场模型、统计决策方法、概率密度函数的估计、线性分类器、非线性分类器、其他分类方法、特征选择、特征提取、非监督模式识别、模式识别系统的评价等。通过教学和实践，培养学生运用数学工具和方法分析问题和从多角度运用数学工具解决问题的基本能力，培养学生利用模式识别方法，运用技能解决本专业和相关领域的实际问题的能力，训练学生的逻辑思维能力和想象力。在教学中，鼓励学生运用算法知识解决各个学科的实际计算问题，培养学生初步的独立开展科研工作的能力和理论联系实践，解决实际问题的能力，同时，为后续课程以及将来的研究工作提供必要的基础。止匕外，配合实验课程的教学，学生应理论联系实际，理论指导实践，通过规范地完成项目实践进一步巩固所学的相关书本知识，在知识、能力、素质上得到进一步的提高。三、各教学环节学时分配教学课时分配序号章节内容讲课实验其他合计第一章绪论22第二章概率分布22第三章回归的线性模型224第四章分类的线性模型224第五章神经网络325第八章核方法224第七章稀疏核集224第八章图模型224第九章混合模型和EM22第十章隐Markov模型和条件随机场模型22第十一章特征选择224第十二章特征提取22第十三章非监督模式识别22第十四章模式识别系统的评价325总复习结课复习22合计321648四、教学内容第1章绪论教学重点、难点：决策论与信息论基础、损失函数、错分率的最小化、期望损失的最小化等；相对熵、互信息。模式与模式识别、模式识别的主要方法、监督模式识别与非监督模式识别、模式识别系统举例、模式识别系统的典型构成。课程的考核要求：熟悉机器学习与模式识别的基本定义和术语;基本数学知识。了解：了解机器学习与模式识别的研究范围和内容。理解：决策论与信息论基础、损失函数、错分率的最小化、期望损失的最小化等；相对熵、互信息。模式与模式识别、模式识别的主要方法、监督模式识别与非监督模式识别、模式识别系统举例、模式识别系统的典型构成等概念。掌握：掌握决策论与信息论基础、模式识别的主要方法。应用：与实际问题相呼应。复习思考题：见参考文献。第2章概率分布教学重点、难点：高斯分布、混合高斯分布、Dirichlet分布、beta分布课程的考核要求：熟悉最大似然估计、贝叶斯估计与贝叶斯学习、概率密度估计的非参数方法。了解：最大似然估计、充分统计量、共轭先验、无信息先验等。非参数方法：核密度估计、近邻法理解：neyman-pearson决策与roc曲线、正态分布时的统计决策、错误率的计算、、概率密度函数的估计掌握：掌握最小错误率贝叶斯决策、最小风险贝叶斯决策、两类错误率。应用：离散概率模型下的统计决策举例。复习思考题：见参考文献。第3章回归的线性模型教学重点、难点：贝叶斯线性回归。课程的考核要求：熟悉线性基函数模型。了解：贝叶斯模型比较。理解：等价核的概念。掌握：掌握贝叶斯模型。应用：各种分布的具体应用。复习思考题：见参考文献。第4章分类的线性模型：教学重点、难点：最优分类超平面与线性支持向量机。课程的考核要求：熟悉判别函数：二分类和多分类的Fisher线性判别、概率生成模型：连续输入、离散特征。了解：fisher线性判别分析。理解：多类线性分类器。掌握：线性判别函数的基本概念、感知器、最小平方误差判别应用：分类模型的具体应用。复习思考题：见参考文献。第5章神经网络教学重点、难点：神经网络的正则化。课程的考核要求：熟悉各种神经网络及其梯度下降的概念。了解：hessian矩阵及混合密度网络。理解：贝叶斯神经网络、多层感知器神经网络。掌握：前馈神经网络及神经网络的训练应用：进行神经网络实验的具体应用。复习思考题：见参考文献。第6章核方法：教学重点、难点：构造核函数课程的考核要求：熟悉对偶表示、径向基函数网络、Nadaraya-Watson模型了解：Laplace逼近理解：高斯过程模型用于回归和分类。掌握：高斯过程应用：核方法与神经网络的联系。复习思考题：见参考文献。第7章稀疏核集教学重点、难点：最优分类超平面与线性支持向量机、用于多分类和回归的支持向量机。课程的考核要求：熟悉判别函数：二分类和多分类的Fisher线性判别、概率生成模型：连续输入、离散特征。了解：各种变种理解：多类线性分类器以及最大边缘分类器。掌握：统计学习理论应用：稀疏核集的具体应用。复习思考题：见参考文献。第8章图模型：教学重点、难点：Markov随机场。课程的考核要求：熟悉因子分解。了解：循环置信传播理解：图模型中的推断掌握：条件独立的内容应用：置信网络的具体应用。复习思考题：见参考文献。第9章混合模型和期望最大化(ExpectationMaximization，EM)算法教学重点、难点：高斯混合模型的参数估计、EM一般算法及其应用课程的考核要求：、EM一般算法及其应用、最大似然估计、EM算法、贝叶斯线性回归了解：伯努利分布的混合理解：高斯混合模型的参数估计。掌握：最大似然估计、EM算法、贝叶斯线性回归应用：贝叶斯线性回归的EM算法。复习思考题：见参考文献。第10章隐Markov模型和条件随机场模型教学重点、难点：隐Markov模型、条件随机场及其应用课程的考核要求：熟悉隐Markov模型、条件随机场及其应用、Viterbi算法了解：Baum-Welch算法等理解：向前-向后算法掌握：熟悉隐Markov模型、条件随机场及其应用、Viterbi算法应用：隐Markov模型和条件随机场模型的具体应用。复习思考题：见参考文献。第n章特征选择教学重点、难点：特征选择的最优算法课程的考核要求：特征的评价准则、特征选择的最优算法了解：特征选择的次优算法理解：特征选择的遗传算法掌握：以分类性能为准则的特征选择方法应用：特征选择的具体应用。复习思考题：见参考文献。第12章特征提取教学重点、难点：基于类别可分性判据的特征提取、主成分分析方法、高维数据的低维显示。课程的考核要求：熟悉基于类别可分性判据的特征提取、主成分分析方法、高维数据的低维显示、多维尺度法。了解：karhunen-loeve变换理解：非线性变换方法掌握：线性判别函数的基本概念、感知器、最小平方误差判别基于类别可分性判据的特征提取、主成分分析方法、高维数据的低维显示、多维尺度法。应用：5k-l变换在人脸识别中的应用举例复习思考题：见参考文献。第13章非监督模式识别教学重点、难点：基于模型的方法、动态聚类算法课程的考核要求：熟悉基于模型的方法、动态聚类算法、模糊聚类方法了解：自组织映射神经网络理解：分级聚类方法掌握：混合模型的估计、基于模型的方法、动态聚类算法、模糊聚类方法应用：非监督模式识别的具体应用。复习思考题：见参考文献。第14章模式识别系统的评价教学重点、难点：有限样本下错误率的区间估计问题课程的考核要求：熟悉监督模式识别方法的错误率估计方法了解：非监督模式识别系统性能的评价理解：特征提取与选择对分类器性能估计的影响掌握：监督模式识别方法的错误率估计方法应用：从分类的显著性推断特征与类别的关系复习思考题：见参考文献。五、考核方式、成绩评定课程结束考核方式：闭卷考试课堂考试时间：120分钟考试命题：课程考试的命题内容要从大纲的要求出发，围绕本课程的教学内容、知识点和教学要求，着重从知识、能力、素质三个方面对学生进行全面的考核，重点考核学生运用知识解决问题的能力，同时考察学生的综合素质。考核范围为除了最后一周教学的内容外，其他大纲确定的知识点都在考试范围之内。试卷中不少于85%的内容应来自课程重点内容的范围，不少于10%的内容应来自课程非重点内容的范围，要求学生全面复习，以达到系统掌握，全面考核的目的。试卷的题型要力戒避免文科标准化试卷的题型，避免出现简单概念问答题和简答题。试卷题目数量一般为5、6、7题，以优秀学生在全部会做的情况下正常书写速度能够在90分钟内完成为宜。试卷题目数量的减少与全面考核的目的并不矛盾