模式识别与机器学习 课件全套 孙仕亮 第1-9讲 引言、贝叶斯学习基础-强化学习

模式识别与机器学习

PatternRecognition&MachineLearning第一讲引言第一讲引言本讲学习目标明确模式识别与机器学习的含义，感受它与人类智慧的联系理解四类典型机器学习系统的计算流程了解部分前沿研究方向，体会模式识别与机器学习领域的魅力了解全书知识体系的构成思路第一讲引言目录第一讲引言基本概念典型的机器学习系统前沿研究方向举例全书内容安排第一讲引言基本概念

第一讲引言基本概念投票选举

班长的选举、人大代表的选举

参考好朋友的选择

近邻法图1‑1机器学习中的近邻法示意图（5-近邻分类，其中三角形表示的测试点会判别为与之距离最近的5个点中得票最高的类别，即五角星所在的类别。）

不了解，想偷懒？何为“好”？

第一讲引言基本概念三个小皮匠胜过诸葛亮

以多胜寡、以弱胜强

集成学习方法考虑训练多个预测器，并且将它们的预测结果进行集成的思路。图1‑2小皮匠与诸葛亮的故事

第一讲引言基本概念主动学习图1‑3机器学习中的主动学习原理示意图强调的是对未标注样本的主动、选择性标注，通过标注少量“重要”的样本，减少人工标注的成本。其中，主动识别重要样本以尽快提升学习系统性能的做法，和人类社会中通过自觉主动学习尽快增强本领具有类似之处。第一讲引言目录第一讲引言基本概念典型的机器学习系统前沿研究方向举例全书内容安排第一讲引言典型的机器学习系统医学图像诊断医学图像，如计算机断层扫描（CT）图像、磁共振图像、超声成像、病理图像等，是进行疾病诊断和治疗的重要依据。病理图像是将人体组织做成病理切片后在高倍显微镜下看到的图像，通过扫描仪进行数字化后即可进行计算机辅助分析。（a）正常组织病理图（b）肿瘤组织病理图第一讲引言典型的机器学习系统医学图像诊断运用机器学习进行病理图像诊断通常有两种做法：首先运用专家经验或某种特征提取算法提取图像特征（“特征工程”阶段），然后基于此特征设计分类器进行疾病诊断。运用“端到端”的方式，直接从原始输入图像出发设计分类器，隐式地进行特征提取。第一讲引言典型的机器学习系统时间序列识别第一讲引言典型的机器学习系统对话系统对话系统领域任务型对话系统以完成一项具体的领域任务为目标如车载导航机器人和各公司的智能客服等开放域对话系统目的是满足用户的闲聊需求或者常识性问答需求，以产生内容丰富且有意义的问答如闲聊型对话机器人等第一讲引言典型的机器学习系统异常检测图1‑7某数据中心服务器的CPU使用率的时间序列数据

（图中黑色圆点表示异常点）第一讲引言目录第一讲引言基本概念典型的机器学习系统前沿研究方向举例全书内容安排第一讲引言前沿研究方向举例多视图机器学习当前复杂数据中不断呈现出的多源异质或多传感器感知等多视图特性，正成为制约人工智能和机器学习技术应用的关键之一。为突破多视图数据处理瓶颈，实现信息的融合与增强，开展多视图机器学习的研究至关重要。（a）视图一：半月形结构（b）视图二：直线型结构

图1‑8两视图数据及学习原理示意图（两个视图分别呈现出半月形和直线型的类别结构，一种可能的多视图学习原理是约束同一样本两个视图的分类结果尽可能一致。）第一讲引言前沿研究方向举例强化学习强化学习对于现实世界任务的解决能力正在快速提升，在诸如神经网络机器翻译、物联网时序数据异常检测等问题中逐渐得到成功应用。随着对低样本需求算法（如基于环境模型的算法可通过环境模型产生更多数据）和可迁移算法的不断研究，强化学习在现实世界问题中的应用将会逐渐增多。图1‑9强化学习基本原理示意图第一讲引言前沿研究方向举例可信人工智能机器学习算法所优化的目标有时与人类的预期并不一致算法过分依赖数据，使其性能与用于训练的数据质量密切相关机器学习算法，尤其是深度学习算法，其运行过程并不完全透明，有时就连它们的设计者也很难解释其内部工作原理。图1‑10不鲁棒的机器学习系统示例（熊猫图像在加入特定噪声之后，人类仍然可以正确识别，然而机器却识别为长臂猿）第一讲引言目录第一讲引言基本概念典型的机器学习系统前沿研究方向举例课程内容安排第一讲引言课程安排课程以贝叶斯学习的思想为潜在主线，从基础理论到典型模型与算法再到近似推理，循序渐进地呈现模式识别与机器学习的核心知识体系。引言模式识别与机器学习的概念以及部分典型系统和前沿方向，有助于读者对整个领域的内涵和外沿形成直观的感受。第2-4讲贝叶斯学习基础包括贝叶斯学习的基本理念、分类器的相关概念以及常用的参数估计方法等重要内容，构成了本书大部分章节的基础。逻辑回归章节包括用于回归问题的线性回归和用于分类问题的逻辑回归等简单且常用的方法。概率图模型基础全面地介绍了有向图模型和无向图模型的建模思路和理论支撑，以及和积算法和最大和算法等常用的推理算法。基于以上章节，分别介绍隐马尔可夫模型和条件随机场这两类具体的有向图模型和无向图模型。第一讲引言课程安排第5-8讲围绕监督学习、非监督学习、回归、分类、降维这些应用场景分别介绍了支持向量机、人工神经网络与深度学习、聚类、主成分分析与相关的谱方法等当前的主流方法。其中既包括运用了贝叶斯学习理念的概率模型，也包括思想直观、易于理解的非概率模型，对它们之间的联系我们也适时地进行了介绍。第9讲强化学习是机器学习中的一个重要分支，它的应用场景和学习方法与之前章节介绍的内容有很大不同，但是可以用到前面介绍的深度学习、蒙特卡洛等方法。第一讲引言参考文献上海市中小学(幼儿园)课程改革委员会.九年义务教育课本语文一年级第二学期[M].上海：上海教育出版社，2015.LiuY,YinM,SunS.Multi-viewLearningandDeepLearningforMicroscopicNeuroblastomaPathologyImageDiagnosis[C]//PRICAI2018:TrendsinArtificialIntelligence.Switzerland:SpringerInternationalPublishing,2018:545-558.NascimentoJC,FigueiredoMA,MarquesJS.TrajectoryClassificationUsingSwitchedDynamicalHiddenMarkovModels[J].IEEETransactionsonImageProcessing,2009,19(5):1338-1348.LavinA,AhmadS.EvaluatingReal-TimeAnomalyDetectionAlgorithms--TheNumentaAnomalyBenchmark[C]//Proceedingsofthe14thIEEEInternationalConferenceonMachineLearningandApplications.NewYork:IEEE,2015:38-44.ChaoG,SunS.ConsensusandComplementarityBasedMaximumEntropyDiscriminationforMulti-viewClassification[J].InformationSciences,2016,367-368(11):296-310.GoodfellowI,ShlensJ,SzegedyC.ExplainingandHarnessingAdversarialExamples[C/OL]//Proceedingsofthe3rdInternationalConferenceonLearningRepresentations.2015:1-11[2020-02-28]./pdf/1412.6572.pdf.模式识别与机器学习

PatternRecognition&MachineLearning第二讲贝叶斯学习基础本节学习目标掌握贝叶斯公式在机器学习中的应用思路能够熟练运用贝叶斯决策方法明确分类器相关的基本概念掌握基于高斯分布的贝叶斯分类器理解朴素贝叶斯分类器能够熟练运用各种参数估计方法第二讲贝叶斯学习基础第二讲贝叶斯学习基础目录贝叶斯公式贝叶斯决策分类器的相关概念基于高斯分布的贝叶斯分类器朴素贝叶斯分类器参数估计第二讲贝叶斯学习基础第二讲贝叶斯学习基础例：假设某个动物园里的雌性和雄性熊猫的比例是4：6，雌性熊猫中90%的熊猫是干净整洁的，雄性熊猫中20%是干净整洁的。1.求解“正向概率”：在动物园中看到一只干净整洁的雄性熊猫的概率是多少？2.求解“逆向概率”：如果看到一只熊猫是干净整洁的，它是雄性的概率是多少？

贝叶斯公式贝叶斯公式第二讲贝叶斯学习基础贝叶斯公式

第二讲贝叶斯学习基础

贝叶斯公式

第二讲贝叶斯学习基础目录贝叶斯公式贝叶斯决策分类器的相关概念基于高斯分布的贝叶斯分类器朴素贝叶斯分类器参数估计第二讲贝叶斯学习基础第二讲贝叶斯学习基础贝叶斯决策贝叶斯决策贝叶斯决策（Bayesiandecision）是概率框架下实施决策的基本方法，它通过综合考虑决策的后验分布和错误决策的损失来做出决策。其中，贝叶斯公式被用于计算后验分布。贝叶斯决策的前提是假设：第二讲贝叶斯学习基础贝叶斯决策

第二讲贝叶斯学习基础最小错误率贝叶斯决策

贝叶斯决策第二讲贝叶斯学习基础贝叶斯决策

第二讲贝叶斯学习基础贝叶斯决策

第二讲贝叶斯学习基础贝叶斯决策

第二讲贝叶斯学习基础贝叶斯决策

第二讲贝叶斯学习基础最小风险贝叶斯决策

贝叶斯决策第二讲贝叶斯学习基础贝叶斯决策

第二讲贝叶斯学习基础贝叶斯决策

第二讲贝叶斯学习基础贝叶斯决策最小风险贝叶斯决策&最小错误率贝叶斯决策

第二讲贝叶斯学习基础目录贝叶斯公式贝叶斯决策分类器的相关概念基于高斯分布的贝叶斯分类器朴素贝叶斯分类器参数估计第二讲贝叶斯学习基础第二讲贝叶斯学习基础二类分类问题：要机器来判断一张图像是大熊猫还是小熊猫多类分类问题：区分一张图片是大熊猫、小熊猫还是棕熊分类器的相关概念（a）大熊猫（b）小熊猫（c）棕熊分类器是一个计算系统，它通过计算出一系列判别函数的值做出分类决策，实现对输入数据进行分类的目的。判别函数是一个从输入特征映射到决策的函数，其结果可以直接用于做出分类决策。分类问题中，分类器会把输入空间划分成多个决策区域，这些决策区域之间的边界称作决策面或决策边界。第二讲贝叶斯学习基础

分类器的相关概念第二讲贝叶斯学习基础分类器的构建方法有很多种，常用的方法大致可以分为三大类，这里按照复杂度依次降低的顺序罗列。其中生成式模型和判别式模型都是基于概率框架，生成式模型构建所有观测的联合分布，而判别式模型只关心给定输入数据时输出数据的条件分布。分类器的相关概念第二讲贝叶斯学习基础

分类器的相关概念第二讲贝叶斯学习基础目录贝叶斯公式贝叶斯决策分类器的相关概念基于高斯分布的贝叶斯分类器朴素贝叶斯分类器参数估计第二讲贝叶斯学习基础第二讲贝叶斯学习基础高斯密度函数/正态密度函数

基于高斯分布的贝叶斯决策第二讲贝叶斯学习基础基于高斯分布的贝叶斯决策

基于高斯分布的贝叶斯决策第二讲贝叶斯学习基础

基于高斯分布的贝叶斯决策器第二讲贝叶斯学习基础

基于高斯分布的贝叶斯决策器图2-3（图中展示了当类别先验概率相等，两个类条件概率分布均为高斯分布且具有相等的非对角协方差矩阵时的贝叶斯决策的决策面，图中椭圆形的环表示类条件概率密度等高线。）

第二讲贝叶斯学习基础基于高斯分布的贝叶斯决策的错误率

基于高斯分布的贝叶斯决策第二讲贝叶斯学习基础

基于高斯分布的贝叶斯决策器第二讲贝叶斯学习基础

基于高斯分布的贝叶斯决策器第二讲贝叶斯学习基础

基于高斯分布的贝叶斯决策器第二讲贝叶斯学习基础

基于高斯分布的贝叶斯决策器

第二讲贝叶斯学习基础目录贝叶斯公式贝叶斯决策分类器的相关概念基于高斯分布的贝叶斯分类器朴素贝叶斯分类器参数估计第二讲贝叶斯学习基础第二讲贝叶斯学习基础朴素贝叶斯分类器

朴素贝叶斯分类器第二讲贝叶斯学习基础目录贝叶斯公式贝叶斯决策分类器的相关概念基于高斯分布的贝叶斯分类器朴素贝叶斯分类器参数估计第二讲贝叶斯学习基础第二讲贝叶斯学习基础最大似然估计（maximumlikelihoodestimation）

参数估计第二讲贝叶斯学习基础

参数估计第二讲贝叶斯学习基础最大后验估计

参数估计第二讲贝叶斯学习基础期望最大化算法（expectationmaximization，EM）

参数估计第二讲参数估计第二讲贝叶斯学习基础贝叶斯参数估计

参数估计第二讲贝叶斯学习基础DengJ,DongW,SocherR,etal.Imagenet:ALarge-ScaleHierarchicalImageDatabase[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.NewYork:IEEE,2009:248-255.LoweDG.ObjectRecognitionfromLocalScale-InvariantFeatures[C]//Proceedingsofthe17thIEEEInternationalConferenceonComputerVision.NewYork:IEEE,1999:1150-1157.SunS.Multi-viewLaplacianSupportVectorMachines[C]//AdvancedDataMiningandApplications.Berlin:Springer,2011:209-222.SunS,Shawe-TaylorJ,MaoL.PAC-BayesAnalysisofMulti-viewLearning[J].InformationFusion,2017,35(5):117-131.张学工.模式识别[M].第三版.北京：清华大学出版社,2009.DempsterAP,LairdNM,RubinDB.MaximumLikelihoodfromIncompleteDataviatheEMAlgorithm[J].JournaloftheRoyalStatisticalSociety:SeriesB(Methodological),1977,39(1),1-22.参考文献模式识别与机器学习

PatternRecognition&MachineLearning第三讲逻辑回归本节学习目标掌握线性回归及其模型求解方法理解贝叶斯线性回归掌握逻辑回归及其模型求解方法理解贝叶斯逻辑回归第三讲逻辑回归第三讲逻辑回归目录线性回归贝叶斯线性回归逻辑回归贝叶斯逻辑回归第三讲逻辑回归

第三讲逻辑回归

线性回归

第三讲逻辑回归

线性回归（a）多项式基函数（b）高斯基函数（c）S形基函数

第三讲逻辑回归

线性回归熊猫名称性别年龄/岁体重/kg1月2月3月4月5月6月7月8月9月10月11月12月莉莉雌10-11102.52.83.32.63.52.74.91.31.71.91.62.53.9青青雌3-482.53.43.73.73.94.15.71.62.12.42.73.34.1金金雄22-23128.01.92.51.72.12.24.51.11.51.21.71.72.1平平雄9-1082.04.24.44.14.64.56.93.23.53.43.43.74.5

第三讲逻辑回归使用高斯随机噪声实现概率建模观测输出被假设为确定性的线性回归再加上高斯随机噪声其中根据概率的线性变换关系，可以得到每个观测数据的似然概率分布为假设数据是独立同分布的，所有观测的似然概率分布为在确定了模型的概率表示之后，对于新的测试数据，可以使用输出变量的期望作为预测值线性回归

第三讲逻辑回归最小二乘与最大似然

线性回归图3-2误差几何意义示意图（图中纵向线段长度代表不同数据点的误差。）

第三讲逻辑回归

线性回归

第三讲逻辑回归

线性回归

第三讲逻辑回归

线性回归

第三讲逻辑回归正则化最小二乘与最大后验线性回归（a）0阶多项式拟合（b）2阶多项式拟合（c）4阶多项式拟合（d）10阶多项式拟合图3-3四种不同的多项式的拟合效果（图中小圆圈表示样本，虚线表示真实情况，实线表示拟合曲线，使用的多项式形式为

，deg表示多项式的阶数，四张子图分别使用不同的阶数）

第三讲逻辑回归

线性回归

第三讲逻辑回归

线性回归

第三讲逻辑回归概率线性回归的最大后验估计在高斯似然的模型中，通常使用高斯分布作为先验，这样得到的概率线性回归中参数的后验分布还是高斯分布。一种简单常用的先验分布是根据贝叶斯公式可以得出参数的对数后验分布是线性回归第三讲逻辑回归目录线性回归贝叶斯线性回归逻辑回归贝叶斯逻辑回归第三讲逻辑回归

第三讲逻辑回归

贝叶斯线性回归

第三讲逻辑回归

贝叶斯线性回归

第三讲逻辑回归

贝叶斯线性回归第三讲逻辑回归目录线性回归贝叶斯线性回归逻辑回归贝叶斯逻辑回归第三讲逻辑回归

第三讲逻辑回归二类逻辑回归逻辑函数也称为Sigmoid函数逻辑回归图3-5逻辑函数示意图

第三讲逻辑回归

逻辑回归

第三讲逻辑回归

逻辑回归

第三讲逻辑回归

逻辑回归

第三讲逻辑回归多类逻辑回归

逻辑回归第三讲逻辑回归目录线性回归贝叶斯线性回归逻辑回归贝叶斯逻辑回归第三讲逻辑回归

第三讲逻辑回归

贝叶斯逻辑回归

第三讲逻辑回归

贝叶斯逻辑回归

第三讲逻辑回归

贝叶斯逻辑回归

第三讲逻辑回归

贝叶斯逻辑回归

第三讲逻辑回归

贝叶斯逻辑回归

第三讲逻辑回归

贝叶斯逻辑回归第三讲逻辑回归王雄清,刘安全,陈仁武.圈养大熊猫全年食竹量观察[J].四川动物,1989,8(4):18-18.DraperNR,NostrandRCV.RidgeRegressionandJames-SteinEstimation:ReviewandComments[J].Technometrics,1979,21(4):451–466.CoxDR.TheRegressionAnalysisofBinarySequences[J].JournaloftheRoyalStatisticalSociety.SeriesB(Methodological),1958,20(2):215–242.BishopCM.PatternRecognitionandMachineLearning[M].NewYork:Springer,2006.参考文献模式识别与机器学习

PatternRecognition&MachineLearning第四讲概率图模型基础本节学习目标明确判别式和生成式概率图模型的区别掌握有向图模型的模型表示、条件独立性刻画，理解常见的有向图模型掌握无向图模型的模型表示、条件独立性刻画，理解常见的无向图模型掌握对树状结构因子图进行推理的和积算法和最大和算法第四讲概率图模型基础

第四讲概率图模型基础目录有向图模型模型表示条件独立性常见的有向图模型无向图模型图模型中的推理第四讲概率图模型基础

第四讲概率图模型基础模型表示

有向图模型

第四讲概率图模型基础根据贝叶斯网络的紧凑的联合分布，可得上图贝叶斯网络的联合分布为有向图模型图4‑2贝叶斯网络示例

第四讲概率图模型基础条件独立性（conditionalindependent）

有向图模型

第四讲概率图模型基础证明：只需证明左边分子分母因此有向图模型

第四讲概率图模型基础通过联合分布的紧凑表示或者通过局部条件独立性的形式化语义，都可以分析出贝叶斯网络中变量的一些条件独立性，但是这两种方法并没有将所有的独立性情况包括。事实上，通过图的一些特殊结构和规则可以简单直观地得到所关心变量的条件独立性。接下来介绍三种基本的变量依赖情况，三种情况对应三种不同的图结构：有向图模型

第四讲概率图模型基础

有向图模型

第四讲概率图模型基础

有向图模型

第四讲概率图模型基础

有向图模型

第四讲概率图模型基础

有向图模型

第四讲概率图模型基础有向图模型图4‑7使用d-分隔判断条件独立性

第四讲概率图模型基础

有向图模型

第四讲概率图模型基础常见的有向图模型有向图模型是一类模型框架，针对不同的应用，研究者们提出了很多不同的模型实例，例如，用于分类的朴素贝叶斯和用于时序数据建模的隐马尔可夫模型等。本节仅以朴素贝叶斯和隐马尔可夫模型为例，介绍各自的模型假设及其概率图模型表示。有向图模型

第四讲概率图模型基础

有向图模型图4-9朴素贝叶斯网络示意图

第四讲概率图模型基础

有向图模型

第四讲概率图模型基础

有向图模型图4-10隐马尔可夫模型示意图

第四讲概率图模型基础目录有向图模型无向图模型模型表示条件独立性常见的无向图模型图模型中的推理第四讲概率图模型基础

第四讲概率图模型基础模型表示

无向图模型图4‑11无向图模型示例

第四讲概率图模型基础

无向图模型图4-12无向图模型中的团和最大团示例（实线中的节点和边构成一个团，虚线中的节点和边构成一个最大团）

第四讲概率图模型基础

无向图模型

第四讲概率图模型基础条件独立性

无向图模型

第四讲概率图模型基础

有向图模型

第四讲概率图模型基础

有向图模型

第四讲概率图模型基础

有向图模型

第四讲概率图模型基础

有向图模型

第四讲概率图模型基础

有向图模型

第四讲概率图模型基础

有向图模型

第四讲概率图模型基础

有向图模型

第四讲概率图模型基础

有向图模型

第四讲概率图模型基础有向图模型

第四讲概率图模型基础常见的无向图模型很多机器学习模型可以使用无向图模型来描述，比如对数线性模型（也叫最大熵模型）和条件随机场等。本节以对数线性模型和条件随机场为例，介绍各自的模型假设及其概率图模型表示。无向图模型

第四讲概率图模型基础

有向图模型

第四讲概率图模型基础

有向图模型

第四讲概率图模型基础目录有向图模型无向图模型图模型中的推理链式结构树结构因子图和积算法最大和算法第四讲概率图模型基础

第四讲概率图模型基础链式结构

图模型中的推理图4‑16链式无向图示例

第四讲概率图模型基础

图模型中的推理

第四讲概率图模型基础树结构图模型中的推理（a）无向树（b）有向树（c）有多向树图4‑17三种树图的概率图模型示意图

第四讲概率图模型基础因子图

图模型中的推理

第四讲概率图模型基础和积算法和积算法可以利用因子图的结构实现如下两个目标：

①获得对因子图中变量节点的边缘分布的高效确切推理；

②在需要计算多个边缘分布时实现计算共享。和积算法的核心数学思想是交换求和运算和求积运算的次序。交换求和与求积运算的依据是乘法分配律：和积算法体现了消息传递的思想。消息分为两种：

①从因子节点到变量节点的消息；

②从变量节点到因子节点的消息。图模型中的推理

第四讲概率图模型基础

图模型中的推理图4‑19消息传递的总过程示意图

第四讲概率图模型基础

图模型中的推理

第四讲概率图模型基础

图模型中的推理（a）由变量节点到因子节点的初始消息（b）由因子节点到变量节点的初始消息图4-22消息起始设置示意图

第四讲概率图模型基础对于一般的树状结构的因子图，如果要计算任意节点的边缘分布，其和积算法的步骤如下：①选择任何一个变量节点或因子节点作为根节点；②由叶子节点向根节点执行一次消息传递；③由根节点向叶子节点执行一次消息传递；④根据边缘分布的计算公式得出任意变量节点的边缘分布。图模型中的推理

第四讲概率图模型基础例：对下面因子图运用和积算法图模型中的推理图4‑23因子图示例

第四讲概率图模型基础

图模型中的推理

第四讲概率图模型基础

图模型中的推理

第四讲概率图模型基础最大和算法求解目标可以表示为最大化联合概率分布最大值对应的概率为最大化联合概率分布通常会转化为最大化对数联合概率分布使用乘法分配律来交换最大化和加法运算的次序，以三个变量为例可以表示为具体的求解算法叫做最大和算法，是一种动态规划算法。图模型中的推理

第四讲概率图模型基础消息传递中的求和运算也对应地改为最大化运算，可以分别得到因子节点到变量节点和变量节点到因子节点的递推表示为消息的起始设置为传到根节点的消息的最大值就是所要求解的最大值使得概率分布取最大值的根节点的值为要求解使得联合概率分布最大的所有变量的值，需要在消息传递过程中记录使得当前消息取得最大值时变量之间的对应关系然后根据根节点的取值进行回溯求解。图模型中的推理

第四讲概率图模型基础

图模型中的推理

第四讲概率图模型基础PernkopfF,PeharzR,TschiatschekS.IntroductiontoProbabilisticGraphicalModels[J].AcademicPressLibraryinSignalProcessing,2014,1(1):989-1064.LarrañagaP,MoralS.ProbabilisticGraphicalModelsinArtificialIntelligence[J].AppliedSoftComputing,2011,11(2):1511-1528.PourretO,NaimP,MarcotB.BayesianNetworks:APracticalGuidetoApplications[M].Chichester:JohnWiley&Sons,2008.BilmesJ,BartelsC.AReviewofGraphicalModelArchitecturesforSpeechRecognition[J].IEEESignalProcessingMagazine,2005,22(5):89-100.LiSZ.MarkovRandomFieldModelinginImageAnalysis[M].Tokyo:SpringerScience&BusinessMedia,2009.KollerD,FriedmanN.ProbabilisticGraphicalModels:PrinciplesandTechniques[M].Cambridge,MA:MITPress,2009.CheungS.ProofofHammersley-CliffordTheorem[EB/OL],(2008-02)[2020-02-28].http://www.nada.kth.se/~stefan/kurs1447/slides/hc_proof.pdf.BergerAL,PietraSAD,PietraVJD.AMaximumEntropyApproachtoNaturalLanguageProcessing[J].ComputationalLinguistics,1996,22(1):39-71.PietraSAD,PietraVJD,LaffertyJ.InducingFeaturesofRandomFields[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1997,19(4):380-393.LaffertyJ,McCallumA,PereiraFCN.ConditionalRandomFields:ProbabilisticModelsforSegmentingandLabelingSequenceData[C]//ProceedingsoftheInternationalConferenceonMachineLearning.NewYork:ACM,2001:282-289.参考文献模式识别与机器学习

PatternRecognition&MachineLearning第五讲支持向量机本讲学习目标理解大间隔原理掌握基本的支持向量机分类模型能够熟练运用拉格朗日对偶优化技术掌握数据线性不可分情形下的分类模型，以及核方法的建模原理理解支持向量机回归的原理了解支持向量机的模型扩展

第五讲支持向量机目录大间隔原理基本分类模型拉格朗日对偶优化线性不可分数据的分类支持向量机回归模型扩展第五讲支持向量机

第五讲支持向量机大间隔原理图7-1大间隔分界面选择示意图（H1是最大间隔分界面）大间隔原理

第五讲支持向量机目录大间隔原理基本分类模型拉格朗日对偶优化线性不可分数据的分类支持向量机回归模型扩展第五讲支持向量机

第五讲支持向量机基本分类模型

基本分类模型

第五讲支持向量机

基本分类模型

第五讲支持向量机目录大间隔原理基本分类模型拉格朗日对偶优化线性不可分数据的分类支持向量机回归模型扩展第五讲支持向量机

第五讲支持向量机拉格朗日对偶优化

拉格朗日对偶优化

第五讲支持向量机

拉格朗日对偶优化

第五讲支持向量机

拉格朗日对偶优化

第五讲支持向量机目录大间隔原理基本分类模型拉格朗日对偶优化线性不可分数据的分类支持向量机回归模型扩展第五讲支持向量机

第五讲支持向量机松弛变量

线性不可分数据的分类

第五讲支持向量机

线性不可分数据的分类

第五讲支持向量机

线性不可分数据的分类

第五讲支持向量机核方法

线性不可分数据的分类

第五讲支持向量机

线性不可分数据的分类

第五讲支持向量机目录大间隔原理基本分类模型拉格朗日对偶优化线性不可分数据的分类支持向量机回归模型扩展第五讲支持向量机

第五讲支持向量机支持向量机回归

支持向量机回归

第五讲支持向量机

支持向量机回归

第五讲支持向量机

支持向量机回归

第五讲支持向量机

支持向量机回归

第五讲支持向量机目录大间隔原理基本分类模型拉格朗日对偶优化线性不可分数据的分类支持向量机回归模型扩展第五讲支持向量机

第五讲支持向量机模型扩展支持向量机分类的基本思想是在特征空间中学习一个超平面分类器。双平面支持向量机的思想是使得一个超平面离一类样本近并且离另一类样本有一定的距离。与支持向量机求解单个二次优化问题不同，它求解两个二次优化问题，而且每个优化问题涉及的样本数量少于支持向量机中的样本数量。此外，支持向量机还被扩展到半监督学习、主动学习和多任务学习等多个场景。在监督分类方面，前面正文介绍的支持向量机面向两类分类问题，后来支持向量机还被扩展到了多类分类问题。模型扩展

第五讲支持向量机BlumerA,EhrenfeuchtA,HausslerD,etal.LearnabilityandtheVapnik-ChervonenkisDimension[J].JournaloftheACM,1989,36(4):929-965.BoserBE,GuyonIM,VapnikVN.ATrainingAlgorithmforOptimalMarginClassifiers[C]//Proceedingsofthe5thAnnualWorkshoponComputationalLearningTheory.NewYork:ACM,1992:144-152.Shawe-TaylorJ,SunS.AReviewofOptimizationMethodologiesinSupportVectorMachines[J].Neurocomputing,2011,74(17):3609-3618.BoydS,VandenbergheL.ConvexOptimization[M].Cambridge,UK:CambridgeUniversityPress,2004.Shawe-TaylorJ,CristianiniN.KernelMethodsforPatternAnalysis[M].Cambridge,UK:CambridgeUniversityPress,2004.Shawe-TaylorJ,SunS.KernelMethodsandSupportVectorMachines[M]//AcademicPressLibraryinSignalProcessing:Chapter16.Amsterdam:Elsevier,2014:857-881.VapnikVN.TheNatureofStatisticalLearningTheory[M].Berlin:Springer,1995.KhemchandaniR,ChandraS.TwinSupportVectorMachinesforPatternClassification[J].IEEETransactiononPatternAnalysisandMachineIntelligence,2007,29(5):905-910.XieX,SunS.PAC-BayesBoundsforTwinSupportVectorMachines[J].Neurocomputing,2017,234(4):137-143.SunS,MaoL,DongZ,etal.MultiviewMachineLearning[M].Singapore:Springer,2019.参考文献模式识别与机器学习

PatternRecognition&MachineLearning第六讲人工神经网络与深度学习本节学习目标掌握感知机模型和学习算法掌握多层神经网络模型和误差反向传播训练算法理解深度神经网络的典型挑战问题能够熟练运用至少两种常见的深度神经网络第六讲人工神经网络与深度学习

第六讲人工神经网络与深度学习目录感知机多层神经网络深层神经网络常用的深度神经网络第六讲人工神经网络与深度学习

第六讲人工神经网络与深度学习感知机（perceptron）

感知机

第六讲人工神经网络与深度学习

感知机

第六讲人工神经网络与深度学习感知机

第六讲人工神经网络与深度学习目录感知机多层神经网络神经元多层神经网络反向传播算法深层神经网络常用的深度神经网络第六讲人工神经网络与深度学习

第六讲人工神经网络与深度学习神经元

多层神经网络

第六讲人工神经网络与深度学习

多层神经网络

第六讲人工神经网络与深度学习多层神经网络图8‑3三种激活函数的形态

第六讲人工神经网络与深度学习多层神经网络多层神经网络

第六讲人工神经网络与深度学习反向传播算法

多层神经网络

第六讲人工神经网络与深度学习

多层神经网络

第六讲人工神经网络与深度学习

多层神经网络

第六讲人工神经网络与深度学习

多层神经网络

第六讲人工神经网络与深度学习多层神经网络

第六讲人工神经网络与深度学习目录感知机多层神经网络深层神经网络浅层与深度神经网络过拟合问题局部极值问题梯度消失问题常用的深度神经网络第六讲人工神经网络与深度学习

第六讲人工神经网络与深度学习浅层与深度神经网络thin+tall深度神经网络fat+shortVS

第六讲人工神经网络与深度学习过拟合问题过拟合问题是深度神经网络的主要挑战之一，其主要原因是模型过于复杂或者训练集过少。深度神经网络

第六讲人工神经网络与深度学习早停止是指在模型训练过程中，可通过观察验证集上的预测性能来决定何时停止对参数的优化，从而可以在产生过拟合之前停止训练。权重衰减是指为了防止得到的权重参数过大，而采取的在每步迭代中少量减少权重的方法。丢弃法是指在深度神经网络的训练过程中，对于网络中的神经单元（包括节点以及与之连接的边），按照一定的概率将其暂时从网络中丢弃。深度神经网络（a）丢弃情况（b）丢弃后剩余的网络结构

第六讲人工神经网络与深度学习局部极值问题随机梯度下降使用随机梯度下降代替批量的梯度下降，不仅使得优化速度得以提升，而且还可以提高模型的整体性能。性能提高的主要原因是每次用于迭代的随机梯度并非梯度的确切方向，使得模型容易跳出局部极值点。基于动量的梯度下降基于动量的梯度下降的做法是每次进行梯度下降时，在当前梯度方向上增加历史梯度的加权值。动量方法能够使得梯度更新的大小可以根据上一步的梯度进行适当调节，增加跳出局部极值点的几率。多次随机初始化假设损失函数的曲面具有许多局部极值点，多次随机初始化待优化的参数值可以增加离开局部极值的可能性，有助于找到更好的解。深度神经网络

第六讲人工神经网络与深度学习梯度消失问题当使用反向传播方法求解梯度时，使用sigmoid函数或者tanh函数作为激活函数的深度神经网络随着网络层数的增加，从输出层到网络最初几层的反向传播得到的梯度的幅度值可能会急剧增大（梯度爆炸）或减小（梯度消失）。深度神经网络

第六讲人工神经网络与深度学习逐层与训练结合微调深度神经网络图8‑6逐层预训练加微调方法示意图（黑色方框表示需要微调的结构。）

图8‑7预训练网络中的自编码器结构示意图

第六讲人工神经网络与深度学习使用合适的激活函数深度神经网络图8‑8ReLU函数图8‑9ReLU函数的变体

第六讲人工神经网络与深度学习使用合适的激活函数深度神经网络图8‑10Maxout函数原理示意图（将每层的节点分组，并选择组内最大数的作为下一层的输入。）

第六讲人工神经网络与深度学习目录感知机多层神经网络深层神经网络常用的深度神经网络自编码网络深度玻尔兹曼机深度信念网络卷积神经网络循环神经网络Transformer第六讲人工神经网络与深度学习

第六讲人工神经网络与深度学习自编码网络常用的深度神经网络图8‑11自编码器架构

第六讲人工神经网络与深度学习深度玻尔兹曼机常用的深度神经网络

第六讲人工神经网络与深度学习波尔兹曼机常用的深度神经网络图8‑12玻尔兹曼机示例

第六讲人工神经网络与深度学习受限波尔兹曼机常用的深度神经网络图8‑13受限玻尔兹曼机示例

第六讲人工神经网络与深度学习

常用的深度神经网络

第六讲人工神经网络与深度学习深度波尔兹曼机常用的深度神经网络图8‑13深度玻尔兹曼机示例

第六讲人工神经网络与深度学习深度信念网络常用的深度神经网络图8‑14深度信念网络示例

第六讲人工神经网络与深度学习卷积神经网络（convolutionalneuralnetworks）三条性质：某些模式总是存在于局部区域相同的模式会出现在多个区域对图像中的像素做下采样（subsampling）不会影响物体的识别常用的深度神经网络

第六讲人工神经网络与深度学习卷积层与一般的全连接层不同，不再使用权重矩阵表示所有神经元节点在相邻网络层之间的一一对应关系，而是使用多组共享参数来构建两个网络层之间的联系。在卷积网络中，共享参数叫做卷积核。常用的深度神经网络图8‑18卷积操作的原理示意图

第六讲人工神经网络与深度学习循环神经网络（recurrentneuralnetworks，RNN）

常用的深度神经网络

第六讲人工神经网络与深度学习常用的深度神经网络图8‑20使用seq2seq模型进行机器翻译示意图

第六讲人工神经网络与深度学习

常用的深度神经网络

第六讲人工神经网络与深度学习LSTM通过引入一个变量存储“记忆”，增强了RNN把握长距离关系的能力，也可以缓解梯度消失问题。除了LSTM之外，门循环单元（gatedrecurrentunit，GRU）也是RNN的变体，它进一步简化了LSTM的结构，能使用更少的参数达到近似的性能。常用的深度神经网络

第六讲人工神经网络与深度学习TransformerTransformer是一种seq2seq模型，其核心思想是使用注意力（attention）和自注意力（self-attention）机制。注意力机制用于捕获输入序列和输出序列之间的关系。自注意力机制用于捕获文本序列内部的依赖关系，构建对原始文本的语义表示。其中的自注意力是一种特殊的注意力模型。常用的深度神经网络

第六讲人工神经网络与深度学习

常用的深度神经网络

第六讲人工神经网络与深度学习常用的深度神经网络图8‑22有注意力机制的seq2seq模型进行机器翻译的示意图

第六讲人工神经网络与深度学习自注意力所谓自注意力，是指输入序列中的每个单词（或字）都要和该序列中的所有单词（或字）进行注意力计算。好处是学习序列内部的单词（或字）的依赖关系，捕获句子的内部结构。Transformer编码网络包含“多头自注意力（multi-headself-attention）”子结构，用于表示多组不同的注意力分配机制。这个子结构的实现方式是同时构建多个自注意力单元，并在最后汇总。Transformer也用到了在解码器中增加“遮蔽的多头自注意力（maskedmulti-headself-attention）”和在输入层增加位置编码等技巧常用的深度神经网络

第六讲人工神经网络与深度学习NovikoffABJ.OnConvergenceProofsforPerceptrons[C]//ProceedingsofSymposiumonMathematicalTheoryofAutomata,Brooklyn,N.Y.:PolytechnicPress,1962:615-622.RumelhartD,HintonG,WilliamsR.LearningRepresentationsbyBack-PropagatingErrors[J].Nature,1986,323(10):533–536.NgA.SparseAutoencoder[R/OL].Stanford,CA:StanfordUniversity,2011./~socherr/sparseAutoencoder_2011new.pdf.HornikK,StinchcombeM,WhiteH.MultilayerFeedforwardNetworksAreUniversalApproximators[J].NeuralNetworks,1989,2(5):359-366.SeideF,LiG,YuD.ConversationalSpeechTranscriptionUsingContext-DependentDeepNeuralNetworks[C/OL]//TwelfthAnnualConferenceofInternationalSpeechCommunicationAssociation.2011:437-440[2020-02-28]./archive/archive_papers/interspeech_2011/i11_0437.pdf.ZeilerMD,FergusR.VisualizingandUnderstandingConvolutionalNetworks[C]//ComputerVision--ECCV2014.Switzerland:SpringerInternationalPublishing,2014:818-833.SrivastavaN,HintonG,KrizhevskyA,etal.Dropout:ASimpleWaytoPreventNeuralNetworksfromOverfitting[J].JournalofMachineLearningResearch,2014,15(1):1929-1958.AckleyDH,HintonGE,SejnowskiTJ.ALearningAlgorithmforBoltzmannMachines[J].CognitiveScience,1985,9(1):147-169.参考文献

第六讲人工神经网络与深度学习SmolenskyP.InformationProcessinginDynamicalSystems:FoundationsofHarmonyTheory[M]//ParallelDistributedProcessing:ExplorationsintheMicrostructureofCognition,Volume1:Foundations.Cambridge,MA:ABradfordBook,1986:194-281.HintonGE,OsinderoS,TehYW.AFastLearningAlgorithmforDeepBeliefNets[J].NeuralComputation,2006,18(7):1527-1554.LeCunY.GeneralizationandNetworkDesignStrategies[M]//ConnectionisminPerspective.Switzerland:Elsevier,1989,19:143-155.GoodfellowI,BengioY,CourvilleA.DeepLearning[M].Cambridge,MA:MITPress,2016.ElmanJL.FindingStructureinTime[J].CognitiveScience,1990,14(2):179-211.HochreiterS,SchmidhuberJ.LongShort-TermMemory[J].NeuralComputation,1997,9(8):1735-1780.BahdanauD,ChoK,BengioY.NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate[C/OL]//Proceedingsofthe3rdInternationalConferenceonLearningRepresentations.2015:1-15[2020-02-28].https://arxiv.xilesou.top/pdf/1409.0473.pdf.VaswaniA,ShazeerN,ParmarN,etal.AttentionIsAllYouNeed[C]//AdvancesinNeuralInformationProcessingSystems.Cambridge,MA:MITPress,2017:5998-6008.参考文献模式识别与机器学习

PatternRecognition&MachineLearning第七讲聚类本讲学习目标理解聚类的两大类方法掌握K-均值聚类方法，理解模糊K-均值聚类的原理掌握谱聚类方法掌握高斯混合模型聚类方法，了解无限高斯混合模型第七讲聚类第七讲聚类目录K-均值聚类算法介绍模糊K-均值聚类谱聚类高斯混合模型聚类模型表示模型推理与参数估计无限高斯混合模型第七讲聚类第七讲聚类聚类任务：在相同簇中的数据尽可能相似在不同簇中的数据尽可能不同聚类方法：基于数据间相似度的方法基于密度估计的方法K-均值（K-means）：将K个聚类簇的中心作为簇的代表，希望所有数据点与其所在聚类中心的距离总和最小K-均值聚类第七讲聚类

K-均值聚类第七讲聚类假设移动之后误差和变为和结合可以得到，如果想要更新簇之后，需满足K-均值聚类第七讲聚类K-均值聚类第七讲聚类K-均值聚类第七讲聚类

K-均值聚类第七讲聚类K-均值聚类第七讲聚类目录K-均值聚类算法介绍模糊K-均值聚类谱聚类高斯混合模型聚类模型表示模型推理与参数估计无限高斯混合模型第七讲聚类第七讲聚类

谱聚类（a）具有紧凑结构的数据（b）具有连接结构的数据第七讲聚类

谱聚类第七讲聚类

谱聚类第七讲聚类

谱聚类第七讲聚类

谱聚类第七讲聚类以比率切割为例，优化目标的每一项可以写为因此优化问题可以表示为谱聚类第七讲聚类

谱聚类第七讲聚类

谱聚类第七讲聚类谱聚类第七讲聚类目录K-均值聚类算法介绍模糊K-均值聚类谱聚类高斯混合模型聚类模型表示模型推理与参数估计无限高斯混合模型第七讲聚类第七讲聚类模型表示

高斯混合模型聚类第七讲聚类模型推理与参数估计

高斯混合模型聚类第七讲聚类

高斯混合模型聚类模型推理与参数估计第七讲聚类

高斯混合模型聚类模型推理与参数估计第七讲聚类无限高斯混合模型

高斯混合模型聚类第七讲聚类假设每个高斯成分的均值与方差的先验分布为Normal-inverse-Wishart（NIW）分布，即其联合分布为高斯混合模型聚类第七讲聚类

高斯混合模型聚类第七讲聚类

高斯混合模型聚类第七讲聚类XuR,WunschD.SurveyofClusteringAlgorithms[J].IEEETransactionsonNeuralNetworks,2005,16(3):645–678.DudaRO,HartPE,StorkDG.PatternClassification[M].NewYork:JohnWiley&Sons,2012.张学工.模式识别[M].第三版.北京：清华大学出版社,2009.VonLuxburgU.ATutorialonSpectralClustering[J].StatisticsandComputing,2007,17(4):395-416.ShiJ,MalikJ.NormalizedCutsandImageSegmentation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2000,22(8):888-905.BanfieldJD,RafteryAE.Model-BasedGaussianandNon-GaussianClustering[J].Biometrics,1993,49(3):803-821.RasmussenCE.TheInfiniteGaussianMixtureModel[C]//AdvancesinNeuralInformationProcessingSystems.Cambridge,MA:MITPress,2000:554-560.参考文献模式识别与机器学习

PatternRecognition&MachineLearning第八讲主成分分析与相关的谱方法本节学习目标能够熟练运用主成分分析理解概率主成分分析的原理理解核主成分分析的原理能够熟练运用线性判别分析和典型相关分析第八讲主成分分析与相关的谱方法第八讲主成分分析与相关的谱方法目录主成分分析最大化方差最小化误差主成分分析与K-L变换概率PCA核PCA相关的谱方法线性判定分析典型相关分析第八讲主成分分析与相关的谱方法

第八讲主成分分析与相关的谱方法最大化方差

主成分分析

第八讲主成分分析与相关的谱方法

主成分分析图11‑1使用PCA将数据投影到一维空间的示例

第八讲主成分分析与相关的谱方法

主成分分析

第八讲主成分分析与相关的谱方法最小化误差

主成分分析

第八讲主成分分析与相关的谱方法

主成分分析

第八讲主成分分析与相关的谱方法

主成分分析

第八讲主成分分析与相关的谱方法

主成分分析

第八讲主成分分析与相关的谱方法主成分分析与K-L变换

主成分分析第八讲主成分分析与相关的谱方法目录主成分分析最大化方差最小化误差主成分分析与K-L变换概率PCA核PCA相关的谱方法线性判定分析典型相关分析第八讲主成分分析与相关的谱方法

第八讲主成分分析与相关的谱方法

概率PCA

第八讲主成分分析与相关的谱方法

概率PCA第八讲主成分分析与相关的谱方法目录主成分分析最大化方差最小化误差主成分分析与K-L变换概率PCA核PCA相关的谱方法线性判定分析典型相关分析第八讲主成分分析与相关的谱方法

第八讲主成分分析与相关的谱方法

核PCA

第八讲主成分分析与相关的谱方法

核PCA

第八讲主成分分析与相关的谱方法

核PCA第八讲主成分分析与相关的谱方法目录主成分分析最大化方差最小化误差主成分分析与K-L变换概率PCA核PCA相关的谱方法线性判定分析典型相关分析第八讲主成分分析与相关的谱方法

第八讲主成分分析与相关的谱方法二类数据的线性判别分析

相关的谱方法

第八讲主成分分析与相关的谱方法

相关的谱方法

第八讲主成分分析与相关的谱方法多类数据的线性判别分析

相关的谱方法

第八讲主成分分析与相关的谱方法

相关的谱方法

第八讲主成分分析与相关的谱方法典型相关分析（canonicalcorrelationanalysis，CCA）

相关的谱方法

第八讲主成分分析与相关的谱方法

相关的谱方法

第八讲主成分分析与相关的谱方法

相关的谱方法

第八讲主成分分析与相关的谱方法

相关的谱方法

第八讲主成分分析与相关的谱方法

相关的谱方法

第八讲主