机器学习 课件 第8-10章 聚类、概率图模型、人工神经网络

第8章聚类《机器学习》胡晓8.1聚类基本理论

8.1聚类基本理论

相似性测度在聚类算法，样本间相似度通常需要采用两个样本之间的“距离测度(DistanceMetric,DM)”进行衡量。

常见距离：欧氏距离、曼哈顿距离、闵可夫斯基距离、值差异值测度8.1聚类基本理论类簇中心类簇中心，又称为簇质心，定义为簇内样本分布中心，如图8.1中每簇的中心点。然而，不同聚类算法定义各有差别，简单分为两种：K均值聚类簇中心

基于密度的类簇中心AlexRodriguez和AlessandroLaio在Science期刊文章中提出：类簇中心周围都是密度比其低的点，同时这些点距离该簇中心的距离相比于其他聚类中心最近。8.1聚类基本理论聚类算法评价指标

纯度(Purity)将每个簇内频数最高的样本类别作为正确的类簇，聚类熵

8.1聚类基本理论聚类算法评价指标同质性也叫均一性，一个类簇中仅有一个类别的样本，均一性最高同质性(Homogeneity)

相当于精确率，即被聚类的类簇中正确分类的样本数占该类簇中的样本数的比例,

8.1聚类基本理论聚类算法评价指标完整性(Completeness)同类别的样本被归类到同一聚类簇中，则满足完整性。相当于召回率，即每个聚类中正确分类的样本数占该类别样本的数量，

8.1聚类基本理论聚类算法评价指标兰德指数和调整兰德指数

8.2K均值聚类

8.3层次聚类层次聚类(hierarchicalclustering)是基于簇间的相似度的树形聚类算法。一般有两种划分策略：自底向上的凝聚策略和自顶向下的分拆策略。凝聚策略

分拆策略

初始时将每个样本点当做一个类簇，然后依据相似度准则合并相似度最大的类簇，直到达到终止条件。

8.4密度聚类

密度聚类(Density-BasedSpatialClustering)是一种基于密度的聚类算法。8.4密度聚类2、密度聚类基本过程8.4密度聚类

8.4.2高斯混合聚类谢谢！第9章概率图模型《机器学习》胡晓目录9.1联合概率9.2概率有向图9.3概率图向图9.4因子图与和积算法9.1联合概率

9.2概率有向图

9.2概率有向图

9.2概率有向图

9.2概率有向图定理9.1：父结点给定下，该结点与其所有非后代结点(non-descendants)条件独立。

9.2概率有向图

贝叶斯网络表示通常由领域专家根据研究对象先验知识进行建立模贝叶斯网络图。一般分为三个步骤：确定变量集和变量域设计结点设计网络结构定义变量之间的依赖关系参数学习表示联合概率分布(包括局部概率分布或局部密度函数)。

9.2概率有向图

(2)依据变量之间的依赖关系设计网络拓扑结构

(3)

采用概率理论进行参数学习

9.2概率有向图

(3)

采用概率理论进行参数学习

假设根据训练数据已经获得，

概率分布形式

9.2概率有向图

变量消除法9.2概率有向图

9.2概率有向图

9.2概率有向图

9.2概率有向图

9.2概率有向图

9.2概率有向图

9.3概率无向图

9.3概率无向图

9.3概率无向图

9.3概率无向图

9.3概率无向图

9.3概率无向图

9.3概率无向图

转移特征函数状态特征函数

9.4因子图与和积算法

9.4因子图与和积算法

9.4因子图与和积算法

9.4因子图与和积算法

9.4因子图与和积算法

(2)变量结点则演化为边缘

9.4因子图与和积算法

如果

先求和再乘积谢谢！第10章人工神经网络《机器学习》胡晓10.1神经元及基本模型

神经元(Neuron)是人脑神经系统的基本单元，负责接收和传递神经信号

通过突触(Synapse)与下一层神经元的树突连接起来，从而构成基本神经通路。美国心理学家FrankRosenblatt提出的感知机模拟了神经元的细胞膜电位累加和激活过程，建立了神经元的基本模型：线性变换和激活。

10.1神经元及基本模型

10.2激活函数

10.2激活函数

校正线性单元泄露校正线性单元指数线性单元软加函数softplus

10.2激活函数Swish激活函数2017年，GoogleBrain研究人员经过大规模搜索发现一种在许多任务上比ReLU性能更好的非线性激活函数，称为Swish，

10.3感知机感知机是1957年FrankRosenblatt在MP模型基础之上建立一个线性分类器。仅有一个神经元，并用符号函数作为激活函数，感知机学习算法是一种错误驱动学习算法感知机的异或难题

10.4前馈神经网络10.4.1前馈神经网络模型前馈神经网络的输入层和输出层之间有多个隐含层，各神经元分属于不同层。相邻两层神经元采用全连接，即每个神经元与相邻层的所有神经元相连接。每层神经元可以接收前一层神经元信号，并形成新信号，然后输出到下一层。整个神经网络没有反馈，信号从输入层向输出层单向传播。

10.4前馈神经网络单个神经元与前一层神经元的信息传递关系当前层所有神经元与前一层神经元的信息传递

10.4前馈神经网络

10.4前馈神经网络

10.4前馈神经网络10.4.3反向传播算法

结合梯度下降法可以训练神经网络参数10.5卷积神经网络

互相关和卷积

10.5卷积神经网络卷积层之所以称该层为卷积层，因为这一层的基本操作是卷积，即一张或一组特征图与滤波器核卷积。在神经网络中，把滤波器核在输入特征图覆盖区域称为感受野(ReceptiveField)，10.5.2卷积神经网络架构图像卷积层中线性变换用矩阵表示为，

池化层在池化层主要完成特征图的不重叠下采样。池化函数主要有平局池化、最大池化、随机池化和全局平均池化。10.5卷积神经网络10.5卷积神经网络10.5卷积神经网络10.5.3卷积神经网络残差反向传播解决如何把残差往前级传送。

10.6简单卷积神经网络10.6.1LeNet-51998年，LeCun等人提出LeNet-5是经典的卷积神经网络。虽然LeNet简单，但模块齐全。20世纪90年代被美国很多银行使用，用来识别支票上面手写数字。网络架构由输入层、3个卷积层、2个池化层、1个全连接层和输出层组成。其中，每个卷积层包括卷积和激活2个子层组成。10.6简单卷积神经网络10.6.2AlexNet

10.6简单卷积神经网络10.6.3VGG2014年，由牛津大学视觉几何组(VisualGeometryGroup)提出VGGNet在ILSVRC中获得了定位任务第1名和分类任务第2名，设计了A、A-LRN、B、C、D和E共6种网络结构，其中D和E分别是著名的VGG16和VGG19：(1)VGG16包含

13个卷积层和3个全连接层共16个隐藏层；(2)VGG19包含16个卷积层个3个全连接层共19个隐藏层。10.6简单卷积神经网络10.6.4Inception2014年至2016年，Google团队发表了多篇关于Inception的经典论文详细介绍了Inception演进版本[15-18]：Inception-V1、-V2、-V3、-V4和Inception-ResNet等，10