机器学习 课件 第10章 人工神经网络

第10章人工神经网络《机器学习》胡晓10.1神经元及基本模型

神经元(Neuron)是人脑神经系统的基本单元，负责接收和传递神经信号

通过突触(Synapse)与下一层神经元的树突连接起来，从而构成基本神经通路。美国心理学家FrankRosenblatt提出的感知机模拟了神经元的细胞膜电位累加和激活过程，建立了神经元的基本模型：线性变换和激活。

10.1神经元及基本模型

10.2激活函数

10.2激活函数

校正线性单元泄露校正线性单元指数线性单元软加函数softplus

10.2激活函数Swish激活函数2017年，GoogleBrain研究人员经过大规模搜索发现一种在许多任务上比ReLU性能更好的非线性激活函数，称为Swish，

10.3感知机感知机是1957年FrankRosenblatt在MP模型基础之上建立一个线性分类器。仅有一个神经元，并用符号函数作为激活函数，感知机学习算法是一种错误驱动学习算法感知机的异或难题

10.4前馈神经网络10.4.1前馈神经网络模型前馈神经网络的输入层和输出层之间有多个隐含层，各神经元分属于不同层。相邻两层神经元采用全连接，即每个神经元与相邻层的所有神经元相连接。每层神经元可以接收前一层神经元信号，并形成新信号，然后输出到下一层。整个神经网络没有反馈，信号从输入层向输出层单向传播。

10.4前馈神经网络单个神经元与前一层神经元的信息传递关系当前层所有神经元与前一层神经元的信息传递

10.4前馈神经网络

10.4前馈神经网络

10.4前馈神经网络10.4.3反向传播算法

结合梯度下降法可以训练神经网络参数10.5卷积神经网络

互相关和卷积

10.5卷积神经网络卷积层之所以称该层为卷积层，因为这一层的基本操作是卷积，即一张或一组特征图与滤波器核卷积。在神经网络中，把滤波器核在输入特征图覆盖区域称为感受野(ReceptiveField)，10.5.2卷积神经网络架构图像卷积层中线性变换用矩阵表示为，

池化层在池化层主要完成特征图的不重叠下采样。池化函数主要有平局池化、最大池化、随机池化和全局平均池化。10.5卷积神经网络10.5卷积神经网络10.5卷积神经网络10.5.3卷积神经网络残差反向传播解决如何把残差往前级传送。

10.6简单卷积神经网络10.6.1LeNet-51998年，LeCun等人提出LeNet-5是经典的卷积神经网络。虽然LeNet简单，但模块齐全。20世纪90年代被美国很多银行使用，用来识别支票上面手写数字。网络架构由输入层、3个卷积层、2个池化层、1个全连接层和输出层组成。其中，每个卷积层包括卷积和激活2个子层组成。10.6简单卷积神经网络10.6.2AlexNet

10.6简单卷积神经网络10.6.3VGG2014年，由牛津大学视觉几何组(VisualGeometryGroup)提出VGGNet在ILSVRC中获得了定位任务第1名和分类任务第2名，设计了A、A-LRN、B、C、D和E共6种网络结构，其中D和E分别是著名的VGG16和VGG19：(1)VGG16包含

13个卷积层和3个全连接层共16个隐藏层；(2)VGG19包含16个卷积层个3个全连接层共19个隐藏层。10.6简单卷积神经网络10.6.4Inception2014年至2016年，Google团队发表了多篇关于Inception的经典论文详细介绍了Inception演进版本[15-18]：Inception-V1、-V2、-V3、-V4和Inception-ResNet等，10.6简单卷积神经网络10.6.5ResNet由微软实验室的KaimingHe等人于2015年提出的残差网络(ResidualNetwork,ResNet)