《人工智能技术基础》课件 第2章 神经网络基础

人工智能技术基础神经网络基础第二章

人的大脑中有近860亿个神经元，每个神经元都与其它103~105个神经元相连，组成巨大的复杂的神经网络系统，支配人的行为和思想活动。受到大脑神经系统的启发，人工智能的研究人员通过建立神经网络的数学模型来近似模拟大脑的神经系统，这类数学模型称为人工神经网络。

含有多隐层的深度神经网络已成为当今人工智能的核心技术。在许多任务中，例如听觉、视觉和自然语言理解上，该网络已取得重大突破，达到甚至超越普通人的水平，解决了人工智能应用中的很多疑难问题。

本章从生物神经网络出发，介绍人工神经网络的基本结构和训练神经网络的核心算法-误差反向传播算法以及训练神经网络的数据处理和常用技巧。2神经网络基础简介学习目标2神经网络基础1.了解生物神经元与生物神经网络；2.掌握人工神经元模型，以及以人工神经元模型为基础的人工神经网络的类型；3.学习前向神经网络的基本结构；4.学习训练神经网络的误差反向传播算法；5.了解神经网络的训练方面处理数据和训练模型的技巧。目录Contents2.12.22.32.42.5人工神经元与人工神经网络

生物神经元与生物神经网络前向神经网络2.6反向传播算法处理数据和训练模型的技巧本章小结 01生物神经元与生物神经网络2.1生物神经元与生物神经网络2.1.1生物神经元图2-1生物神经元

图2-2突触结构2.1生物神经元与生物神经网络2.1.2生物神经网络

生物神经网络(BiologicalNeuralNetwork)是由许多生物神经元互相连接，以拓扑结构形成的网络结构。在生物神经网络中，大脑的记忆主要源自于无数神经元之间的突触联系。这些突触联系大部分是由生物出生后受到的外界刺激而生长起来的。外界刺激会不断地激活神经元，导致各个神经元之间的连接强度发生相应变化。正因为如此，大脑才有学习和存储信息的能力。

这种生物学上的奇妙设计也启发了人工智能研究者，人工神经网络就是对生物神经网络结构的一种抽象、简化和模拟。02人工神经元与人工神经网络2.2人工神经元与人工神经网络2.2.1人工神经元

人工神经元(ArtificialNeuron)是组成人工神经网络的基本单元。1943年，McCulloch和Pitts根据生物神经元的基本特性，提出了M-P模型，是当前人工神经网络中人工神经元模型。图2-3人工神经元2.2人工神经元与人工神经网络2.2.1人工神经元2.2人工神经元与人工神经网络2.2.2激活函数

最初引入激活函数(ActivationFunction)的目的是反映生物神经元的抑制和兴奋两种状态，随着神经网络技术的进步，激活函数不再仅采用阶跃函数，而是发展出了Sigmoid函数和ReLU函数等多种形式，从而提高了人工神经网络的可训练性和非线性表示能力，使得人工神经网络在解决特征提取、分类和预测等诸多实际问题上取得非常好的效果。常用的激活函数有以下几种：常见的激活函数Sigmoid函数

Tanh函数

ReLU函数

LeakyReLU函数

Maxout单元

激活函数

Sigmoid函数Tanh激活函数是Sigmoid函数的变形

图2-4Sigmoid和Tanh激活函数激活函数ReLU激活函数

LeakyReLU激活函数图2-5ReLU函数和Leaky

ReLU函数激活函数GeLU函数是某些函数（比如双曲正切函数

tanh）与近似数值的组合。图2-6GeLU函数曲线2.2人工神经元与人工神经网络2.2.3人工神经网络

人工神经网络是由大量人工神经元按一定规则连接构建成的网络结构，是一种模仿生物神经网络行为特征具有分布式并行信息处理能力的数学模型。

人工神经网络主要分为以下3种类型：（a）前馈型网络

（b）反馈型网络

（c）自组织神经网络图2-7三种神经网络结构03前向神经网络2.3前向神经网络

前向神经网络（FeedforwardNeuralNetwork，FNN）是最早提出的人工神经网络结构，是最常见和常用的前馈型网络，具有很强的拟合能力，常见的连续非线性函数都可以用前向神经网络来逼近。

多层前向神经网络又称多层感知机(Multi-LayerPerceptron，MLP)，是由输入层、输出层和多个隐层组成。图2-8多层前向神经网络2.3前向神经网络

多层前向网络可以看作输入到输出的映射函数：

。评判一个模型的好坏，应判断这个模型是否与真实数据保持一致。04反向传播算法2.4反向传播算法反向传播（BP）算法，即误差反向传播（ErrorBack-Propagation），是用于训练人工神经网络的常见方法。最早由ArthurE.Bryson等人在1969年提出。1974年Werbos在哈佛大学的博士论文中也研究了误差反向传播。Parker在1985年发表的技术报告也论述了误差反向传播算法。1986年Rumelhart等发表了误差反向传播算法，有力的推动了人工神经网络的发展和应用。2.4反向传播算法2.4.1链式法则2.4反向传播算法2.4.1链式法则2.4反向传播算法2.4.1链式法则2.4反向传播算法2.4.2梯度下降法2.4反向传播算法2.4.3反向传播算法第n次迭代，第k个神经元的期望输出图2-8误差反向传播示意图2.4反向传播算法

传统的误差反向传播有两种实现方式：

第一种方法称为单样本修正法，即针对每一个送入网络的训练样本，通过网络前向传播计算得到网络输出与期望输出的误差来更新权重；第一种方法，针对每个样本都更新参数，计算量大，稳定性差。

第二种方法称为批量梯度下降法，即每一次迭代时使用所有样本进行梯度的更新。第二种方法每次更新参数时都需要遍历训练集中的所有样本，计算量比第一种方法小，稳定性更好。2.4.4反向传播算法2.4反向传播算法2.4.4反向传播算法的改进算法1.动量法(Momentum)2.4反向传播算法2.4.4反向传播算法的改进算法2.自适应学习率法在BP算法中，学习率

的作用在于控制权重更新的幅度非常重要。学习率

越大则网络收敛的越快。但学习率也并非越大越好，因为学习率取值过大有可能造成网络无法收敛。学习率

过小，虽然可以有效避免网络振荡或发散，会导致训练网络时的收敛速度变慢1）Adagrad算法2.4反向传播算法2.4.4反向传播算法的改进算法2.自适应学习率法2）RMSprop算法2.4反向传播算法2.4.4反向传播算法的改进算法2.自适应学习率法3）Adam算法Adam算法是一种综合型的学习方法，可以看成是RMSprop和动量法结合的学习方法，可以达到比RMSprop更好的效果。在实际训练中，一般将Adam作为默认算法。2.4反向传播算法2.4.4反向传播算法的改进算法3.随机梯度下降法（SGD）

随机梯度下降法是梯度下降法的一个变形，是针对目前大数据量情况下有效训练神经网络的一种BP算法的优化方法。与常规的梯度下降法不同的是，要累积一个批次（Batchsize）的数据后再计算梯度，进行参数更新。采用随机梯度下降法可以降低运算时间，且在极大程度上避免了计算时容易陷入局部极值的问题。05处理数据和训练模型的技巧2.5处理数据和训练模型的技巧2.5.1数据预处理-数据标准化（1）Z-Score标准化2.5处理数据和训练模型的技巧2.5.1数据预处理-数据标准化1.Z-Score标准化（a）

（b）

（c）图2-9Z-Score标准化2.5处理数据和训练模型的技巧2.5.2数据预处理-数据标准化最小最大标准化2.5处理数据和训练模型的技巧2.5.2权重初始化1.随机数初始化随机数权重初始化的实现方法是生成符合标准正态分布的随机数，并适当缩小（乘以一个小于1的数）。公式如下所示。其中

为生成的符合标准正态分布的权重向量。随机数权重初始可以保证每个人工神经元的权重向量都被初始化为一个服从高斯分布的随机向量。2.5处理数据和训练模型的技巧2.5.2权重初始化2.校准方差2.5处理数据和训练模型的技巧2.5.2权重初始化2.5处理数据和训练模型的技巧2.5.2权重初始化2）Xavier初始化2.5处理数据和训练模型的技巧2.5.2权重初始化3）He初始化2.5处理数据和训练模型的技巧2.5.2权重初始化数据增强解决过拟合最有效的方法就是尽可能的扩充数据集，但大幅度的增加数据是比较困难的。因此可以通过一定规则扩充数据，例如采用平移、翻转、缩放、切割等手段成倍扩充数据库。网络结构

过拟合主要是由于数据太少以及模型太复杂两个原因造成的，可以通过调整网络结构，减少网络层数、神经元的个数来限制网络的拟合能力。训练时间

在初始化网络时，一般都是初始为较小的权值。训练时间越长，部分网络权值可能越大。如果在合适的时间停止训练，就可以将网络的能力限制在一定范围内。

2.5处理数据和训练模型的技巧2.5.3防止过拟合的常用方法正则化Dropout

Dropout方法由Hinton等人提出，该方法在单个训练批次中将一半左右的隐层节点值设为0，使得网络中的每个节点在每次训练时都与不同的节点相连，削弱人工神