第5章 人工神经网络和机器学习

1、第5章 人工神经网络和 机器学习温浩宇 西安电子科技大学出版社商业智能：方法与应用5.1 人工神经网络概述5.2 BP神经网络目 录O N T E N T S人工神经网络的产生和发展神经元结构BP算法BP神经网络简介实例5.3 深度学习卷积神经网络深度学习概述循环神经网络5.1 人工神经网络概述人工神经网络的产生和发展神经元结构5.1.1 人工神经网络的产生和发展213人工神经网络类似于生物神经网络，是一种受人脑神经网络工作方式的启发而构造的一种数学模型。和人脑神经网络类似，人工神经网络时由人工神经元以及神经元之间的连接构成。人工神经网络中有两类特殊的神经元：一类用来接受外部的信息；一类负责输

2、出信息。人工神经网络可以看作是信息从输入到输出的信息处理系统。5.1.1 人工神经网络的产生和发展心理学家W.S.McCulloch和数学家W.Pitts发表人工神经元模型，也称MP模型。计算机学家Rosenblatt提出了由两层神经元组成的神经网络“感知器”。Rumelhar和Hinton等人提出了反向传播算法。Hinton在Science和相关期刊上发表论文，首次提出“深度信念网络”的概念。从MP模型、单层神经网络（感知器）开始，到包含一个隐含层的两层神经网络，再到多层的深度神经网络，人工神经网络的发展一波三折，其发展历程见下页人工神经网络发展历程图。19431958198620065.1

3、.1 人工神经网络的产生和发展人工神经网络发展历程5.1.2 神经元结构人工神经网络是一种运算模型，由大量的节点（或称之为神经元）相互连接构成。目前人们提出的神经元模式已有很多，其中普遍使用的神经元结构是在MP模型基础上不断完善得到神经元模型，结构如下图。人工神经元结构5.1.2 神经元结构阈值型激活函数非线型激活函数分段线型激活函数概率型激活函数5.1.2 神经元结构人工神经网络结构（考虑偏执节点）5.2 BP神经网络BP神经网络简介BP算法实例5.2.1 BP神经网络简介1BP（Back Propagation）神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，具有任意复杂的模式分

4、类能力和优良的多维函数映射能力，解决了单层感知器不能解决的异或问题。2从本质上讲，BP算法就是以误差平方和为目标函数，采用梯度下降法来计算目标函数的最小值。3BP神经网络的结构包含输入层、隐含层和输出层，隐含层可扩展为多层，相邻层之间各神经元进行全连接，即当前层的每一个神经元都与前一层的所有神经元连接，前一层的输出是当前层的输入，而每层各神经元之间无连接。5.2.1 BP神经网络简介BP神经网络结构BP神经网络分为信号的前向传播和误差的反向传播，输入变量键入输入层经隐含层由他们之间所对应的映射关系到达输出层得到输出变量。在信号的前向传播阶段，神经元间的传播不可逆，但如果输出变量与期望值的误差超

5、过了允许的范围，这时误差讯号将进行反向传播，求出隐含层数值变量的误差，调整各层的权重或阈值。5.2.2 BP算法BP算法演示图5.2.2 BP算法5.2.2 BP算法5.2.2 BP算法5.2.2 BP算法优点解决方法缺点为人工神经网络的训练提供了简单而有效的实现途径。在多层次的人工神经网络中收敛速度较慢且容易陷入局部最优，不能同时对多个网络进行训练。目前，将多种优化算法相结合，通过对传统训练算法的取长补短，是将诸如BP神经网络这样的前馈神经网络应用到多个领域的一个有效手段。5.2.3 实例数据来源训练目标：根据用户对以往产品的喜好程度即打分情况进行训练学习，从而逼近该用户对产品的偏好关系，帮

6、助用户选择其他有可能感兴趣的产品，通过Movieslens数据库验证模型的有效性。数据来源：采用Movielens数据库中的1M数据集（下载地址为：/datasets/movielens/ ），主要使用Movies文件和Ratings文件。5.2.3 实例数据来源Movies文件结构在Movies文件中，一共包含3列数据：第一列是每部电影的序号；第二列是电影名称和上映时间；第三列是电影类型，一共有18种电影类型，分别是Action、Adventure、Animation、Childrens、Comedy、Crime、Documentary、Drama、F

7、antasy、Film-Noir、Horror、Musical、Mystery、Romance、Sci-Fi、Thriller、War和Western。 5.2.3 实例数据来源在Ratings文件中，共有4列数据：第一列是用户序号；第二列是用户评价的电影序号；第三列是用户对电影的评分值，评分值是从1到5的整数，数值越高表明用户对该部电影喜欢的程度越高；第四列是时间戳，自1970年1月1日零点后到用户提交评价时间的秒数。 Ratings文件结构5.2.3 实例数据处理要验证BP神经网络的有效性，首先要知道用户的评价记录，本实例选择了评分记录最多的4169用户，该用户一共评价了2314部电影，将

8、Rating文件里面这2314条评分数据取出，并根据MovieID和Movies文件进行关联，确定4169用户评价的每一部电影所属的电影类型。 Ratings和Movies文件关联之后的评分表左侧图中，用户评价的电影属于某种或几种电影类型，在相应的电影类型下面赋值1，若不是，则赋值0。在Matlab中使用randperm函数将关联后的2314个样本随机排列，取前2000个样本作为训练样本，其余的为测试样本。 5.2.3 实例构建BP神经网络Movielens数据库中电影的特征属性即电影类别有18个，因此神经网络输入层神经元个数设定为18个，设定一个隐含层并且隐含层神经元个数设定为18个，输出神

9、经元设为1个。 这里采用测试误差均值和测试误差方差作为性能度量指标，随机产生BP神经网络的初始权重和阈值。 BP神经网络结构图5.2.3 实例训练网络及输出测试误差在Matlab中使用train函数训练构建好的BP神经网络，训练10次，得到10个BP神经网络模型，之后使用sim函数分别对这10个BP神经网络进行仿真测试，得到的测试误差均值和测试误差方差如下图所示。 从上图可知，测试误差均值在0附加波动，上下波动不超过0.2；而测试误差方差在1附近，上下波动同样不超过0.2，即BP神经网络通过randperm函数产生的不同的训练集和测试集进行训练和测试后，对用户偏好模型的学习具有稳定性和有效性。

10、从上图还可以看出，虽然每次的训练集和测试集样本都不一样，但是都可以得到稳定的测试误差数值，由此可见该模型还具有鲁棒性。 测试误差均值及方差5.3深度学习深度学习概述卷积神经网络循环神经网络5.3.1 深度学习概述深度学习（Deep Learning）是机器学习的分支，其本质是仿生学，模仿人类的大脑进行感知和认知的过程，它的动机在于建立、模拟人脑进行分析学习的人工神经网络。常用的深度学习模型包括：深度神经网络、自动编码机、受限玻尔兹曼机、卷积神经网络和循环神经网络。深度学习5.3.2 卷积神经网络产生卷积神经网络最早由LeCuu等人于1998年提出，目前已经广泛应用在图像处理中，它可以自动提取需

11、要的特征信息。构成三部分构成，第一部分是输入层，第二部分是由n（n=1，2）个卷积层和池化层的组合组成，第三部分由一个全连接的多层感知器分类器构成结构图5.3.2 卷积神经网络通过局部连接和权重共享的方式相对于全连接神经网络节约了大量参数，每一层与上一层的部分神经元连接，不同部分特征共享参数，网络浅层纹理信息丰富，随着层数增多，语义信息逐渐加强，作用从本质上来讲是局部特征的提取。卷积层池化层一种下采样操作，可以有效减小特征图的尺寸，同时增大感受野，进一步提取特征。作用是在语义上把相似的特征结合起来。通过这样几个卷积层和池化层的作用，再加上后面的全连接层，这就形成了一个完整的卷积神经网络结构，一

12、方面可以直接用于特征的提取，另外一方面由于在最后添加了一个分类层，就能得到一个分类器。卷积神经网络5.3.3 循环神经网络1循环神经网络（Recurrent Neural Networks，RNN）是深度学习领域重要的研究方向之一，是一类具有记忆能力的神经网络。2RNN的网络表现形式中有循环结构，使得过去输出的信息作为“记忆”被保留下来，应用于当前的输出计算。3循环神经网络的具体表现形式为隐含层之间的节点不再无连接而是有连接的，隐含层的输入不仅包括输入层的输出还包括上一时刻隐含层的输出，即一个序列的当前的输出和前面的输出也有关。5.3.3 循环神经网络循环神经网络结构图从上图中可以看出，循环神

13、经网络主要由输入层（Input Layer）、隐含层（Hidden Layer）、输出层（Output Layer）三部分组成，并且可以发现在隐含层有一个箭头表示数据的循环更新，这个就是循环神经网络实现“记忆”功能的方法。5.3.3 循环神经网络隐含层的层级展开结构5.3.3 循环神经网络具有记忆功能；所有的层次共享同样的参数，如上页图中U、V、W，大大降低了网络中需要学习的参数。优点不能对较长的时间序列进行较好的处理，在训练的过程中容易出现梯度消失和梯度爆炸的问题。缺点长短时记忆网络解决方案1235.3.3 循环神经网络长短时记忆网络模型结构LSTM由Hochreiter和Schmidhuber于1997年提出，并被Alex Graves进行了改良和推广，LSTM能够有效克服循环神经网络中存在的梯度消失问题，尤其在长距离依赖的任务中的表现远优于循环神经网络，梯度反向传播过程中不会再受到梯度消失问题的困扰，可以对存在短期或者长期依赖关系的数据进行精确的建模。L