现代机器学习 课件 第8章 神经网络

第8章神经网络8.1神经网络基础8.2卷积神经网络8.3前馈神经网络8.4反向传播算法8.5其他常见神经网络本章小结

人工神经网络(ArtificialNeuralNetwork,ANN)简称神经网络(NN)或连接模型(ConnectionModel),它是一种模仿动物神经网络行为特征进行分布式并行信息处理的数学模型。神经网络依赖系统的复杂程度,通过调整内部大量节点之间相互连接的关系来达到信息处理的目的。

8.1神经网络基础

8.1.1神经网络发展史自2016年3月AlphaGo以4∶1大胜人类顶级棋手李世石后,神经网络的名字便广为流传。然而,神经网络的发展并不是一帆风顺的,其经历过三起两落:1958年,第一起:Rosenblatt提出感知器,并提出一种接近于人类学习过程的学习算法。1969年,第一落:MarvinMinsky出版《感知机》,指出了感知机的两大缺陷,即无法处理异或问题和计算能力不足。

1986年,第二起:Hinton等人将改进后的反向传播算法引入多层感知器,神经网络重新成为热点。反向传播算法是神经网络中极为重要的学习算法,直到现在仍然占据着重要地位。

1995—2006年,第二落:计算机性能仍然无法支持大规模的神经网络训练,SVM和线性分类器等简单的方法相对更流行。

2006年,第三起:随着大规模并行计算和GPU的支持,计算能力大大提高,在此支持下,神经网络迎来第三次高潮,延续至今。

8.1.2神经元

1943年,心理学家McCulloch和数学家Pitts参考生物神经元的结构,发表了抽象的神经元模型MP。图8.1是一个典型的神经元模型,包含有3个输入a1~a3,1个输出Z,以及2个计算功能。其中,Z是在输入和权值的线性加权和上叠加了一个“激活函数”g的值。图8.1单个神经元模型

在MP模型里,激活函数是阶跃函数。当输入大于0时,这个函数输出1,否则输出0。显然,“1”对应的是神经元兴奋,“0”对应的是神经元抑制。

Z的计算公式为

8.1.3感知器

“感知器”中有两个层次,分别是输入层和输出层。输入层里的“输入单元”只负责传输数据,不做计算。输出层里的“输出单元”则需要对前面一层的输入进行计算。

我们把需要计算的层称为“计算层”,并把拥有一个计算层的网络称为“单层神经网络”。假如我们要预测的目标不是一个值,而是一个向量,例如(2,3),那么可以在输出层再增加一个“输出单元”。

图8.2所示为带有两个输出单元的感知器模型,此神经网络的输出不限于单个输出,不同输出的计算方式与式(8-1)相同,因此可以将不同输出的表达式合并。这里将权值写作wi,j的形式,这样可以反映出不同权值对应的连接关系。图8.2带有两个输出单元的感知器模型

由图8.2可以得出Z1和Z2的表达式:

可以看出,神经元的输出是利用了输入和权值的矩阵乘积所得到的。因此,上述表达式可简写为

其中:A代表输入元素组成的向量形式;W代表权值组成的矩阵形式。

8.2卷积神经网络

卷积神经网络是一种前馈神经网络,它的人工神经元可以覆盖相邻范围内的周围单元,其在图像处理方面有着出色的表现。卷积是数学中一种非常重要的运算,在信号处理或图像处理中经常会用到一维卷积或二维卷积。由于图像对应的像素点是离散的,因此仅需考虑卷积的离散形式。

一维卷积公式为

记作

二维卷积公式为

记作

我们常常把wu,v称作滤波器(filter)或卷积核(kernel)。

卷积神经网络的最基本组成有以下几个:

1.卷积层(ConvolutionalLayer)

卷积层利用卷积核进行卷积运算提取出图像特征。在全连接前馈神经网络中,如果第l-1层的神经元个数为nl-1,第l层的神经元个数为nl,那么两层连接的权值参数的个数就是二

者的乘积nl-1×nl。当神经网络的层数较深时,权值矩阵的参数就会非常大,训练效率极低。若用卷积代替全连接,则第l层的净输入xl为第l-1层神经元的输出值yl-1与权值矩阵wl的卷积,即xl=wl×yl-1+bl,其中wl为可以学习的权值矩阵。

根据卷积的定义,卷积层有两个重要的性质:

局部连接:卷积层中的每一个神经元都只与下一层中某个局部窗口内的神经元相连,构成一个局部连接网络。

权值共享:作为参数的滤波器,对于当前层的所有的神经元都是相同的。

因此,使用卷积神经网络在减少了权值数量的同时,也降低了模型的复杂度,能够有效提高训练的效率,减小过拟合的风险。

2.池化层(PoolingLayer)

池化层对图像进行下采样,在减少数据量的同时保留有用信息。卷积层在进行图像特征提取的过程中虽然可以减少网络中的连接数量,但是特征映射中的神经元个数并没有显

著减少。

3.全连接层(Fully-ConnectedLayer)

全连接层将学到的“分布式特征表示”映射到样本标记空间。图像的空间联系(也就是局部的像素联系)比较紧密,而距离较远的像素相关性较弱。因此,每个神经元不必对全局

图像进行感知,只需要对局部进行感知,然后在更高层将局部信息综合起来,从而得到全局信息。这个综合信息的位置就是全连接层。

一个完整的卷积神经网络(LeNet)示意图如图8.3所示。图8.3卷积神经网络(LeNet)示意图

8.3前馈神经网络

外界输入信号经输入层接收到神经网络中,由隐藏层和输出层神经元对信号进行处理,最终结果由输出层神经元输出,如图8.4所示。可以看到,输入层神经元仅起到接收并传递输入的作用,不进行函数处理。而隐藏层和输出层包含功能神经元,因此在表示神经网络的网络层数时不计入输入层的层数。图8.4前馈神经网络示意图

神经网络中涉及的概念如下:

L:神经网络层数;

nl:第l层神经元数量;

f(l):第l层的激活函数;

wl:第l层的权值矩阵;

bl:第l层的偏置向量;

xl:第l层的净输入;

yl:第l层神经元输出。

由图8.4可以推导出前馈神经网络的传播公式:

由此可以得出前馈神经网络中的各个部分所对应的值。

8.4反向传播算法

反向传播算法(BP算法)的思想:从后向前反向逐层传播输出层的误差,以间接计算隐藏层的误差。BP算法可以分为以下两个阶段:(1)正向过程:从输入层经隐藏层逐层正向计算各单元的输出。(2)反向过程:由输出误差逐层反向计算隐藏层各单元的误差,并用此误差修正前层的权值。

BP算法的学习过程如下:

(1)选择一组训练样本,每一个样本由输入信息和期望的输出结果两部分组成。

(2)从训练样本集中取出一个样本,把输入信息输入到网络中。

(3)分别计算经神经元处理后的各层节点的输出。

(4)计算网络的实际输出和理想输出的误差。

(5)从输出层反向计算到第一个隐藏层,并按照某种能使误差向减小方向发展的原则,调整网络中各神经元的连接权值。

(6)对训练样本集中的每一个样本重复步骤(3)至步骤(5),直到整个训练样本集的误差达到要求时为止。

8.5其他常见神经网络

8.5.1RBF网络

假定输入为d维向量x,输出为实数值,那么RBF网络可以表示为

其中:q为隐藏层神经元的个数;ci、wi分别是第i个隐藏层神经元所对应的中心和权重;ρ(x,ci)是径向基函数,通常定义为样本x到数据中心ci的欧氏距离。常用的径向基函数

形如:

其中,βi为可学习参数。

训练RBF网络的步骤通常为:

(1)确定神经元中心ci,可采取的方式包括随机抽取、聚类等。

(2)利用BP算法确定参数wi

与βi。

8.5.2SOM网络

SOM(Self-OrganizingMap,自组织映射)网络是一种竞争学习型的无监督神经网络,它能将输入数据降维(通常为二维),同时保持输入数据在高维空间的拓扑结构,也就是说,将高维空间中相似的样本点映射到网络输出层中的邻近神经元。

SOM的训练过程如下:

(1)为初始权向量wj随机赋值。

(2)从输入空间抽取一个训练输入向量样本x。

(3)找到权向量中最接近输入向量的胜者神经元I(x)作为最佳匹配单元。

(4)调整最佳匹配单元和邻近神经元的权向量,使得与当前输入样本的距离缩小。

(5)重复上述步骤,直到收敛。

8.5.3Hopfield网络

Hopfield神经网络的拓扑结构特点如下:

(1)有反馈的单层全互连结构。

(2)n个神经元之间相互连接,并且连接是双向的。

(3)每个神经元的输出均通过神经元之间的连接权值wi,j反馈到同层的其他神经元,并作为该神经元的输入。

(4)每个神经元都可以接收所有神经元的反馈信息,受到全部神经元的控制。

1.离散型Hopfield神经网络

离散型Hopfield神经网络连接图如图8.5所示,其状态由n个神经元的状态集合构成。任意时刻t的状态可以表示为图8.5离散型Hopfield神经网络连接图

离散型Hopfield神经网络的运行规则如下:

(1)对网络进行初始化。

(2)从网络中随机选取一个神经元j。

(3)计算神经元j在t时刻的净输入:

(4)计算神经元j在t+1时刻的输出:

(5)判断网络是否达到稳定状态,若不稳定则转到步骤(2),稳定则输出。

离散型Hopfield神经网络的特点之一是引入了“能量函数”的概念。在上述网络状态变化的过程中,网络的能量不断递减,直到达到稳定状态。能量函数的定义式为

2.连续型Hopfield神经网络

连续型Hopfield神经网络是一个有反馈的单层全互连结构,网络中的n个神经元之间相互连接,为双向对称连接结构,网络连接权值满足wi,j=wj,i,wi,i=0。

如图8.6所示,每个“神经元”都由反馈放大器组成,模拟神经元的非线性饱和转移特性。每个反馈放大器由连接导线(轴突)、电阻(树突)、电容(突触)组成。神经元j的阈值θj

由外加偏置电流Ij表示,神经元j的净输入sj由输入电压uj表示,神经元j的输出xj由输出电压Vj表示,即

图8.6连续型Hopfield网络中每个“神经元”的结构

f(·)是连续型Hopfield网络的转移函数,它是一条S形曲线:

连续型Hopfield网络的能量函数为

理想情况下,可简化为

离散型Hopfield神经网络主要用于联想记忆。在给定Hopfield神经网络的稳定状态时,求解过程是通过学习过程来得到合适的连接权矩阵的过程。而连续型Hopfield神经网

络主要用于优化计算。在给定Hopfield神经网络的连接权矩阵时,求解过程是寻找具有最小能量值的网络稳定状态的过程。

本章小结

神经网络作为目前深度学习的研究热点之一,近些年在图像识别、语音信号处理等方面取得了很大的突破,并且得到了广泛应用。本章回顾了神经网络的发展历史,从神经元开始,介绍了感知机、多层神经网络、卷积神经网络和其他一些常见的神经网络。本章解释了神经网络的工作原理,说明了神经网络内部的矩阵计算由来,对于极大运算量的神经网络通过矩阵计算进行优化,可以减少计算时间。

随着有关神经网络的研究不断深入,神经网络