神经网络的介绍

神经网络的介绍第1页/共50页一、历史回顾二、单层感知机与多层感知机三、BP网络四、卷积神经网络五、内容小结内容安排2第2页/共50页

历史回顾

(1)第一次热潮(40-60年代未)1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机(Perceptron）。(2)低潮(70-80年代初)

20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对“感知器”的研究。人工神经网络进入低潮期。3第3页/共50页(3)第二次热潮

1982年，美国物理学家J.J.Hopfield提出Hopfield网络.1986年Rumelhart等提出的误差反向传播法，即BP法影响最为广泛。直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。(4)低潮(90年代初-2000年初)

SVM算法诞生，与神经网络相比：无需调参；高效；全局最优解。基于以上种种理由，SVM成为主流，人工神经网络再次陷入冰河期。第4页/共50页(5)第三次热潮（2006年开始）在被人摒弃的10年中，有几个学者仍然在坚持研究。这其中的棋手就是加拿大多伦多大学的GeofferyHinton教授。2006年，Hinton在《Science》和相关期刊上发表了论文，首次提出了“深度学习”的概念。很快，深度学习在语音识别领域暂露头角。接着，2012年，深度学习技术又在图像识别领域大展拳脚。Hinton与他的学生在ImageNet竞赛中，用多层的卷积神经网络成功地对包含一千类别的一百万张图片进行了训练，取得了分类错误率15%的好成绩，这个成绩比第二名高了近11个百分点，充分证明了多层神经网络识别效果的优越性。第5页/共50页

单层感知机的介绍

单层感知器是用于线性可分模式分类的最简单的神经网络模型。用来调整这个神经网络中自由参数的算法最早出现F.Roseblatt（1958,1962）提出的用于脑感知模型的一个学习过程中。6第6页/共50页网络模型结构第7页/共50页其中x＝（x1，…xm）T

输入向量，y为输出，wi是权系数；输入与输出具有如下关系：b为阈值，f（X）是激发函数；它可以是线性函数，也可以是非线性函数．第8页/共50页单位阶跃函数：S型激发函数：

tanh型激发函数：

常见的三类激发函数第9页/共50页单层感知器工作原理

对于只有两个输入的判别边界是直线（如下式所示）,选择合适的学习算法可训练出满意的结果，当它用于两类模式的分类时，相当于在高维样本空间中，用一个超平面将两类样本分开。第10页/共50页感知机的学习策略：感知机的算法是基于梯度下降法的对损失函数的最优化算法。第11页/共50页单层感知器是线性可分模型感知器的输出只能取-1或1（0或1）.只能用来解决简单的分类问题。当感知器输入矢量中有一个数比其他数都大或小得很多时，可能导致较慢的收敛速度。单层感知机的缺点第12页/共50页

多层感知机的介绍

多层感知器相对于单层感知器，输出端从一个变到了多个；输入端和输出端之间也不光只有一层，可以有多层:输出层和隐藏层。第13页/共50页网络模型结构第14页/共50页例：如图是一个含有两个输入，三个感知机隐层神经元和一个输出神经元的三层感知机网络，若取y1y2zx1x2y3y1=sgn(2x1+2x2+1)y2=sgn(-x1+0.25x2+0.8)y3=sgn(0.75x1-2x2+1.4)z=sgn(y1+y2+y3-2.5)实现了非线性分类y1y2y3第15页/共50页隐藏神经元的功能

隐藏神经元扮演者着特征检测算子的角色。随着学习过程通过多层感知器不断进行，隐藏神经元开始逐步“发现”刻画训练数据的突出特征。它们是通过输入数据非线性变换到新的称为特征空间的空间而实现的。第16页/共50页BP网络与多层感知机的差别感知机和BP网络都可具有一层或多层隐含层，其主要差别也表现在激活函数上。BP网络的激活函数必须是处处可微的，因此它不能采用二值型的阀值函数{0，1}或符号函数{－1，1}BP网络经常使用的是S型的对数或正切激活函数和线性函数BP网络的寻找最优参数w和b,采用的是实际输出和期望输出的误差的最佳平方逼近的思路17第17页/共50页BP神经网络模型三层BP网络第18页/共50页激活函数必须处处可导一般都使用S型函数使用S型激活函数时BP网络输入与输出关系输入输出第19页/共50页BP网络的标准学习算法学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值的动态调整学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。第20页/共50页BP网络的标准学习算法-算法思想学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播误差的反向传播将误差分摊给各层的所有单元－－－各层单元的误差信号修正各单元权值第21页/共50页BP网络的标准学习算法-学习过程正向传播：输入样本－－－输入层－－－各隐层－－－输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示－－－－修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止第22页/共50页BP网络的标准学习算法网络结构输入层有n个神经元，隐含层有p个神经元,

输出层有q个神经元变量定义输入向量;隐含层输入向量；隐含层输出向量;输出层输入向量;输出层输出向量;期望输出向量;第23页/共50页输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：第24页/共50页第一步，网络初始化给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值

和最大学习次数M。第二步,随机选取第个输入样本及对应期望输出第25页/共50页第三步，计算隐含层各神经元的输入和输出第26页/共50页第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数。第27页/共50页第五步，利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数。

第28页/共50页第29页/共50页第六步，利用输出层各神经元的和隐含层各神经元的输出来修正连接权值。第30页/共50页第七步，利用隐含层各神经元的和输入层各神经元的输入修正连接权。第31页/共50页第八步，计算全局误差第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。第32页/共50页应用之例：蚊子的分类已知的两类蚊子的数据如表1：

翼长触角长类别1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af目标值0.90.90.90.10.90.90.90.1

翼长触角长类别

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af目标t0.10.10.10.10.10.10.1

第33页/共50页输入数据有15个，即p=1,…,15;j=1,2;对应15个输出。建模：（输入层，中间层，输出层，每层的元素应取多少个？）建立神经网络第34页/共50页规定目标为：当t(1)=0.9时表示属于Apf类，t(2)=0.1表示属于Af类。设两个权重系数矩阵为：为阈值

其中第35页/共50页分析如下：

为第一层的输出，同时作为第二层的输入。其中，为阈值，为激励函数若令

（作为一固定输入）（阈值作为固定输入神经元相应的权系数）

第36页/共50页则有：取激励函数为=则同样，取

第37页/共50页（1）随机给出两个权矩阵的初值；例如用MATLAB软件时可以用以下语句：

令p=0具体算法如下：=rand(2,3);=rand(1,3);(2)根据输入数据利用公式算出网络的输出

=第38页/共50页取（3）计算因为所以

（4）取

（或其他正数，可调整大小）

第39页/共50页(5)计算

和

j=1,2,3,i=1,2,3,计算

j=1,2,3j=1,2,3第40页/共50页(6)p=p+1，转（2）

注：仅计算一圈（p=1，2，…，15）是不够的，直到当各权重变化很小时停止，本例中，共计算了147圈，迭代了2205次。最后结果是：第41页/共50页即网络模型的解为：

=第42页/共50页BP网络特点输入和输出是并行的模拟量网络的输入输出关系是各层连接的权因子决定，没有固定的算法权因子通过学习信号调节。学习越多，网络越聪明隐含层越多，网络输出精度越高，且个别权因子的损坏不会对网络输出产生大的影响只有当希望对网络的输出进行限制，如限制在0和1之间，那么在输出层应当包含S型激活函数在一般情况下，均是在隐含层采用S型激活函数，而输出层采用线性激活函数43第43页/共50页

网络训练训练BP网络，需要计算网络加权输入矢量以及网络输出和误差矢量，然后求误差平方和当所训练矢量的误差平方和小于误差目标，训练停止；否则在输出层计算误差变化，且采用反向传播学习规则来调整权值，然后重复此过程网络完成训练后，对网络输入一个不是训练集合中的矢量，网络将以泛化方式给出输出结果44第44页/共50页

网络设计3.1网络的层数3.2隐含层神经元数3.3初始权值的选取3.4学习速率3.5期望误差的选取3.6应用举例3.7局限性45第45页/共50页

网络的层数理论上已经证明：具有偏差和至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数定理：增加层数主要可以进一步的降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。一般情况下应优先考虑增加隐含层中神经元数仅用具有非线性激活函数的单层网络来解决问题没有必要或效果不好线性问题非线性问题46第46页/共50页

隐含层神经元数网络训练精度的提高，