第二讲典型神经网络介绍

第二讲典型神经网络介绍姓名：肖婷学号：11209050Email：12txiao@主要内容BP神经网络神经网络模型及其学习算法神经网络设计的一般原则BP神经网络的应用

CMAC小脑神经网络CMAC结构CMAC工作原理量子神经网络量子神经网络模型

BP神经网络BP神经网络是目前应用最为广泛和成功的神经网络之一。是一种多层网络的“逆推”学习算法。其基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经隐层逐层处理后，传向输出层。若输出层的实际输出与期望输出（教师信号）不符，则转向误差的反向传播阶段。误差的反向传播是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号是通过正向传播与误差反向传播的各层权值进行调整过程，它周而复始地进行。权值不断调整过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可以接受的程度，或进行到预先设定的学习次数为止。BP神经网络模型BP网络结构BP神经网络学习学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值乃至拓扑结构，以使网络的输出不断地接近期望的输出。学习的本质：对可变权值的动态调整学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。BP算法是一种学习规则BP神经网络思想本质学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播误差的反向传播修正各单元权值将误差分摊给各层的所有单元，得到各层单元的误差信号BP神经网络学习过程正向传播：输入样本——输入层——各隐层——输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示——修正各层单元的权值网络输出的误差减少到可接受的程度或进行到预先

设定的学习次数为止标准BP学习算法具体实现

BP神经网络学习算法1.标准BP算法以图2-1的BP网络的结构图为例，来推导标准BP算法。①BP网络前向传播计算标准BP学习算法具体实现②BP网络后退算法（BP算法）基本思想：如果神经元j在输出层，则Oij就是网络的实际计算输出，记为oj，通过oj

与所期望的输出dj之间的误差反向传播来修改各权值。误差定义：ej=dj–oj网络目标函数为：E=（∑(dj-oj)2）/2

Wijk=Wijk

+∆Wijk网络权值沿E函数梯度下降的方向修正：

，其中η为学习效率

标准BP学习算法具体实现∆Wijk与神经元输出之间的递推关系：图2-2BP学习算法框图标准BP学习算法具体实现改进BP学习算法2.改进的BP算法多层前向BP网络的误差是各层权值和输入样本对的函数，因此可以表达为：E=F(XP,

W,θ,dp)从上式可以看出，误差函数E中可调整（改变）参数个数Nw等于各层权值数加上阈值数。是多维空间中一个形状极为复杂的曲面，该曲线的每一个点的“高度”对应一个误差值，每个点的坐标向量对应着Nw个权值，称这样的空间为误差权空间。为直观描述误差曲面在权空间的起伏状况，图2-3给出了二维权空间的误差曲面分布情况。通过这样一个简单的情况可以看出，误差曲面的分布有两个特点，这也是标准BP算法局限性之所在。

图2-3二维权空间的误差曲面分布情况改进BP神经网络学习算法—局限性1）局限1在误差曲面上有些区域平坦，此时误差对权值的变化不敏感，误差下降缓慢，调整时间长，影响收敛速度。这时误差的梯度变化很小，即使权值的调整量很大，误差仍然下降很慢。

①ok充分接近样本dk

②ok充分接近于零δik=(dk-ok)*ok*(1-ok)③ok充分接近于1

第一种种情况，对应于误差的某个谷点（极小点）。后两种情况，ok接近0或者1的原因在于S型作用函数具有饱和特性造成的。误差梯度小意味着δik接近零改进BP神经网络学习算法—局限性(2)局限2存在多个极小点。从两维权空间的误差曲面可以看出，其上存在许多凸凹不平，其低凹部分就是误差函数的极小点。BP算法以误差梯度下降为权值调整原则误差曲面的这一特点(梯度为0时)使之无法辨别极小点的性质导致的结果：因而训练经常陷入某个局部极小点而不能自拔，从而使训练无法收敛于给定误差。图2-3是某一单权值调整为例的局部极小点。改进BP神经网络学习算法②标准BP算法改进从上面的分析可知，误差曲面的平坦区将使误差下降缓慢，调整时间加长，迭代次数增多，影响收敛速度；而误差曲面存在的多个极小点会使网络训练陷入局部极小，从而使网络训练无法收敛于给定误差。以上两个问题是BP网络标准算法的固有缺陷。针对这一问题，目前国内外不少学者提出了许多改进算法，下面就介绍几种典型的改进算法。改进1：增加动量项改进2：自适应调节学习率改进3：引入度因子改进BP神经网络学习算法—增加动量项改进1：增加动量项标准BP算法只按t时刻误差的梯度降方向调整，而没有考虑t时刻以前的梯度方向，从而常使训练过程发生振荡，收敛缓慢。提出的方法在权值调整公式中加一动量项：∆w(t)=η*δ*o+α*∆w(t-1)

w为某层权矩阵，o为某层输出向量，α为动量系数，α∈(0,1)定义动量项，α*∆w(t-1)反映了以前积累的调整经验。分析当误差梯度出现局部极小时，虽然使其跳出局部极小区域，加快迭代收敛速度实质：从前一次权值调整量中取出一部分迭加到本次权值调整量中作用：动量项反映了以前积累的调整经验，对于t时刻的调整起阻尼作用。当误差曲面出现骤然起伏时，可减小振荡趋势，提高训练速度。改进BP神经网络学习算法—自适应调节学习率改进2：自适应调节学习率提出的原因：标准BP算法中，学习率η也称为步长，确定一个从始至终都合适的最佳学习率很难。平坦区域内，η太小会使训练次数增加；在误差变化剧烈的区域，η太大会因调整量过大而跨过较窄的“坑凹”处，使训练出现振荡，反而使迭代次数增加。基本思想：为了加速收敛过程，最好是能自适应调整学习率η，使其该大则大，该小则小。基本方法：设一初始学习率，若经过一批次权值调整后使总误差E总↑，则本次调整无效，且

=β*

(β<1)；

若经过一批次权值调整后使总误差E总↓，则本次调整有效，且

=θ

(θ>1)。改进BP学习算法—引入度因子改进3：引入度因子基本方法：在原转移函数中引入一个陡度因子λ当发现Δw接近零，而dk-ok仍较大时，可判断已进入平坦区，此时令λ>1；当退出平坦区后，再令λ=1。改进BP学习算法—引入度因子作用分析：λ>1：net坐标压缩了λ倍，神经元的转移函数曲线的敏感区段变长，从而可使绝对值较大的net退出饱和值。λ=1：转移函数恢复原状，对绝对值较小的net具有较高的灵敏度。应用结果表明该方法对于提高BP算法的收敛速度十分有效。BP神经网络设计的一般原则BP网络参数设计BP网络输入与输出参数的确定①输入量的选择(1)输入量必须选择那些对输出影响大且能够检测或提取的变量。(2)各输入量之间互不相关或相关性很小。从输入、输出量性质分类来看，可以分为两类：数值变量和语言变量。数值变量又分为连续变量或离散变量。语言变量是用自然语言表示的概念。如红，绿，蓝；男，女…等一般来说，语言变量在网络处理时，需要转化为离散变量。BP神经网络设计的一般原则(3)输入量的表示与提取大多数情况下，直接送给神经网络的输入量无法直接得到，常常需要用信号处理与特征提取技术从原始数据中提取能反映其特征的若干参数作为网络输入。②输出量选择与表示（1）输出量一般代表系统要实现的功能目标，如分类问题的类别归属等。（2）输出量表示可以是数值也可是语言变量：BP神经网络设计的一般原则.训练样本集的设计网络的性能与训练用的样本密切相关，设计一个好的训练样本集既要注意样本规模，有要注意样本质量。①样本数目的确定选择原则：网络规模越大，网络映射关系越复杂，样本数越多。②样本的选择和组织（1）样本要有代表性，注意样本类别的均衡。（2）样本的组织要注意将不同类别的样本交叉输入。（3）网络的训练测试，测试标准是看网络是否有好的泛化能力。测试做法：不用样本训练集中数据测试。一般是将收集到的可用样本随机地分成两部分，一部分为训练集，另一部分为测试集。若训练样本误差很小，而对测试集的样本误差很大，泛化能力差。BP神经网络设计的一般原则.初始权值的设计网络权值的初始化决定了网络的训练从误差曲面的哪一点开始，因此初始化方法对缩短网络的训练时间至关重要。

神经元的作用函数是关于坐标点对称的，若每个节点的净输入均在零点附近，则输出均出在作用函数的中点，这个位置不仅远离作用函数的饱和区，而且是其变化最灵敏的区域，必使网络学习加快。

从神经网络净输入表达式来看，为了使各节点的初始净输入在零点附近，如下两种方法被常常使用。方法一：取足够小的初始权值；方法二：使初始值为+1和-1的权值数相等。BP神经网络设计的一般原则BP网络结构参数设计①隐层数设计理论证明：具有单隐层的前馈网络可以映射所有连续函数，只有当学习不连续函数时才需要两个隐层，故一般情况隐层最多需要两层。一般方法是先设一个隐层，当一个隐层的节点数很多，仍不能改善网络性能时，再增加一个隐层。最常用的BP神经网络结构是3层结构，即输入层﹑输出层和1个隐层。②隐层节点数设计隐层节点数目对神经网络的性能有一定的影响。隐层节点数过少时,学习的容量有限,不足以存储训练样本中蕴涵的所有规律；隐层节点过多不仅会增加网络训练时间，而且会将样本中非规律性的内容如干扰和噪声存储进去。反而降低泛化能力。一般方法是

凑试法BP神经网络设计的一般原则（1）先由经验公式确定m=(√(n*l))+αm为隐层节点数，n为输入节点，l输出节点，α为调节常数,在1～10之间。（2）改变m，用同一样本集训练，从中确定网络误差最小时对应的隐层节点数。BP神经网络的应用举例电子设备故障检测与诊断是十分复杂的模式识别问题，特别是模拟电路的故障诊断存在广泛的非线性问题，另外模拟电路还存在大量的反馈回路和容差，这都增加了故障模式识别的复杂性。人工神经网络由于其本身信息处理特点，如并行性、自学习、自组织性﹑联想记忆及分类功能等，使其能够出色解决那些传统模式识别方法难以圆满解决的问题，近年来电子设备故障诊断成为人工神经网络的重要应用领域之一。对于一般规模电路的故障诊断，诊断工作可以分为测前工作与测后工作两部分进行。BP神经网络的应用用BP网络进行电路级故障诊断时，其步骤可以总结为：(1)测前，将电路的正常状态及各种故障状态所对应的理论值求出或通过实验测定好，并进行数据预处理作为样本输入给BP网络，训练好BP网络。(2)加测试激励，检测实际状态输出，并提供给BP网络，BP网络经过学习后，它不仅能识别已经训练过的样本，而且能通过联想推理，识别未出现过的样本，这正是神经网络的泛化能力的体现。1.问题提出：某装备雷达喇叭控制继电器板为一由三极管组成的电路。其中有5个关键电压测试点，9种元件故障。要求用一训练的BP网识别任何一组测试信号，指出故障元器件（模式）。电路原理图略。BP神经网络的应用2.BP网设计①输入、输出层和隐层节点数确定。利用三层BP网络来识别电路故障。取输入节点N1=5，代表5个关键测试点电压信号；取输出节点N3=10，分别代表9种故障元件和正常情况。根据BP网络隐层节点设计的经验公式，隐层节点数N2可取为：其BP网络结构如图2-8所示。2.3BP神经网络的应用②故障特征提取、数据变换测试点待测的是电压信号，一般要进行特征提取——模糊化处理。在模拟电路测试中，同一参数对于不同故障有不同的反映，同一参数在故障的不同阶段也有不同反映。因此对电路的某一特征参数来说，其模糊子集的故障隶属的函数一般是不同的。常用方法是使用精确事实规则。例如对于“大约为a”的模糊概念，可用一正态分布函数BP神经网络的应用3.输入输出样本及其模糊处理。①原始数据电路原始测试数据如表2-1所示。

BP神经网络的应用②模糊处理BP神经网络的应用取学习率η=0.5；动量因子α=0.5；E<0.02起用增加动量项的BP算法，利用表2-3给出的样本训练BP网络。4.BP网识别结果分析①先用样本自身数据送入训练完成的样本中，其识别结果如表2-3所示，从中可见自身数据检测正确率为100%。BP神经网络的应用②任取2组实验数据如表2-4所示，看其故障识别结果输入模糊化后得数据如表2-5所示。再将其送入训练完成的样本中，得输出结果如表2-6所示。可见：第1组为Y9故障模式——BG1基数与集电极短路。第2组为Y8故障模式——BG1

射集开路。由此可以看出，本网络不仅能识别出样本自身故障，而且能准确诊断样本以外数据故障，也就是说，BP神经网络在进行模拟电路故障诊断时，不仅有很强的学习能力，而且有一定的泛化能力。CMAC小脑神经网络神经网络分类按网络的结构前馈神经网络

后馈神经网络按神经网络的函数逼近功能全局逼近神经网络

局部逼近神经网络全局逼近神经网络神经网络的一个或多个可调参数（权值和阈值）在输入空间的每一点对任何一个输出都有影响。局部逼近神经网络如果对网络输入空间的某个局部区域只有少数几个连接权影响网络输出。CMAC小脑神经网络1975年J.S.Albus提出一种模拟小脑功能的神经网络模型，称为CerebellarModelArticulationController，简称CMAC。CMAC网络是仿照小脑控制肢体运动的原理而建立的神经网络模型。小脑指挥运动时具有不假思索地作出条件反射迅速响应的特点，这种条件反射式响应是一种迅速联想。CMAC网络是常用的局部逼近神经网络中的一种。所以具有学习速度快的优点可用于有实时性要求的的领域CMAC小脑神经网络CMAC网络有三个特点：

①作为一种具有联想功能的神经网络，它的联想具有局部推广（或称泛化）能力，因此相似的输入将产生相似的输出，远离的输入将产生独立的输出；②对于网络的每一个输出，只有很少的神经元所对应的权值对其有影响，哪些神经元对输出有影响则有输入决定；③CMAC的每个神经元的输入输出是一种线性关系，但其总体上可看做一种表达非线性映射的表格系统。由于CMAC网络的学习只在线性映射部分，因此可采用简单的δ算法，其收敛速度比BP算法快得多，且不存在局部极小问题。CMAC小脑神经网络结构简单的CMAC结构如图2.10所示

XX表示p维输入状态空间，A为具有n个单元的存储区（亦称为相联空间或概念记忆空间）。说明：设CMAC网络的输入向量用p维输入状态空间X中的点Xi=(x1i,

x2i,…

xpi)T表示，对应的输出向量用yi=F

(x1i,x2i,…xpi)表示输入空间的一个点Xi

将同时激活A中的NL个元素，取NL=4，

i=1,2,3则如图2.10所示，NL称为泛化参数，反应网络泛化能力大小，也泛化能力是指学习后的神经网络对测试样本或工作样本作出正确反应的能力.

A中每个元素只取0或1两种值，激活时为1否则为0网络的输出yi即为A中4个被激活单元的对应权值累加和CMAC小脑神经网络结构CMAC小脑神经网络工作原理对CMAC来说，其工作过程一般包括两个方面：一是结果输出计算及误差生成阶段；二是权值调整阶段。1．CMAC的结果输出计算及误差产生阶段分析：一般来说，实际应用时输入向量的各分量来自不同的传感器，其值多为模拟量。为使X空间的点映射为A空间的离散点，必须先将模拟量Xi量化，使其成为输入状态空间的离散点。对于X空间的每一个状态，在A空间均存在惟一的映射。使A存储区中单元的个数至少等于X空间的状态个数。CMAC小脑神经网络工作原理条件：设输入向量X的每一分量可量化为q个等级，则p个分量可组合为输入状态空间qp种可能的状态Xi(i=1,2,…,

qp)。每一个状态Xi都要映射为A空间存储区的一个集合Ai。对于每个输入，A中只有NL个单元为1，而其余的均为0。A存储区中单元的个数n和X空间的状态个数N=

qp关系为：n≥

N优化：但由于大多数学习问题不会包含所有qp种可能的输入值，实际上不需要qp个存储单元来存放学习的权值。通过哈希编码可将具有qp个存储单元的地址空间A映射到一个小得多的物理地址连接Ai中。A是一个稀疏矩阵。CMAC工作原理存储方法哈希编码是压缩稀疏矩阵的常用技术，具体方法是通过一个产生随机数的程序来实现的。具体方法是通过一个产生随机数的程序来实现的。以A的地址作为随机数产生的程序的变量，产生的随机数作为Ai的地址。由于产生的随机数限制在一个较小的整数范围内，因此Ai

远比A小得多。显然，从Ai到A的压缩是一种多对少的随机映射。CMAC工作原理CMAC的结果输出计算在Ai中，对每一个样本有NL个随机地址与之对应，NL

个地址存放的权值通过学习得到，其累加和即作为CMAC的输出。表达式为：yi=∑(wj*aj(x))为状态Xi

的实际输出式中：wj

为第j个存储单元的权值,

aj是第j个存储单元是否被状态Xj

激活的指示。若aj(x)激活,则其

值为1,否则为0。只有NL个存储单元对输出有影响。相近的输入激活的存储单元有交叠,产生相近的输出,不相近的输入将产生不相近的输出。对应的误差表达式

∆E=yi’-yi,其中yi’为状态Xi

的期望输出CMAC工作原理2．CMAC的权值调整阶段CMAC算法中结果输出阶段从CMAC存储单元产生一实际输出，学习过程根据期望输出与实际输出的误差大小来更新CMAC存储单元中的权值。在常规CMAC算法中误差被平均分配到所有被激活的存储单元。

设Xi为某一状态，wj(t)是经过第t次迭代后存储在第j个存储单元中的权值。常规CMAC更新wj(t)算法为式中yi’为状态Xi

的期望输出，α为为学习常数CMAC工作原理改进必须注意只有那些被激活的存储单元的权值才被更新。前面的学习算法的权值学习调整中，误差被平均分配给每个被激活的存储单元，而未考虑各个被激活存储单元对误差的贡献率，也即在经过t次学习后，对调整次数不同的激活存储单元其权值的可信度仍被看成完全相同的。这种权值更新算法完全违背了信度分配的概念，这样的权值学习算法，必然使那些权值不该调整或应该较少调整的存储单元（其权值可信度高）需反复学习调整；而对误差贡献较大的存储单元（其权值可信度低），本应该使其权值得到较大调整，但实际上权值学习调整量减少。为了达到预定的逼近精度，网络必须多次反复学习，从而使CMAC的学习效率降低，学习时间延长。CMAC改进—基于信度分配的CMAC神经网络目标找到一个好的方法来决定某一存储单元对目前的误差负更多的责任，即决定存储单元权值。假设存储单元学习更新次数越多，其存储的数值越可靠。因此存储单元的学习次数被看成其可信度。可信度越高，其权值修正越小。对网络权值（存储的数据）学习调整为：此处f(j)是第j个存储单元的学习次数，m是某状态激活的存储单元数。此处权值更新思想是校正误差必须与激活单元的学习次数成反比。量子神经网络量子神经网络的概念出现于上个世纪90年代后期，一经提出后便引起了不同领域的科学家的关注，人们在这个崭新的领域进行了不同方向的探索，提出了很多想法和初步的模型，充分体现了量子神经网络研究的巨大潜力。主要研究方向可以概括为：①量子神经网络采用神经网络的连接思想来构造量子计算机，通过神经网络模型来研究量子计算中的问题；②量子神经网络在量子计算机或量子器件的基础上构造神经网络，充分利用量子计算超高速、超并行、指数级容量的特点，来改进神经网络的结构和性能。③量子神经网络作为一种混合的智能优化算法在传统的计算机上的实现，通过引入量子理论中的思想对传统神经网络改进，利用量子理论中的概念、方法(如态叠加、“多宇宙”观点等)，建立新的网络模型；改善传统神经网络的结构和性能。④基于脑科学、认知科学的研究。量子神经网络以上不同的研究方向之间并没有明显的界限，它们之间是紧密联系相互交叉的。目前国际上对于量子神经网络的研究才刚刚开始，对它还无确切定义。其中美国的Kak是最早提出量子神经网络的学者之一，通过对认知和意识的研究将量子理论引入到人工智能领域，认为神经元的信息处理应该是有量子特性，并在随后的研究中，从大脑意识的角度对量子神经网络进行研究。介绍传统计算机上能实现的量子神经网络模型多层激励函数的量子神经网络Qubit神经元模型多宇宙的量子神经网络模型量子神经网络—多层激励函数的量子神经网络多层激励函数的量子神经网络N.B.Karayiannis等人1997年提出多层激励函数的量子神经网络，并且从理论分析和实验验证了这种神经网络在模式分类时具有的内在模糊性，它能检测到数据中固有的模糊性和不确定性，对两类交叉的数据样本，这种神经网络能以一定的隶属度将其同时分在两类中。基于多层激励函数的量子神经网络是3层的网状结构，输入层，隐层，输出层。比较异同？量子神经网络—多层激励函数的量子神经网络输入层和输出层与传统的前向神经网络无异，而隐层的量子神经元借鉴了量子理论中量子态叠加的思想，作用函数表示为多个sigmoid函数的线性叠加，称之为多层激励函数。这样一个隐层神经元就能表示更多的状态或量级，而一个传统的sigmoid函数只能表示两个状态或量级，叠加的每一个sigmoid函数有多个不同的量子间隔，可以调整量子间隔，能使不同的数据映射到不同的量级或阶梯上，从而使分类有更多的自由度。量子神经网络和传统神经网络激励函数示意图如下：量子神经网络——Qubit神经元模型多层激励函数的