基础知识续人工神经网络常用学习规则

基础知识续人工神经网络常用学习规则基础知识续人工神经网络常用学习规则第1页图5-6MP神经元模型01(x)F(x)基础知识续人工神经网络常用学习规则第2页人类含有学习能力，人类知识和智慧是在不停学习与实践中逐步形成和发展起来。关于人工神经网络学习机制，包括到神经元怎样分布、处理和存放信息。常见人工神经网络学习规则以下，图5-8是权值调整普通情况，其中：Wj为联接到神经元j权值向量，X为输入向量，r为学习信号，d为导师信号。权向量调整准则为基础知识续人工神经网络常用学习规则第3页式中

为学习速率。权值调整迭代格式为基础知识续人工神经网络常用学习规则第4页

权值调整普通情况wXr(w,x,d)dj信号生成器Ojj

wjX

基础知识续人工神经网络常用学习规则第5页1)Hebbian学习规则1949年，心理学家D.O.Hebb最早提出了关于神经网络学习机理“突触修正”假设。该假设指出，当神经元突触前膜电位与后膜电位同时为正时，突触传导增强，当前膜电位与后膜电位正负相反时，突触传导减弱，也就是说，当神经元i与神经元j同时处于兴奋状态时，二者之间连接强度应增强。依据该假设定义权值调整方法，称为Hebbian学习规则。在Hebbian学习规则中，学习信号简单地等于神经元输出基础知识续人工神经网络常用学习规则第6页式中W为权向量，X为输入向量。权向量调整公式为基础知识续人工神经网络常用学习规则第7页权向量中，每个分量调整由下式确定上式表明，权值调整量与输入输出乘积成正比。显然，经常出现输入模式将对权向量有最大影响。在这种情况下，Hebbian学习规则需预先设置权饱和值，以预防输入和输出正负一直一致时出现权值无约束增加。另外，要求权值初始化，即在学习开始前(t=0)，先对Wj(0)赋予零附近小随机数。Hebbian学习规则代表一个纯前馈、无导师学习。该规则至今仍在各种神经网络模型中起着主要作用。基础知识续人工神经网络常用学习规则第8页2)Perceptron（感知器）学习规则1958年，美国学者FrankRosenblatt首次定义了一个含有单层计算单元神经网络结构，称为感知器(Perceptron)。感知器学习规则要求，学习信号等于神经元期望输出（老师信号）与实际输出之差基础知识续人工神经网络常用学习规则第9页式中为期望输出，。感知器采取了与阈值转移函数类似符号转移函数，其表示为所以，权值调整公式应为基础知识续人工神经网络常用学习规则第10页式中，当实际输出与期望值相同时，权值不需要调整；在有误差存在情况下，因为、，权值调整公式简化为感器学习规则只适合用于二进制神经元，初始权值可取任意值。感知器学习规则代表一个有导师学习。因为感知器理论是研究其它神经网络基础，该规则对于神经网络有导师学习含有极为主要意义。基础知识续人工神经网络常用学习规则第11页3)δ(Delta)学习规则1986年，认知心理学家McClelland和Rumelhart在神经网络训练中引入了δ规则，该规则亦可称为连续感知器学习规则，与上述离散感知器学习规则并行。δ规则学习信号要求为基础知识续人工神经网络常用学习规则第12页上式定义学习信号称为。式中是转移函数导数。显然，规则要求转移函数可导，所以只适合用于有导师学习中定义连续转移函数，如Sigmoid函数。实际上，规则很轻易由输出值与期望值最小平方误差条件推导出来。定义神经元输出与期望输出之间平方误差为基础知识续人工神经网络常用学习规则第13页式中，误差E是权向量Wj函数。欲使误差E最小，Wj应与误差负梯度成正比，即式中，百分比系数η是一个正常数。由式(5-12)，误差梯度为基础知识续人工神经网络常用学习规则第14页能够看出，上式中η与X之间个别正是式(5-11)中定义学习信号δ。ΔWj中每个分量调整由下式计算学习规则可推广到多层前馈网络中，权值可初始化为任意值。基础知识续人工神经网络常用学习规则第15页4)Widrow-Hoff学习规则1962年，BernardWidrow和MarcianHoff提出了Widrow-Hoff学习规则，又称为最小均方规则(LMS)。Widrow-Hoff学习规则学习信号为基础知识续人工神经网络常用学习规则第16页权向量调整量为..各分量为实际上，假如在学习规则中假定社会元转移函数为，则有，此时式(5-11)与式(5-17)相同。基础知识续人工神经网络常用学习规则第17页所以，Widrow-Hoff学习规则能够看成是学习规则一个特殊情况。该学习规则与神经元采取转移函数无关，因而不需要对转移函数求导数，不但学习速度较快，而且含有较高精度。权值可初始化为任意值。基础知识续人工神经网络常用学习规则第18页5)Correlation（相关）学习规则相关学习规则学习信号为易得出分别为基础知识续人工神经网络常用学习规则第19页该规则表明，当dj是xi期望输出时，对应权值增量Δωij与二者乘积djxi成正比。假如Hebbian学习规则中转移函数为二进制函数，且有oj=dj，则相Δ关学习规则可看作Hebbian规则一个特殊情况。应该注意是，Hebbian学习规则是无导师学习，而相关学习规则是有导师学习。这种学习规则要求将权值初始化为零。基础知识续人工神经网络常用学习规则第20页6)Winner-Take-all（胜者为王）学习规则Winner-Take-all学习规则是一个竞争学习规则，用于无导师学习。普通将网络某一层确定为竞争层，对于一个特定输入X，竞争层全部p个神经元都有输出响应，其中响应值最大神经元为在竞争中获胜神经元，即基础知识续人工神经网络常用学习规则第21页只有获胜神经元才有权调整其权向量，调整量为基础知识续人工神经网络常用学习规则第22页式中，，是学习常数，普通其值伴随学习进展而减小。因为两个向量点积越大，表明二者越近似，所以调整获胜神经元权值结果是使Wm深入靠近当前输入X。显然，当下次出现与X相像输入模式时，上次获胜神经元更轻易获胜。在重复竞争学习过程中，竞争层各神经元所对应权向量被逐步调整为输入样本空间聚类中心。在有些应用中，以获胜神经元为中心定义一个获胜领域，除获胜神经元调整权值外，领域内其它神经元也不一样程度地调整权值。权值普通被初始化为任意值并进行归一化处理。基础知识续人工神经网络常用学习规则第23页7)Outstar（外星）学习规则神经网络中有两类常见节点，分别称为内星节点和外星节点，其特点见图5-8和5-9。图5-8中内星节点总是接收来自四面八方输入加权信号，所以是信号汇聚点，对应权值向量称为内星权向量；图5-9中外星节点总是向四面八方发出输出加权信号，所以是信号发散点，对应权值向量称为外星权向量。内星学习规则定内星节点输出响应是输入向量X和内星权向量Wj点积。该点积反应了X与Wj相同程度，其权值按式(5-23)调整。所以Winner-Take-All学习规则与内星规则一致。基础知识续人工神经网络常用学习规则第24页下面介绍外星学习规则。外星学习规则属于有导师学习，其目标是为了生成一个期望维输出向量，设对应外星权向量用Wj表示，学习规则以下基础知识续人工神经网络常用学习规则第25页式中，η要求与作用与式(5-23)中α相同，给出外星学习规则使节点j对应外星权向量向期望输出向量d靠近。WijWnjW1jjWijWnjW1jj基础知识续人工神经网络常用学习规则第26页2.4神经网络学习基础知识续人工神经网络常用学习规则第27页人工神经网络是由人工神经元（简称神经元）互联组成网络，它是从微观结构和功效上对人脑抽象、简化，是模拟人类智能一条主要路径，反应了人脑功效若干基础特征，如并行信息处理、学习、联想、模式分类、记忆等。当前，已发展了几十种神经网络，比如Hopfield模型，Feldmann等连接型网络模型，Hinton等玻尔茨曼机模型，以及Rumelhart等多层感知机模型和Kohonen自组织网络模型等等。基础知识续人工神经网络常用学习规则第28页在这众多神经网络模型中，应用最广泛是多层感知机神经网络。多层感知机神经网络研究始于20世纪50年代，但一直进展不大。直到1985年，Rumelhart等人提出了误差反向传递学习算法（即BP算法），实现了Minsky多层网络构想。基础知识续人工神经网络常用学习规则第29页神经网络对控制领域和反问题研究有吸引力特征表现在：(1)能迫近任意L2上非线性函数；(2)信息并行分布式处理与存放；(3)能够多输入、多输出；(4)便于用超大规模集成电路(VLSI)或光学集成电路系统实现，或用现有计算机技术实现；(5)能进行学习，以适应环境改变。基础知识续人工神经网络常用学习规则第30页决定网络整体性能三大要素包含：(1)神经元（信息处理单元）特征；(2)神经元间相互联接形式—拓扑结构；(3)为适应环境而改进性能学习规则。表5-1为对神经网络发展有主要影响神经网络基础知识续人工神经网络常用学习规则第31页神经网络经过相继给网络输入一些样本模式，并按照一定规则（或学习算法）不停改变网络各层连接权值，使网络输出不停地靠近期望输出值，这一个过程称为神经网络学习或训练。学习实质是可变权值动态调整自适应过程。改变权值规则称为学习规则或学习算法（对应也称训练规则或训练算法）。单个处理单元，不论采取哪一个学习规则进行调整，其算法都十分简单。大量处理单元集体进行权值调整时，网络就展现出“智能”特征。基础知识续人工神经网络常用学习规则第32页神经网络结构和功效不一样，学习方法也各不相同。在人工神经网络结构和转移函数决定以后，怎样设计权使网络到达一定要求，就成为决定神经网络信息处理性能第三大要素。学习问题归根结底就是网络连接权调整问题，其方法有以下几个：基础知识续人工神经网络常用学习规则第33页名称提出者年代经典应用领域不足特点Perceptron(感知器)FrankRosenblatt(康奈尔大学)1958文字识别、声音识别、声纳信号识别、学习记忆问题研究不能识别识别复杂字符，对字大小、平移和倾斜敏感最早神经网络，已极少应用；有学习能力，只能进行线形分类Adaline(自适应线形单元)和Madaline(多个Adaline组合网络)BernardWidrow(斯坦福大学)1960~1962雷达天线控制,自适应回波抵消，适应性调制解调，电话线中适应性赔偿等要求输入-输出之间为线性关系学习能力较强，较早开始商业应用，Madaline是Adaline功效扩展Avalanche(雪崩网)S.Drossberg(波士顿大学)1967连续语音识别，机器人手臂运动教学指令不易改变运动速度和插入运动Cerellatron（小脑自动机）D.Marr（麻省理工学院）1969~1982控制机器人手臂运动需要复杂控制输入类似于Avalanche网络，能调和各种指令序列，按需要缓缓地插入动作BackPropagation(误差反传网络)P.Werbos(哈佛大学)Davidumlhart(斯坦福大学)JamesMeClelland(斯坦福大学)1974~1985语音识别，工业过程控制，贷款信用评定，股票预测，自适应控制等需要大量输入-输出数据，训练时间长，易陷入局部极小多层前馈网络，采取最小均方差学习方式，是当前应用最广泛学习网络基础知识续人工神经网络常用学习规则第34页Self-organizingfeaturemap(自组织特征映射网络)TuevoKonhonen(芬兰赫尔辛基技术大学)1980语音识别，机器人控制，工业过程控制，图像压缩，教授系统等模式类型数需预先知道对输入样本自组织聚类，可映射样本空间分布Hopfield网络JohnHopfield(加州理工学院)1982求解TSP问题，线性规划，联想记忆和用于辨识无学习能力，连接要对称，权值要预先给定单层自联想网络，可从有缺点和有噪声输入中恢复完整信息Boltzmanmachine(玻尔兹曼机)Cauchymachine(柯西机)J.Hinton(多伦多大学)T.Sejnowski(霍尔金斯大学)1985~1986图像、声纳和雷达等模式识别波尔兹曼机训练时间长，柯西机在一些统计分布下产生噪声采取随机学习算法网络，可训练实现全局最优BidirectionalAssociativeMemory(BAM,双向联想记忆网)BartKosko(南加州大学)1985~1988内容寻址联想记忆存放密度低，数据必须适应编码双向联想式单层网络，含有学习功效，简单易学CounterPropagation(CPN,双向传输网)RobertHecht-Nielsen1986神经网络计算机，图像分析和统计分析需要大量处理单元和连接，需要高度准确一个在功效上作为统计最优化和概率密度函数分析网络基础知识续人工神经网络常用学习规则第35页AdaptiveResonanceTheory(自适应共振理论ART)有ART1、ART2和ART33种类型G.CarpenterandSGrossberg(波士顿大学)1976~1990模式识别领域，擅长识别复杂模式或未知模式受平移、旋转及尺度影响；系统比较复杂，难以用硬件实现能够对任意多和任意复杂二维模式进行自组织学习，ART1用于二进制，ART2用于连续信号BrainStateinaBox(盒中脑BSB网络)JamesAnderson（布朗大学）1977解释概念形成，分类和知识处理只能作一次性决议，无重复性共振含有最小均方差单层自联想网络，类似于双向联想记忆，可对片段输入补全Neocognition(新认知机)FukushimaK福岛邦彦(日本广播协会)1978~1984手写字母识别需要大量加工单元和联络多层结构化字符识别网络，与输入模式大小、平移和旋转无关，能识别复杂字形基础知识续人工神经网络常用学习规则第36页图5-1有导师学习神经网络模型图5-2无导师学习神经网络模型

期望输出实际输出学习机输入ANN比较实际输出学习机输入ANN自我比较基础知识续人工神经网络常用学习规则第37页1)有导师学习(SupervisedLearning,SL)，在学习过程中，网络依据实际输出与期望输出比较，进行联接权值调整，将期望输出称为导师信号，它是评价学习标准。这种学习模式采取纠错规则，学习方法要在给出输入模式X同时在输出侧还要给出与之对应目标模式，又称老师信号或期望输出模式，二者一起称为训练对。基础知识续人工神经网络常用学习规则第38页普通训练一个网络需要许多个训练对，称为训练集。学习时，使用训练集中某个输入模式，得到一个网络实际输出模式y，再与期望输出模式J相比较，不相符时求出误差，按误差大小和方向调整权值，以使误差向着减小方向改变。然后逐一用训练集中每个训练对，不停地修改网络权