人工神经网络基础知识专家讲座

(晶枝)胞体人脑约由1.4*1011数量神经元和1014-1015个突触组成巨系统.神经元（即神经细胞-neuron）是由细胞体(body)、树突(晶枝-dendrite)、轴突(axon)和突触(synapse)四部分组成。人工神经网络基础知识专家讲座第1页每个细胞体都有一个细胞核在进行着呼吸和新陈代谢等许多生化过程。整个细胞外部叫做细胞膜。从细胞体向外伸出许多树突和一条长轴突，树突和轴突分别负责传入和传出兴奋或抑制信息到细胞体。树突:较短，分支很多，是信息输入端。轴突:较长，是信息输出端。突触:是一个神经元与另一个神经元相联络特殊结构部位，突触包含突触前（成份）、突触间隙和突触后（成份）三个部分。突触前（成份）是第一个神经元轴突末梢部分。突触后（成份）是指第二个神经元受体表面。突触前（成份）经过化学接触或者电接触，将信息传往突触后受体表面(第二神经元树突)，实现神经元信息传输。人工神经网络基础知识专家讲座第2页一个神经元各树突和细胞体往往经过突触和大量其它神经元相连接,从而靠突触把众多神经元连成一个神经元网络。(即一神经元树突和其它神经元轴突一一对接，)突触连接相当于神经元间信息传递输入与输出接口,每个神经元有103-105个突触.人工神经网络基础知识专家讲座第3页

突触后电位改变(其它神经元传来信息),将对该神经元产生综合作用,即当这些突出后电位总和超出某一阈值(threshold)时,该神经元便被激活,并产生脉冲,脉冲沿轴突向其它神经元传递,从而实现神经元之间信息传递.

单个神经元能够与多达上千个其它神经元轴突末梢形成突触连接,接收从突触前各个轴突传来脉冲输入.这些输入从不一样部位输入给神经元,各输入权重影响也不一样.

输入一个神经元信息在时间和空间上常展现一个复杂多变形式,神经元需要对它们进行积累和整合加工,从而决定其输出时机和强弱.整合---时间整合、空间整合。时间整合—各输入脉冲抵达神经元先后时间不一样，一个脉冲引发突触后电位很小，但伴随时间延续，另有脉冲抵达，总突触后电位就增大。人工神经网络基础知识专家讲座第4页空间整合—在同一时刻产生刺激所引发膜电位改变，大致等于各单独刺激引发膜电位改变代数和。这种累加求和称空间整合。生物神经元是在这两种整合综合下进行信息传递。

在人脑中，神经元间突触联络大部分是在出生后，因为外界刺激而成长起来。外界刺激性质不一样，能够改变神经元之间突触联络。正是因为各神经元之间突触连接强度和极性能够有所不一样，而且都可进行调整，所以人脑才能够有学习和存放信息功效。神经元---抑制性、兴奋性两种。抑制性---神经元即使接收到其它神经元传递信息，但没有向外传递信息，该神经元称“抑制性”；兴奋性---当一个神经元树突接收兴奋信息累计超出阈值，该神经元被激活并传递出信息给其它神经元。人工神经网络基础知识专家讲座第5页

由多个生物神经元以确定方式和拓扑结构相互连接，即形成生物神经网络．它是一个灵巧、复杂生物信息处理系统。宏观上展现千变万化复杂信息处理能力。人脑最复杂神经网络部分处于大脑最外层大脑皮层。含有高度分析和综合能力，是人脑思维活动物质基础。生物学研究发觉，人大脑皮层有３—６层神经细胞，即含有层次结构。人工神经网络基础知识专家讲座第6页2.２人工神经元模型人工神经网络是在当代神经生物学研究基础上提出模拟生物过程以反应人脑一些特征计算结构。它不是人脑神经系统真实描写，而只是它某种抽象、简化和模拟。依据前面对生物神经网络研究可知，神经元及其突触是神经网络基本器件。所以，模拟生物神经网络应首先模拟生物神经元。在人工神经网络中，神经元常被称为“处理单元”。有时从网络观点出发常把它称为“节点”。人工神经元是对生物神经元一个形式化描述，它对生物神经元信息处理过程进行抽象，并用数学语言给予描述；对生物神经元结构和功效进行模拟，并用模型图给予表示。

人工神经网络基础知识专家讲座第7页

当前人们提出神经元模型已经有很多，其中最早提出且影响最大，是1943年心理学家McCulloch和数学家W．Pitts在分析总结神经元基本特征基础上首先提出M－P模型。该模型经过不停改进后，形成当前广泛应用形式神经元模型。关于神经元信息处理机制，该模型在简化基础上提出以下6点约定进行描述：（1）每个神经元都是一个多输入单输出信息处理单元；（2）突触分兴奋性和抑制性两种类型；（3）神经元含有空间整合特征和阈值特征；（4）神经元输入输出间有固定时滞，主要取决于突触延搁；（5）忽略时间整合作用和不应期；（6）神经元本身是非时变，即其突触时延和突触强度均为常数。人工神经网络基础知识专家讲座第8页上述约定是对生物神经元信息处理过程简化和概括，它清楚地描述了生物神经元信息处理特点，而且便于进行形式化表示。经过上述假定，人工神经元结构模型如图所表示。人工神经网络基础知识专家讲座第9页人工神经元数学模型描述：第j个神经元，接收多个其它神经元i在t时刻输入xi(t)，引发神经元j信息输出为yj(t):式中wij—神经元i到j突触连接系数，即加权值；θj—神经元j阈值；τij—输入、输出间突触时延；f()—神经元转移（激活）函数.为简单起见，将上式中突触时延取为单位时间，则式中netj—j单元激活值；netj=人工神经网络基础知识专家讲座第10页其它各单元对第j个单元输入，经过加权，按某种运算把输入信号综合作用整合起来，给出它们总效果称净输入。净输入整合表示应有各种方式，人们探索到人脑空间整合方式近似为线性求和。即单元净输入表为为简便起见，省去式中（t）,而且惯用向量表示

式中均为列向量：若令

人工神经网络基础知识专家讲座第11页至此，人工神经元数学模型可简化为看到，人工神经元模型较全方面表现了前述６点约定：（１）单输入多输出（显见）；（２）用突触正负表达突触“兴奋与抑制‘；（３）净输入关系net’和阈值θ，表现了空间整合特征和阈值特征；（４）y(t+1)与x(t)之间单位时差表现了”突触延搁“；（５）没有考虑时间整合和不应期；（６）权系数与时间无关，表达了神经元”非时变“。人工神经网络基础知识专家讲座第12页2.3人工神经元转移函数

神经元各种不一样数学模型主要区分在于采取了不一样转移函数，从而使神经元含有不一样信息处理特征。而神经元信息处理特征、网络拓补结构和网络学习方式是决定人工神经网络整体性能三大要素,所以转移函数研究含有主要意义。神经元转移函数反应了神经元输出与其激活状态之间关系，当前提出了各种，最惯用转移函数有以下几个形式。(1)阈值型转移函数

阈值型转移函数采取单位阶跃函数，也称硬限幅函数，用下式定义:人工神经网络基础知识专家讲座第13页含有这一作用方式神经元称为阈值型神经元，这是神经元模型中最简单一个，经典M—P模型就属于这类。硬限幅函数也可采取符号函数，如图，用下式定义人工神经网络基础知识专家讲座第14页（2）非线性转移函数惯用是单极性sigmoid函数，简称S函数，函数本身及其导数都连续，处理上十分方便，改变范围是0～1，如图所表示,用下式定义人工神经网络基础知识专家讲座第15页有时也采取双极性S型函数（双曲正切函数tanh(x)）,其改变范围是-1～1，如图所表示。其表示式为人工神经网络基础知识专家讲座第16页(3)分段线性转移函数该函数特点是神经元输入与输出在一定区间内满足线性关系，如图所表示，用下式表示有时也采取如图分段线性函数。人工神经网络基础知识专家讲座第17页（4）概率型转移函数

采取概率型转移函数神经元模型其输入与输出之间关系是不确定，需要用一个随机函数来描述输出状态概率。如，设神经元输出为1概率为式中T称温度参数。采取这种转移函数神经元输出状态分布经典代表是Boltzmann机。还有许多转移函数数学模型，不一一介绍。

人工神经网络基础知识专家讲座第18页2.4人工神经网络模型

大量神经元组成庞大神经网络，才能实现对复杂信息处理与存放，并表现出各种优越特征。神经网络强大功效与其大规模并行互连、非线性处理以及互连结构可塑性亲密相关。所以必须按一定规则将神经元连接成神经网络，并使网络中各神经元连接权按一定规则改变。生物神经网络由数以亿计生物神经元连接而成，而人工神经网络限于物理实现困难和为了计算简便，是由相对少许神经元按一定规律组成网络。人工神经元网络要显示出人脑一些基本特征:(1)分布存放和容错性(2)大规模并行处理(3)自学习、自组织和自适应(4)大量神经元群体行为,表现出复杂非线性系统特征

人工神经网络基础知识专家讲座第19页人们对网络模型做了大量研究,当前人工神经网络模型很多，已经有近百种，能够按照不一样方法进行分类。按网络性能可分----连续性和离散性、确定性和随机性网络;按学习方式可分----有导师和无导师学习方式网络。常见分类方法----按网络连接拓扑结构分类和按网络内部

信息流向分类。

如按网络内部信息流向分类:前馈(向)型网络和反馈型网络.2.4.1网络拓扑结构类型

网络拓扑结构不一样表现为神经元之间连接方式不一样。依据神经元之间连接方式，可将神经网络结构分为层次型结构和互连型结构两大类。人工神经网络基础知识专家讲座第20页层次型结构

层次型结构神经网络将神经元按功效分成若干层，如输入层、中间层（也称为隐层）和输出层，各层次序相连，如图所表示。

输入层各神经元负责接收来自外界输入信息，并传递给中间各隐层神经元；隐层是神经网络内部信息处理层，负责信息变换，依据信息变换能力需要，隐层可设计为一层或多层；

最终一个隐层传递到输出层各神经元信息经深入处理后即完成一次从输入到输出信息处理，由输出层向外界（如执行机构或显示设备）输出信息处理结果。人工神经网络基础知识专家讲座第21页层次型网络结构有3种经典结构形式。（1）单纯层次型网络结构神经元分层排列，各层神经元接收前一层输入并输出到下一层，层内神经元本身以及神经元之间不存在连接通路。单纯层次型网络结构人工神经网络基础知识专家讲座第22页（2）层内有互连层次型网络结构这种结构特点是在同一层内引入神经元间侧向作用，使得能同时激活神经元个数可控，以实现各层神经元自组织。人工神经网络基础知识专家讲座第23页（3）输出层到输入层有连接层次型网络结构输出层到输入层有连接路径,其输入层神经元既可接收输入，也含有信息处理功效。人工神经网络基础知识专家讲座第24页互连型结构

对于互连型网络结构，网络中任意两个节点之间都可能存在连接路径，所以能够依据网络中节点互连程度将互连型网络结构细分为全互连型网络、局部互连型网络、稀疏连接型网络3种情况。

（1）全互连型网络每个节点均与全部其它节点连接。人工神经网络基础知识专家讲座第25页（2）局部互连型网络

（3）稀疏连接型网络节点只与少数相距较远节点相连。每个节点只与其邻近节点有连接。人工神经网络基础知识专家讲座第26页2.4.2网络信息流向类型

从神经网络内部信息传递方向来分，可分为两种类型：前馈型网络和反馈型网络。2．4．2．1前馈型网络

单纯前馈型网络结构特点前述分层网络完全相同，前馈是因网络信息处理方向是从输入层到各隐层再到输出层逐层进行而得名。从信息处理能力看，网络中节点可分两种：一个是输入节点，只负责从外界引入信息后向前传递给第一隐层；另一个是含有处理能力节点，包含各隐层和输出层节点。前馈型网络中一层输出是下一层输人，信息处理含有逐层传递进行方向性，普通不存在反馈环路。所以这类网络很轻易串联起来建立多层前馈网络。人工神经网络基础知识专家讲座第27页前馈(向)网络特点:(1)层次关系清楚每个神经元只与前一层神经元相连;隐层可多层.(2)反馈关系基本前馈网络无反馈关系;隐层本身互联,形成同层神经元之间横向抑制机制,大多自组织竞争型网络都采取此种;输出到输入层有反馈.对复杂图形次序选择和识别字符需要这类网络;(3)属有导师学习型网络(输出值-教师信号-误差-实现权值自适应)(4)属于非线性映射网络人工神经网络基础知识专家讲座第28页当提到含有单层计算神经元网络时，指应是一个两层前馈网络（输入层和输出层），当提到含有单隐层网络时，指应是一个三层前馈网络（输入层、隐层和输出层）。2．4．2．2反馈型网络反馈网络是指其信息流向特点。在反馈网络中全部节点都含有信息处理功效，而且每个节点既能够从外界接收输入，同时又能够向外界输出。普通来说:互连型网络结构属于反馈型网络人工神经网络基础知识专家讲座第29页上面介绍分类方法、结构形式和信息流向只是对当前常见网络结构概括和抽象。实际应用神经网络可能同时兼有其中一个或几个形式。比如，从连接形式看，层次型网络中可能出现局部互连；从信息流向看，前馈网络中可能出现局部反馈。综合来看，前述网络模型可分别称为：前馈层次型、前馈层内互连型、输入输出有反馈前馈层次型反馈全互连型和反馈局部互连型。反馈网络特点:(1)反馈关系全互联网络;局部互联网络.(2)属于无导师学习网络(3)属于非线性动力学系统网络人工神经网络基础知识专家讲座第30页前馈层次型前馈层内互连型输入输出有反馈前馈层次型反馈全互连型反馈局部互连型神经网络拓扑结构是决定神经网络特征第二大要素。人工神经网络基础知识专家讲座第31页经典前馈网络应用经典反馈网络应用神经网络开发工作分两个阶段:学习阶段(期):也称自适应期或设计期,经过学习样本或其它方法训练权矩阵;工作阶段(期):各连接权成熟(不再改变),求解实际问题,单元状态变迁,以求到达稳态解.人工神经网络基础知识专家讲座第32页2.5人工神经网络学习

人类含有学习能力,人类知识和智慧是在不停学习与实践中逐步形成和发展起来。学习可定义为：“依据与环境相互作用而发生行为改变，其结果造成对外界刺激产生反应新模式建立”。学习过程离不开训练,学习过程就是一个经过训练而使个体在行为上产生较为持久改变过程.比如,游泳等体育技能学习需要重复训练才能提升,数学等理论知识掌握需要经过大量习题进行练习.普通来说,学习效果伴随训练量增加而提升,这就是学习进步.

网络运行普通分为学习（训练）和工作两个阶段。学习目标是为了从训练数据中提取隐含知识和规律，并存放于网络中供工作阶段使用。

人工神经网络基础知识专家讲座第33页学习神经机制,包括神经元怎样分布、处理和存放信息等。这么问题单用行为研究是不能回答，必须把研究深入到细胞和分子水平。每一个心理功效，如记忆与思想，均归因于神经细胞组群活动。大脑中，功效性神经元连接、突触形成是关键，医学研究表明：神经元之间突触联络，其基本部分是先天就有，但其它部分是因为学习过程中频繁地给予刺激而成长起来。突触形成、稳定与修饰等均与刺激相关，随外界给予刺激性质不一样，能形成和改变神经元突触联络。

神经网络全体连接权值可用一个矩阵W表示，其整体内容反应了神经网络对于所处理问题知识存放，神经网络能够经过对样本学习训练，不停改变网络连接权值以及拓扑结构，以使网络输出不停地靠近期望输出。这一过程称为神经网络学习或训练，其本质是对可变权值动态调整。人工神经网络基础知识专家讲座第34页

把修正权值算法称为学习规则（学习算法等）。对单个处理单元，不论采取哪种学习规则进行调整，其算法都十分简单。但当大量处理单元集体进行权值调整时，网络就展现出“智能”特征，其中有意义信息就分布地存放在调整后权值矩阵W中。

神经网络含有学习功效是其最主要特征之一,各种学习算法研究在ANN理论与实践发展过程中起着主要作用.人工神经网络学习和计算机机器学习有类似分类，一类有导师学习(从例子中学习)，一类无导师学习,还有一类为死记式学习。在ANN中，学习规则是修正权一个算法，以取得满意系统性能。现有学习规则大致上可分为以下几类：

人工神经网络基础知识专家讲座第35页（1）有导师学习规则(纠错规则)

依赖关于输出节点外部反馈来改变权系数，使实际结点输出与外部期望输出相一致,即有导师学习规则。从方法上看，基于或等效于梯度下降方法，经过在局部最大改进方向上，按照小步逐次进行修正，力图到达表示函数功效问题全局解，但不能确保得到全局最优解，同时还要求有大量训练样本，因而收敛速度变慢。另外，这种规则对样本表示次序改变比较敏感。

（2）无导师学习规则

学习表现为自适应于输入空间检测规则。该规则关键在于调整参数以反应观察事件分布，即是将事件空间分类成输入活动区域，并有选择地对这些区域响应。（3）死记式学习(相关规则)

仅依据连接之间激活水平改变权系数。惯用于自联想网络，执行特殊记忆状态死记式学习。人工神经网络基础知识专家讲座第36页现在将要分别介绍惯用、基本学习规则。能够认为，一个神经元是一个自适应单元，其权值能够依据它所接收输入信号、它输出信号以及对应监督信号进行调整。日本著名神经网络学者Amari于1990年提出一个神经网络权值调整通用学习规则，该规则图解表示见下列图。图中神经元j是神经网络中某个节点，其输入用向量X表示，该输入能够来自网络外部，也能够来自其它神经元输出。

人工神经网络基础知识专家讲座第37页

第i个输入与神经元j连接权情用wij表示，连接到神经元j全部权值组成了权向量Wj。应该注意是，该神经元阈值，对应输入分量x0恒为-1。图中，r＝r(Wj，X，dj)称学习信号，该信号通常是W和X函数，而在有导师学习时，它也是教师信号dj函数。通用学习规则可表示为：权向量Wj在t时刻调整量ΔWj（t）与t时刻输入向量X（t）和学习信号r乘积成正比。用数学式表示为

ΔWj（t）=ηr[Wj（t）,X(t),dj(t)]X（t）

人工神经网络基础知识专家讲座第38页ΔWj（t）=ηr[Wj（t）,X(t),dj(t)]X（t）式中，η为正数，称为学习常数，其值决定了学习速率，也称学习率。基于离散时间调整时，下一时刻权向量应为

ΔWj(t十1)=Wj（t）＋ηr[Wj（t）,X(t),dj(t)]X（t）

不一样学习规则对r(Wj，X，dj)有不一样定义，从而形成各种各样神经网络学习规则。下面对惯用学习规则作一简明介绍。人工神经网络基础知识专家讲座第39页在Hebbian学习规则中，学习信号简单地等于神经元输出

权向量调整公式为

Δ

η

权向量中，每个分量调整由下式确定

=η=ηi=0,1,…，n上式表明，权值调整量与输入输出乘积成正比。显然，经常出现输入模式将对权向量有最大影响。

2．5．1Hebbian学习现则1949年，心理学家D．O．Hebb最早提出关于神经网络学习机理“突触修正”假设。该假设指出，当神经元突触前膜电位与后膜电位同时为正时，突触传导增强，当前膜电位与后膜电位正负相反时，突触传导减弱，也就是说，当神经元i与神经元j同时处于兴奋状态时，二者之间连接强度应增强。(实质上就是条件反射学说,以后得到了神经细胞学说证实)依据该假设定义权值调整方法，称为Hebbian学习规则。

人工神经网络基础知识专家讲座第40页另外，要求权值初始化，即在学习开始前（t=0），先对Wj(0)赋予零附近小随机数。

Hebbian学习规则代表一个纯前馈、无导师学习。该规则在各种神经网络模型中起着主要作用。下面用一个简单例子来说明含有简单网络二进制和连续激活函数Hebb学习情况。例已知有4输入单输出神经元网络，其阈值为0，学习率η=1，3个输入样本向量和初始权向量分别为X1=[1–21.50]T,X2=[1-0.5-2-1.5]T,X3=[01-11.5]T,W(0)=[1-100.5]T,试按Hebb规则进行网络训练。解若神经元采取双极性硬限幅函数，即f(net)=sgn(net).学习过程以下步骤：(1)输入第一个样本X1，计算净输入net1，调整权向量为W（1）net1=W(0)TX1=[1-100.5][1-21.50]T=3W(1)=W(0)+ηsgn(net1)X1=W(0)+X1=[1-100.5]T+[1-21.50]T=[2-31.50.5]T人工神经网络基础知识专家讲座第41页(2)输入第二个样本X2，计算净输入net2，调整权向量为W（2）net2=W(1)TX2=[2-31.50.5][1-0.5-2-1.5]T=-0.25W(2)=W(1)+ηsgn(net2)X2=W(1)-X2=[2-31.50.5]T-[1-0.5-2-1.5]T=[1-2.53.52]T(3)

输入第三个样本X3，计算净输入net3，调整权向量W(3)net3=W(2)TX3=[1-2.53.52][01-11.5]T=-3W(3)=W(2)+ηsgn(net3)X3=W(2)-X3=[1-2.53.52]T-[01-11.5]T=[1-3.54.50.5]T可见，当转移函数为符号函数且η=1时，H学习规则权值调整将简化为权向量加或减输入向量。人工神经网络基础知识专家讲座第42页下面看一下转移函数为双极性连续函数

时，此例权值调整情况：(1)net1=W(0)TX1=[1-100.5][1-21.50]T=3y1=f(net1)=W(1)=W(0)+ηy1X1=[1.905-2.811.3570.5]T(2)net2=W(1)TX2=-0.154y2=f(net2)=W(2)=W(1)+ηy2X2=[1.828-2.7721.5120.616]T(3)net3=W(2)TX3=-3.36y3=f(net3)=W(3)=W(2)+ηy3X3=[1.828-3.702.44-0.785]T比较两种权值调整结果看出，在两种转移函数下权值调整方向是一致，不过，采取连续转移函数时，权值调整力度相对减弱。人工神经网络基础知识专家讲座第43页2。5。2感知器学习规则感知器（Perceptron）是美国学者Rosenblatt于1958年提出来，实际上它是一个含有单层计算单元神经元网络。他指出，感知器能够学会它能表示任何事情，这个结论曾使不少人企图用感知器模仿人视网膜来识别图像一些特征。对于感知器学习规则，学习信号是经过神经元期望输出和实际输出响应之间差来决定。因而，学习信号等于r=dj-yj1WjTX≥0式中yj为实际输出，yj=sgn（WjTX）=-1WjTX＜0即感知器采取是符号转移函数;dj为所期望输出响应。所以，权值调整公式为ΔWj=η(dj-sgn(WjTX))XΔwij=η(dj-sgn(WjTX))xii=1，2，…n

人工神经网络基础知识专家讲座第44页请注意，这个规则仅对二进制神经元响应是能够应用，而且上式表示了属于双极二进制情况下规则。在这种规则下，当且仅当yj是不正确情况，权重得到调整。

感知器学习规则属于有导师学习规则，权重能够在任何值上初始化。感知器理论是研究其它神经网络基础，感知器学习规则对于神经网络有导师学习有极为主要意义。人工神经网络基础知识专家讲座第45页2.5.3δ(Delta)学习规则

δ学习规则又称最小均方规则（LMS）。它利用目标激活值与所得激活值之差进行学习。其方法是：调整联络强度，使这个差减小。

δ学习规则唯一适合用于单极性和双极性Sigmoid型转移函数以及在有导师训练模式中定义连续激活函数。学习信号定义以下：式中是对于计算得激活函数导数。则,权值调整公式为Δ=η

Δηi=0,1,2...n人工神经网络基础知识专家讲座第46页

该学习规则可由实际输出值yj和期望输出值dj之间最小平方误差条件推导出来。定义神经元实际输出与期望输出间平方误差为

式中，误差E是权向量Wj函数。欲使误差E最小，Wj应与误差负梯度成正比，即Δ=-η▽(Wj沿E负梯度方向改变)（#）式中，百分比系数η是一个正常数，▽为误差梯度.

▽=-代入#式得权值调整计算式Δ=η人工神经网络基础知识专家讲座第47页式子得到证实。

对于这种训练方法，权能够在任何值上得到初始化。

1986年McClelland和Rumelhart将δ规则引入作为神经元网络训练。这个规则并行于离散感知器学习规则，它亦可称作为连续感知器训练规则。δ学习规则能够被推广用于多层网络。例设有3输入单输出网络,将阈值含于权向量内,即学习率[-11-20]T,[-101.5-0.5]T,[-1-110.5]T[0.51-10]T,试按δ规则进行网络学习.人工神经网络基础知识专家讲座第48页解:设转移函数为双极性连续函数则或第一步输入样本X1,计算净输入net1及权向量W(1)net1=W(0)TX1=2.5[0.5260.974-0.9480]T第二步计算输入样本X2.计算净输入net2及权向量W(2)net2=W(1)TX2=-1.948人工神经网络基础知识专家讲座第49页[0.5310.974-0.9560.002]T第三步因为每步中[0.5050.947-0.9290.016]T,所以每步权值均得到修正,这种方法常要求小η值.人工神经网络基础知识专家讲座第50页2。5。4Widrow—Hoff学习规则1962年Widrow－Hoff提出了一个能应用于神经元网络有导师训练学习规则。因为它使在期望输出值dj和神经元激活值net=WjTX之间平方误差最小，所以这种学习规则和采取神经元激活函数无关，因而不需要对转移函数求导，学习速度快，且含有较高学习精度。这种规则学习信号用下式定义

r=dj-WjTX权向量增量为:

ΔWj=η(dj-WjTX)X或者

Δwij=η(dj-WjTX)xii=1，2，…n

这种学习规则中，权能够在任何值上被初始化。人工神经网络基础知识专家讲座第51页2．5．5相关（Correlation）学习规则相关学习规则学习信号要求为

r=dj权向量和单个权调整分别为

ΔWj=ηdjXΔwij=ηdjxii=1，2，…，n这个简单规则说明了假如dj是因为Xi期望响应，对应权增加与它们之积成百分比。这个规则经典地被应用于含有二进制响应神经元记忆网络中进行数据统计。

它能够被解释为含有二进制激活函数而且因为yj=djHebb规则特殊情况。不过Hebb学习规则是在无导师环境下实现而相关学习是有导师。类似于Hebb学习，这种学习规则亦要求权初始化W（0）=0。人工神经网络基础知识专家讲座第52页2．5．6Winner－Take－All（胜者为王）学习规则

这种学习规则本质上不一样于前面所讨论过任何规则。Winner－Take－All学习规则是一个竞争学习规则，用于无导师学习。

普通将网络某一层确定为竞争层，对于一个特定输入X，竞争层全部p个神经元都有输出响应，其中响应值最大神经元为在竞争中获胜神经元。假如第m个神经元获胜，则Winner－Take－All学习规则如图所表示。即:只有获胜神经元才有权调整其权向量Wm，调整量为Δ=η()或Δη人工神经网络基础知识专家讲座第53页式中，η∈（0，1），是学习常数，普通其值伴随学习进展而减小。因为两个向量点积越大，表明二者越近似，所以调整获胜神经元权值结果是使Wm