神经网络学习

神经网络学习第1页/共52页2008-2009学年第1学期摘自《TalkingNets:AnOralHistoryofNeuralNetworks》封面第2页/共52页2008-2009学年第1学期6.6.1神经网络基础公元前400年左右，柏拉图和亚里士多德就曾对人类认知、记忆、思维进行过研究；19世纪末，出现了神经元学说；美国生物学家W.James在《Physiology》一书中提到，“人脑中两个基本单元靠得较近时，一个单元的兴奋会传到另一个单元；20世纪40年代，神经解剖学、神经生理学、神经元的电生理过程等有了突破性进展。第3页/共52页2008-2009学年第1学期人脑中神经元（神经细胞）的结构Nucleus：核

Cellbody：细胞体

Dentrite：树突

Axon：轴突第4页/共52页2008-2009学年第1学期神经元之间的电信号传递轴突后部裂出许多分枝，分枝末端有突触，突触与树突连接；轴突中的信号经突触转换为“阻止”或“激活”信号；当神经元的“净输入”超过阈值时，其沿轴突发出信号；改变突触的效能，神经元之间的影响随之改变，学习就发生了。突触（神经键）第5页/共52页2008-2009学年第1学期生物神经元的结构摘自张仰森《人工智能原理与应用》随书课件第6页/共52页2008-2009学年第1学期1943年，W.S.McCulloch和W.A.Pitts合作提出了第一个人工神经元模型（M-P模型）；Sumy0T1f是阈值为T的阶跃函数∑I1I2IN…W1W2WNyM-P模型中输入、输出的关系摘自.eg/rehan/ann/2_3_1%20The%20McCulloch-Pitts%20Model%20of%20Neuron.htm第7页/共52页2008-2009学年第1学期M-P神经元模型树突加和细胞体阈值轴突参考：http://www.doc.ic.ac.uk/~nd/surprise_96/journal/vol4/cs11/report.html#What%20is%20a%20Neural%20Network突触第8页/共52页2008-2009学年第1学期1949年，DonalaU.Hebb在“TheOrganizationofBehavior”一书中认为学习的过程最终发生在神经元之间的突触部位，突触的连接强度随着突触前后神经元的活动而变化；连接权的学习律正比于突触前后两个神经元的活动状态值的乘积；可假设权是对称的，细胞的互连结构是通过改变彼此的连接权创造出来的。突触连接强度的可变性是学习和记忆的基础第9页/共52页2008-2009学年第1学期Hebb规则这是神经网络的第1个学习算法；神经元的输出连接权值的调整公式学习率净输入第10页/共52页2008-2009学年第1学期1957年，FrankRosenblatt在M-P模型基础上，定义了一个具有单层计算单元的神经网络结构，取名为“感知器”。输入层计算层(输出层)…………x1x2xixny1yjymw1jwnj第11页/共52页2008-2009学年第1学期设计一个神经网络模型，除了明确网络的结构、神经元的传输函数（f）；还要给出学习算法。学习算法用于得出神经网络中的各个参数。学习算法通常是迭代算法，对应神经网络的演变过程；算法收敛到一个稳定状态时，神经网络的各参数（连接权值、阈值等）就基本不变了；这个过程称为神经网络的学习或训练。第12页/共52页2008-2009学年第1学期人工神经网络的两个操作模式训练模式（trainingmode）准备大量的有教师指导的（或无教师指导的）的训练样本（即实例），对ANN进行训练，确定ANN的内部参数（甚至结构）。使用模式（usingmode）输入一个实际例子，让ANN分析并给出结果。第13页/共52页2008-2009学年第1学期“感知器”是怎么训练的呢？假设每个样本含n个属性，用向量(x1,x2,…,xn)表示；若X为样本变量，X∈Rn；wij是xi到神经元j

的连接权值，Wj是神经元j

的输入连接的权值向量，即Wj=(w1j,w2j,…,

wnj)；先随机设置{wij}和{θj

}，θj

是神经元

j

的阈值；不同神经元的参数（包括连接权值和阈值）的学习是相互独立的，故只需给出一个神经元的学习算法。第14页/共52页2008-2009学年第1学期神经元j的参数怎么学习呢？样本必须是有教师指导的，即预先知道其分类；输入(x1,x2,…,xn)时，神经元j的输出应为dj。对于离散感知器，yj按下式计算。

则wij的调整规则是

wij(t+1)=wij(t)+η(dj-yj)xiη为调整步幅系数，η>0第15页/共52页2008-2009学年第1学期“感知器”对线性可分问题具有分类能力若样本空间为Rn，存在n-1维的超平面可将样本分为两类，则称线性可分。线性可分的二维样本空间存在至少一组wij和θj

，使得对应两个子空间的神经元输出分别为0和1。第16页/共52页2008-2009学年第1学期t样本X期望输出dW(t)实际输出y=W(t)TXW(t+1)=W(t)+η(d－y)X0(1,-1,-1)-1(0,0,0)0(-0.4,0.4,0.4)1(1,1,-1)1(-0.4,0.4,0.4)-0.4(0.16,0.96,-0.16)2(1,-1,-1)-1(0.16,0.96,-0.16)-0.64(0.016,1.104,-0.016)3(1,1,-1)1(0.016,1.104,-0.016)1.136(0.038,1.050,-0.038)∞…………(0,1,0)例：连接强度W的学习过程（η=0.4）验证：

(0,1,0)T(1,-1,-1)=-1(0,1,0)T(1,1,-1)=1第17页/共52页2008-2009学年第1学期“感知器”无法解决线性不可分问题；1969年，Minsky和Papert指出了“感知器”的这种局限性，例如，“感知器”无法实现“异或”逻辑。逻辑“与”逻辑“异或”x1x2yx1x2y000000010011100101111110第18页/共52页2008-2009学年第1学期设输入向量X=(x1,x2)，神经元j的输出为：学习逻辑“与”时，有至少存在一组w1j、w2j和θ满足上述方程组，即单结点感知器对2输入的逻辑“与”

问题有分类能力。第19页/共52页2008-2009学年第1学期学习逻辑“异或”时，有不存在任何一组w1j、w2j和θ满足上述方程组，即单结点感知器不能对2输入的逻辑“异或”

问题求解。011x1x2线性可分011x1x2线性不可分第20页/共52页2008-2009学年第1学期多层感知器采用二层或多层感知器；只允许某一层的连接权值可调，因为无法知道网络隐层的神经元的理想输出；要允许各层的连接权值可调，需要用1986年提出的误差反向传播（即BP）学习算法。多层感知器可解决单层感知器无法解决的某些问题，例如，用二层感知器就可解决异或问题。第21页/共52页2008-2009学年第1学期70年代，集成电路使计算机快速发展；在“感知器”局限性的困扰下，机器学习的热点由连接主义（即神经网络）转向符号主义；70年代被认为是ANN的研究低潮期，但仍有ANN的一些重要成果出现。72年，芬兰T.Kohonen教授提出了无教师学习网络SOM（Self-OrganizingfeatureMap）;76年，美国Grossberg教授提出了ART（AdaptiveResonnanceTheory）。自组织竞争网络模型第22页/共52页2008-2009学年第1学期自组织竞争神经网络模型生物神经网络中，有侧抑制现象；一个神经元兴奋，通过突触抑制相邻神经元；它越兴奋，对周围神经元的抑制作用越强。抑制现象使神经元之间出现竞争；起初，各神经元都处于（不同程度）兴奋状态，最后“胜者为王”。自组织特征映射（SOM）和自适应共振理论（ART）都属于这类神经网络模型。第23页/共52页2008-2009学年第1学期SOM的典型结构输入层竞争层(输出层)…………x1x2xixny1yjymw1jwnj第24页/共52页2008-2009学年第1学期SOM可实现聚类分析聚类在没有教师指导的情况下，自动寻找样本的属性关系，将相似的样本划归为一类。分类已知各样本的类别，在类别知识（即教师信号）的指导下，形成分类规则，将各样本分到各自的类中。共同点：寻找样本-类的映射函数。第25页/共52页2008-2009学年第1学期样本相似度的测量设X1和X2是表示两个样本的向量；欧式距离法余弦法（向量夹角法）X1X2X1－

X2第26页/共52页2008-2009学年第1学期SOM中的竞争学习算法对样本X

和各神经元的连接权值向量Wj规一化寻找获胜的神经元jX1XiXnw1jwijwnj……yj输入到神经元j的连接第27页/共52页2008-2009学年第1学期SOM中的竞争学习算法网络输出与权值调整对Wj*(t+1)进行归一化如果α足够小则退出；否则衰减α，转①第28页/共52页2008-2009学年第1学期1982年，美国物理学家JohnJ.Hopfield提出了一种全连接神经网络模型（即Hopfield模型）；这是一种离散型反馈式神经网络（英缩写DHNN）；引入了“能量函数”概念，支持对神经网络运行稳定性进行判定；成功求解旅行商问题（TravelingSalesmanProblems）。1984年，他又提出了连续型Hopfield网络（英缩写CHNN）。第29页/共52页2008-2009学年第1学期离散型Hopfield神经网络的结构模型一般有wii=0，wij=wjiy1y2yjynθ1θ2θjθnw2jx1x2xjxnwj2…………第30页/共52页2008-2009学年第1学期神经元的输出也称神经元的状态；所有神经元的状态构成反馈网络的状态Y；

Y=(y1,y2,…,yn)网络输入就是网络状态的初始值Y(0)；

Y(0)=(x1(0),x2(0),…,xn(0))由初始状态，网络开始演化。

yj(t+1)=f(netj)

这里，netj为神经元j的净输入，f(·)为神经元的特性函数（也称作用、传递或转移函数）。y1y2yjynθnx1x2xjxn…………第31页/共52页2008-2009学年第1学期常见的特性函数10fu10fu10fuuk阈值型S状(如sigmoid函数)分段线性(饱和线性)第32页/共52页2008-2009学年第1学期对于DHNN，特性函数f可以是阈值型也可以是分段线性型净输入netj的计算第33页/共52页2008-2009学年第1学期DHNN的两种学习方式串行方式（也称异步方式）每次调整，只有一个神经元按其净输入调整输出（即状态），而其他神经元保持状态不变；神经元状态的调整次序可按某种规定次序进行，也可随机选定。并行方式（也称同步方式）每次调整，各神经元都按其净输入调整各自的状态。

y1y2yjynθnx1x2xjxn…………第34页/共52页2008-2009学年第1学期DHNN可能收敛于某个稳定状态，也可能产生振荡构成极限环；在串行方式下，为使网络收敛，W应为对称阵；在并行方式下，为使网络收敛，W应为非负定对称阵；保证给定的样本是网络的吸引子，且有一定的吸引域。参考：朱大奇,史慧.人工神经网络原理及应用.第3章.科学出版社,2006年3月第1版.y1y2yjynθnx1x2xjxn…………第35页/共52页2008-2009学年第1学期连续型Hopfield神经网络模型该模型可表示为下列的非线性微分方程组：ui是神经元i的膜电位，Ci和Ri分别是输入电容和电阻，Ii是电路外的输入电流，wij是神经元i到神经元j的连接强度，f(u)是u的非线性函数。这是一个N输入、N输出的有N组运算放大器的电路，每个运放输出有到各运放输入的反馈通路。第36页/共52页2008-2009学年第1学期连续型Hopfield神经网络的神经元模型VjVjujCj…ViRij

=1/wijRjVj可对应0至1之间的任意实数第37页/共52页2008-2009学年第1学期Hopfield网络是一种非线性的动力网络；可通过反复的网络动态迭代来求解问题，这是符号逻辑方法所不具有的特性；在求解某些问题时，其求解方法与人类的求解方法很相似；所求得的解可能不是最佳解，但其求解速度快。第38页/共52页2008-2009学年第1学期1986年，MIT出版社（Cambridge）出版了J.L.Rumelhart和D.E.McClelland主编的“ParallelDistributedProcessing:ExplorationintheMicrostructuresofCognition”一书；其中，详细分析了多层前馈网络中的误差反向传播（ErrorBackPropagation）算法，即BP算法，它很好地解决了感知器局限性问题。第39页/共52页2008-2009学年第1学期前馈型神经网络输入层输出层隐层…x1xixN1……………y1yiyNm……第40页/共52页2008-2009学年第1学期BP算法正向传播从输入层到输出层，逐层计算结点状态；每一层结点的状态只影响下一层结点的状态。如输出层没有得到期望输出（即有误差），转入反向传播过程。反向传播将误差信号沿原路返回，通过修改各层的连接权值，使误差信号递减直到最小。第41页/共52页2008-2009学年第1学期是还有样本吗BP算法的流程图初始化给定输入向量和期望输出求隐层、输出层各结点输出求输出与期望输出的误差e求误差梯度权值学习计算隐层结点误差否设置连接权和阈的初值有e足够小结束无第42页/共52页2008-2009学年第1学期多层前馈网络中的符号xi：样本的第i个属性yi：输出层神经元i的输出di：输出层神经元i的期望输出wijk：第i层神经元

j

到第i+1层神经元k的连接权值oij：第i层神经元j的输出θij：第

i

层神经元

j

的阈值netij：第i层神经元j的净输入Ni：第

i

层神经元的数目第43页/共52页2008-2009学年第1学期BP算法中的前向计算特征函数必须是有界连续可微的，如sigmoid函数第44页/共52页2008-2009学年第1学期BP算法中的反向计算输出层神经元j的状态误差网络学习的目标函数wijk的调整量第45页/共52页2008-2009学年第1学