神经网络分类器2课件

第五章神经网络分类器5.1感知器算法5.2神经网络分类器5.1感知器算法一、引言模式识别与人工智能是研究如何利用计算机实现人脑的一些功能。人工神经网络研究的发展：1943年，提出形式神经元的数学模型，人工神经网络研究的开端。1949年，提出神经元的学习准则，为神经网络的学习算法奠定了基础。50年代，研究类似于神经网络的分布系统。50年代末提出感知模型，把神经网络的实现付诸工程实践。1982年，提出神经网络的数学模型，引入了能力的概念，研究了网络的动力学特性；设计出用电子线路实现网络的方案，大大促进了神经网络的研究。1986年，提出多层感知器的反向传播算法。现在神经网络的应用已渗透到智能控制、信号处理、优化计算、生物医学工程等领域。神经元的基本工作机制：神经元的两种工作状态：兴奋和抑制。动态极化原则：在每一个神经元中，信息以预知的确定方向流动，即从神经元的接收信息部分传到轴突的电脉冲起始部分，再传到轴突终端的突触，以与其它神经元通信。连接的专一性原则：神经元之间无细胞质的连续，神经元不构成随机网络，每一个神经元与另一些神经元构成精确的联接。信号的传递过程：接受兴奋电位；信号的汇集和传导；信号的输出。2、人工神经元人工神经元模型：xi：输入，神经元的输入值ωi：权值，突触的连接强度f：输出函数，非线性函数y：输出神经元动作：常用输出函数：阈值函数：双曲正切函数：非线性，单调性无限次可微权值很大时接近阈值函数权值很小时接近线性函数阶跃函数：则：y=sgn(WTX)即：y=f(WTX)这种神经元没有内部状态的转变，而且函数为阈值型。因此，它实质上是一种线性阈值计算单元。感知器是一个具有单层计算单元的人工神经网络。感知器训练算法就是由这种神经网络演变来的。设阈值：θ=-ω0W=(ω1,ω2,…,ωn,ω0)TX=(x1,x2,…,xn,1)T感知器算法能够通过对训练模式样本集的“学习”得出判别函数的系数解。算法描述用样本训练时，若x∈ωi，g(x)>0，则w不变。若g(x)<0，则修改w，直到所有样本都满足条件为止。通过上面的定义，感知器问题变成wi/wj两类问题。因此，感知器的自组织、自学习思想可以用于确定性分类器的训练——感知器训练方法。4、感知器训练算法初始化：给定一个训练模式集{x1,x2,…xN}，其中每个类别已知，它们分属于ω1,ω2。xi＝(xi1,xi2,…xin)T为n维向量，增广为(n+1)维向量：xi＝(xi1,xi2,…xin,1)ω2类样本乘以－1。权向量w为(n+1)维向量。例1：试用感知器算法求出下列两类的判别函数。

ω1：{(0,0)T,(0,1)T}，ω2：{(1,0)T,(1,1)T}，上机作业三：

ω1=(x1,x2)={(1,0,1),(0,1,1)}

ω2=(x3,x4)={(1,1,0),(0,1,0)}使用感知器算法给出区分两类模式的判别函数。5、感知器算法收敛性分析收敛定理：如果训练模式是线性可分的，感知器训练算法在有限次迭代后便可以收敛到正确的解矢量w*若将式中阈值0改为一非负值T，则变为更一般的形式：设：w*为权向量的解，则它具有下式的性质：感知器算法可写成：取C=1（不失一般性，可分入样本中）xk中k为N个训练样本在多次反复迭代中的累积编号。如果xk∈ωi和dl(xk)≥di(xk)(l≠i)则：

wi(k+1)=wi(k)+ρxkwl(k+1)=wl(k)-ρxk

wj(k+1)=wi(k)(任意j≠l,

i)

(4)如果k<N,令k=k+1,返至(2)。如果k=N，则检验判别函数wi’x对x1,x2…xN,是否都能正确分类。若是，结束；若不是，令k=1,返至(2)例2：已知训练样本(0，0)’属于ω1类，(1，1)’属于ω2类，(-1，1)’属于ω3类，试求解向量w1*,w2*,w3*实验四：实验所用样本数据如表给出，编制程序实现ω1、ω2、ω3、ω4类的分类。

感知机Perceptron(Rosenblatt1958)Adaline(WidrowandHoff)《Perceptron》(Minsky&Papert,1969)Hopfield模型(Hopfield，1982)多层感知机MLP与反向传播算法BP(Rumelhart,1986)5.2神经网络分类器神经网络的特点自学习自适应并行处理分布表达与计算神经网络本质上可以理解为函数逼近，可以应用到众多领域：优化计算信号处理智能控制模式识别机器视觉等神经网络的应用常用输出函数：线性输出函数：a=f(x)=xSigmoid函数：前馈神经网络：各神经元接受前级输入，并输出到下一级，无反馈，可用一有向无环图表示。前馈网络通常分为不同的层，第i层的输入只与第i-1层的输出联接。可见层：输入层和输出层隐层：中间层5.2.1前馈神经网络及其主要方法三层神经网络实现非线性分类例：异或(XOR)任何一个逻辑电路都可以只用XOR门来实现，XOR是通用门实线：+虚线：-数字：权值单个阈值神经元可实现任意多输入的与、或、与非、或非门任何逻辑函数可用一个三层前馈网络实现有4个模式，要分为2类：适当选取神经元的输出函数，两层前馈神经网络可以逼近任意的多元非线性函数若有足够多的隐单元，任何从输入到输出的连续函数都可以用一个这样的三层网络任意精度近似三层或三层以上的前馈网络通常被叫做多层感知器(MLP)MLP的适用范围大大超过单层网络多层前馈网络双层网络→一个线性边界三层或三层以上→任意决策边界存在问题：未给出隐单元数目未给出权值仅根据训练样本，很难知道应该有什么形式的界面函数实际设计过程中还有很多问题三层前馈网络的使用范围大大超过二层前馈网络，但学习方法较为复杂，主要困难是中间的隐层不直接与外界连接，无法直接计算其误差。1、反向传播算法反向传播算法：从后向前反向逐层“传播”输出层的误差，以间接算出隐层误差。分两个阶段：正向过程：从输入层经隐层逐层正向计算各单元的输出反向过程：由输出层误差逐层反向计算隐层各单元的误差，并用此误差修正前层的权值用已知类别的特征向量为训练集，当输入属于第j类的特征向量时，应使输出yj=1，其他输出为-1；设期望的输出为：Y=[y1,y2,…,yn]T，实际输出为：某一层第j个计算单元：i：前一层的第i个计算单元k：后一层的第k个计算单元Oj：本层的第j个计算单元的输出wij：前一层第i个单元到本层第j个单元的权值正向过程：输入某样本时，从前到后对每个神经元计算：对输出层，是实际输出值，yj是期望输出值，误差为：定义局部梯度：计算权值对误差的影响：利用梯度下降原理为使误差尽快减小，令修正量为：

Δwij=-ησjOiwij(t+1)=wij(t)+Δwij(t)t为迭代次数若单元j为输出单元：若单元j不是输出单元，则Oj会影响后层所有单元，有：误差反向传播原理示意图隐层单元j的局部梯度σj正比于输出单元局部梯度的σk加权和由此，输出单元的局部梯度就“反向”传播回到隐层单元当非线性函数f为双曲正切函数时：反向传播算法设权值的随机初始值(较小的随机数)反复执行如下操作(依次输入如下样本)，直到收敛从前向后逐层计算每个单元的Oj，计算每个输出单元的局部梯度σj从后向前反向计算每个隐层单元计算并保存每个权值修正量修正权值可对各样本修正权值，也可各样本计算σj后按总误差修正权值讨论梯度下降法求非线性函数极值，可能局部极小，不能保证收敛到全局极小点三层或更多层网络，初始权值不能全为零或都相同，否则各隐层单元无差异，迭代无效果。通常采用小随机数，如区间[-0.3，0.3]初始值影响收敛，不收敛时改变初始值重新迭代步长参数η对收敛影响大，不同问题最佳值不同，约0.1~3惯性系数α影响收敛速度，常用0.9~1，α≥1时不收敛输入单元数=特征向量维数，输出单元数=类别个数

径向基函数：沿某种径向对称的标量函数。空间中任意一点x到某一中心xc之间欧氏距离的单调函数，记作：2、径向基函数网络最常用的径向基函数是高斯核函数：

xc：为核函数中心σ：为函数的宽参数，控制了函数的径向作用范围，即x远离xc时函数取值很小网络特点：只有一个隐层，输入层到隐层之间的权值均固定为1，隐层单元采用径向基函数作为其输出特性。输出节点为线性输出单元，隐层到输出节点之间的权值可调，输出为隐层的加权求和。径向基函数网络的作用对未知函数f(x)的逼近器。输出为隐层的线性加权求和，采用基函数的加权和来实现对函数的逼近隐层把原始的非线性可分的特征空间变换到另一个空间（通常是高维空间），使之可以线性可分。可调参数的选择：三种可调参数：隐层基函数中心、方差，输出单元的权值根据经验选择函数中心及方差用聚类方法选择基函数通过训练样本用误差纠正算法求得5.2.2竞争学习和侧抑制上述前馈网络属于监督学习，需要同时提供输入样本和相应的理想输出。引进竞争机制的前馈网络可以实现无监督学习，完成聚类的任务。结构在二层前馈网络的输出层各单元之间相互用较大的负权值输入对方的输出，构成正反馈互联。竞争的结果是：具有较大输入的单元输出为1，其他单元输出都为0网络功能实现无监督学习，完成聚类的任务网络动作机制学习时先用随机数作为权值初始值，整个学习过程随时将权值进行归一化处理，即：使各权向量满足：当样本为归一化样本，学习可按如下算法进行：讨论：网络不可能收敛到修正量趋向于零的状态，采用强制收敛方法，在学习过程中将步长参数η缓慢减小至零。学习结果受初始值和学习样本顺序影响很大，聚类的结果不一定理想，需要加入适当的人工干预。例：先选择少量典型性好的样本作为权向量初始值。带反馈的神经网络示意图输入：外部输入信号和同一区域的反馈信号5.2.3自组织特征映射神经网络输入信号反馈信号输出信号概念依据大脑对信号处理的特点，提出了一种神经网络模型——自组织特征映射模型，自组织特征映射模型是典型的自组织系统，因而也有人称其为“自组织模型”。由输入层和竞争层构成的两层网络。两层之间的各神经元实现双向全连接，网络中没有隐含层。自组织的过程实际上就是一种无指导的学习。它通过自身训练，自动对输入模式进行分类。自组织特征映射神经网络自组织特征映射神经网络结构示意图交互作用函数或网络功能：形成认知地图，进行聚类学习方法和学习过程用随机数设定权值初始值，并始终进行权向量归一化，使其满足：反复进行以下运算，直到达到预定的学习次数或每次学习中权值改变量小于某一阈值输入一个样本计算各输出单元的强度找出主兴奋单元C，使确定各输出单元兴奋度计算各权值修正量Δwij，修正权值，进行归一化讨论：R的选择，如：L：输出平面边长N：输入向量维数必要时根据学习次数更新学习步长和邻域交互作用半径输入高维向量空间向二维平面的映射，映射的不唯一性学习结果与权值初始值和样本顺序有关5.2.4神经网络模式识别典型方法多层感知器模型是模式识别中应用最多的的网络模型两种拓扑结构：ACON:allclassesonenet，多输出型OCON:oneclassonenet，单输出型ACONOCON多输出型应用典型方法ACON应用最多，典型方法是：网络的每个输入节点对应于样本的一个特征输出层单元采用“c中取1”编码，每个输出节点对应一个类，即输出层单元数=模式类数训练样本数据的期望输出：[0,0,…,1,…,0],即其所属类的相应输出节点为1，其他节点均为0识别阶段：