第四章神经网络基本理论

4.1人工神经元模型人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。

生物神经元模型生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若代数和超过某个阈值，神经元将产生冲动。

当前1页，总共47页。4.1人工神经元模型人工神经元模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型[x1,…,xn]T为输入向量，y为输出，f(·)为激发函数，θ为阈值。Wi为神经元与其它神经元的连接强度，也称权值。当前2页，总共47页。4.1人工神经元模型常用的激发函数f的种类：1）阈值型函数当前3页，总共47页。4.1人工神经元模型2）饱和型函数3）双曲函数当前4页，总共47页。4.1人工神经元模型4）S型函数5）高斯函数当前5页，总共47页。4.2神经网络的定义和特点神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。

定义

特点（1）非线性映射逼近能力。可以逼近任意的连续非线性函数映射关系。（2）自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织。（3）并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。（4）分布存储和容错性。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以信息得到恢复，因而网络具有容错性和联想记忆功能。（5）便于集成实现和计算模拟。当前6页，总共47页。4.3感知器模型感知器(Perceptron)是由美国学者F.Rosenblatt于1957年提出的，它是一个具有单层计算单元的神经网络，并由线性阈值元件组成。

激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为1，否则为0或-1。它的权系W可变，这样它就可以学习。

感知器的结构当前7页，总共47页。4.3感知器模型感知器的学习算法学习算法：①给定初始值：赋给Wi(0)各一个较小的随机非零值，这里Wi(t)为t时刻第i个输入的权(1≤i≤n)，Wn+1(t)为t时刻的阈值；

②输入一样本X=(xi,…,xn,1)和它的希望输出d；

③计算实际输出④修正权W

：

Wi(t+1)=Wi(t)+η[d-Y(t)]xi,i=1,2,…,n+1

⑤转到②直到W对一切样本均稳定不变为止。

当前8页，总共47页。4.3感知器模型根据某样本训练时，均方差随训练次数的收敛情况当前9页，总共47页。4.4神经网络的构成和分类

构成

从Perceptron模型可以看出神经网络通过一组状态方程和一组学习方程加以描述。状态方程描述每个神经元的输入、输出、权值间的函数关系。学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，从而调整整个神经网络的输入输出关系。分类

（1）从结构上划分

通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构上来说，主要分为层状和网状结构。

当前10页，总共47页。4.4神经网络的构成和分类①层状结构：网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内神经元不能联接。前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。每个神经元从前一层接收输入，发送输出给下一层。

当前11页，总共47页。4.4神经网络的构成和分类②网状结构：网络中任何两个神经元之间都可能双向联接。反馈网络：从输出层到输入层有反馈，每一个神经元同时接收外来输入和来自其它神经元的反馈输入，其中包括神经元输出信号引回自身输入的自环反馈。

混合型网络：前向网络的同一层神经元之间有互联的网络。当前12页，总共47页。4.4神经网络的构成和分类（2）从激发函数的类型上划分

高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等

（3）从网络的学习方式上划分①有导师学习神经网络②有导师学习神经网络（4）从学习算法上来划分：基于BP算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。当前13页，总共47页。4.4多层前向BP神经网络

多层前向神经网络的结构多层前向神经网络由输入层、隐层（不少于1层）、输出层组成，信号沿输入——>输出的方向逐层传递。当前14页，总共47页。4.4多层前向BP神经网络沿信息的传播方向，给出网络的状态方程，用Inj(i)，Outj(i)表示第i层第j个神经元的输入和输出，则各层的输入输出关系可描述为：第一层（输入层）：将输入引入网络第二层（隐层）第三层（输出层）当前15页，总共47页。4.4多层前向BP神经网络网络的学习

学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可能接近期望的输出。假设有M个样本:

将第k个样本Xk输入网络，得到的网络输出为定义学习的目标函数为：当前16页，总共47页。4.4多层前向BP神经网络训练算法是：令则当前17页，总共47页。4.4多层前向BP神经网络学习的步骤：（1）依次取第k组样本，将Xk输入网络。（2）依次计算

，如果

，退出。（3）计算（4）计算（5），修正权值，返回（1）

当前18页，总共47页。例4.1多层前向BP网络训练训练样本SISO：SampleInput=[00.10.20.30.4];SampleOutput=[42222];网络结构：当前19页，总共47页。网络输入输出关系：需训练的量：当前20页，总共47页。训练算法：当前21页，总共47页。训练初始参数：W1=rand(1,5);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;LearningRate4=0.2;当前22页，总共47页。训练后参数：W1＝[-0.40598.5182-0.5994-0.1153-1.1916];W2=[0.62452.83820.66320.57833.5775];Beta=[1.6219-4.94031.60411.5145-0.3858];Theta=[1.58320.19001.54061.6665-0.1441];当前23页，总共47页。训练1000次目标函数的变化曲线：当前24页，总共47页。训练结束后神经网络的输出与样本的拟和情况当前25页，总共47页。4.4多层前向BP神经网络前向网络进一步需研究的问题

局部最优问题，（网络初值选取不恰当）。学习算法收敛速度慢，Sigmaid函数本身存在无穷多闪导数，而BP算法只用了一次导数，致使收敛速度慢。网络的运行是单向传播，没有反馈，是一个非浅性映射，而不是非浅性动力系统。网络隐层节点个数和初始权值的选取，尚无理论指导。

当前26页，总共47页。4.5大脑自组织神经网络脑神经科学研究表明：传递感觉的神经元排列是按某种规律有序进行的，这种排列往往反映所感受的外部刺激的某些物理特征。

大脑自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对不同的模式具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的有序排列

当前27页，总共47页。4.5大脑自组织神经网络在这种网络中，输出节点与其邻域其他节点广泛相连，并互相激励。输入节点和输出节点之间通过强度wij(t)相连接。通过某种规则，不断地调整wij(t)，使得在稳定时，每一邻域的所有节点对某种输入具有类似的输出，并且这种聚类的概率分布与输入模式的概率分布相接近。

当前28页，总共47页。4.5大脑自组织神经网络自组织学习算法：权值初始化并选定领域的大小；(2)输入模式；

(3)计算空间距离(4)选择节点j*，它满足(5)按下式改变j*和其领域节点的连接强度

wij(t+1)=wij(t)+η(t)[xi(t)-wij(t)],η(t)为衰减因子。

(6)返回到第(2)步，直至满足[xi(t)-wij(t)]2＜ε。当前29页，总共47页。4.5大脑自组织神经网络例4.2大脑自组织网络的训练输入模式：X＝[x1,x2,x3]网络节点数量：9邻域：1网络初始权值：W=[0.11220.01470.28160.78390.90280.82890.52080.46080.4435

0.44330.66410.26180.98620.45110.16630.71810.44530.3663

0.46680.72410.70850.47330.80450.39390.56920.08770.3025];当前30页，总共47页。4.5大脑自组织神经网络1.单模式训练情况输入为：X=[001]结果：W=[0.11220.00000.00000.00000.90280.82890.52080.46080.44350.44330.00000.00000.00000.45110.16630.71810.44530.36630.46681.00001.00001.00000.80450.39390.56920.08770.3025]输入为：X=[010]结果：W=[0.11220.01470.28160.78390.90280.82890.00000.00000.00000.44330.66410.26180.98620.45110.16631.00001.00001.00000.46680.72410.70850.47330.80450.39390.00000.00000.0000]当前31页，总共47页。4.5大脑自组织神经网络2.多模式训练情况100010001Input=训练结果：0.00000.00001.00001.00001.00000.00000.00000.00000.00000.00000.00000.00000.00000.00001.00001.00001.00001.00001.00001.00000.00000.00000.00000.00000.00000.00000.0000W＝网络输出：Output=Input*W=0.00000.00001.00001.00001.00000.00000.00000.00000.00000.00000.00000.00000.00000.00001.00001.00001.00001.00001.00001.00000.00000.00000.00000.00000.00000.00000.0000模式1模式2模式3模式2模式1模式3模式1模式2模式3当前32页，总共47页。4.6小脑神经网络小脑模型关节控制器（CMAC）是由Albus最初于1975年基于神经生理学提出的，它是一种基于局部逼近的简单快速的神经网络，能够学习任意多维非线性映射,迄今已广泛用于许多领域。CMAC具有优点：具有局部逼近能力，每次修正的权值极少，学习速度快，适合于在线学习；一定的泛化能力，相近输入给出相近输出，不同输入给出不同输出；当前33页，总共47页。4.6小脑神经网络CMAC的原理CMAC是一种模仿人类小脑的学习结构,每个状态变量被量化并且输入空间被划分成离散状态。量化的输入构成的向量指定了一个离散状态并且被用于产生地址来激活联想单元中存储的联想强度从而恢复这个状态的信息。当前34页，总共47页。4.6小脑神经网络CMAC的空间划分和量化机制超立方体联想单元“块”当前35页，总共47页。4.6小脑神经网络CMAC学习的数学推导1)无hash映射的CMAC每个量化的状态对应Ne个联想单元。假设Nh是总的联想单元的数量，该数量与没有hash映射时的物理存储空间大小一致。用CMAC技术，第s个状态对应的输出数据ys可以被表示为：

式中W是代表存储内容（联想强度）的向量，Cs是存储单元激活向量，该向量包含Ne个1。当前36页，总共47页。4.6小脑神经网络2)有hash映射的CMAChash映射将几个联想单元和一个物理存储位置(hash单元)相对应。hash单元中存储联想强度，而此时的联想单元是虚拟的存储空间，只存储hash单元的散列地址编码。用有hash映射的CMAC技术，第s个状态对应的输出数据ys可以被表示为：Mp是hash单元的数量。hij=1表示联想单元i激活hash单元j。由于每个联想单元仅仅和一个hash单元相对应，所以hash矩阵H的每一行仅有一个单元等于1，其余的都等于0。

当前37页，总共47页。4.6小脑神经网络

没有hash映射的公式和有hash映射的公式可以合并为一个式子：

CMAC的学习CMAC用迭代算法来训练联想强度。在学习中，我们将Ns个训练数据重复用于学习。在第i次迭代中用第s个样本学习的迭代算法为：

S：样本数i：迭代次数α：学习率期望输出当前38页，总共47页。4.6小脑神经网络当前39页，总共47页。4.6小脑神经网络例4.3CMAC训练样本：SampleInput1=[0.050.150.250.35];SampleInput2=[0.050.150.250.35];SampleOutput=[4444;2222;3333;1111];量化：两输入均量化为四个元素ifx1>0&&x1<=0.1indexX1=1;elseifx1>0.1&&x1<=0.2indexX1=2;elseifx1>0.2&&x1<=0.3indexX1=3;elseifx1>0.3&&x1<=0.4indexX1=4;end当前40页，总共47页。4.6小脑神经网络状态编号：MSTATENUM=12345678910111213141516激活向量矩阵：

100010001000100001001000100001000100010001000100100000101000100000011000100000010100010000010100100000100010100000010010100000010001010000010001001000100010001000010010001000010001000100010001MC=当前41页，总共47页。4.6小脑神经网络联想强度初