第四章计算智能(1)-神经网络

第四章计算智能(1)神经计算2信息科学与生命科学的相互交叉、相互渗透和相互促进是现代科学技术发展的一个显著特点。计算智能涉及神经网络、模糊逻辑、进化计算和人工生命等领域，它的研究和发展正反映了当代科学技术多学科交叉与集成的重要发展趋势。4.1 概述3什么是计算智能把神经网络（NN）归类于人工智能（AI）可能不大合适，而归类于计算智能（CI）更能说明问题实质。进化计算、人工生命和模糊逻辑系统的某些课题，也都归类于计算智能。计算智能取决于制造者（manufacturers）提供的数值数据，不依赖于知识；另一方面，人工智能应用知识精品（knowledgetidbits）。人工神经网络应当称为计算神经网络。4.1概述4计算智能与人工智能的区别和关系输入人类知识(＋)传感输入知识(＋)传感数据计算(＋)传感器C－数值的A－符号的B－生物的输入复杂性复杂性BNNBPRBIANNAPRAICNNCPRCI4.1概述5A－Artificial，表示人工的（非生物的）；B－Biological，表示物理的＋化学的＋（？）＝生物的；

C－Computational，表示数学＋计算机计算智能是一种智力方式的低层认知，它与人工智能的区别只是认知层次从中层下降至低层而已。中层系统含有知识（精品），低层系统则没有。4.1概述6当一个系统只涉及数值（低层）数据，含有模式识别部分，不应用人工智能意义上的知识，而且能够呈现出：（1）计算适应性；（2）计算容错性；（3）接近人的速度；（4）误差率与人相近，则该系统就是计算智能系统。当一个智能计算系统以非数值方式加上知识（精品）值，即成为人工智能系统。4.1概述7生理神经元的结构大多数神经元由一个细胞体(cellbody或soma)和突(process)两部分组成。突分两类，即轴突(axon)和树突(dendrite)。轴突是个突出部分，长度可达1m，把本神经元的输出发送至其它相连接的神经元。树突也是突出部分，但一般较短，且分枝很多，与其它神经元的轴突相连，以接收来自其它神经元的生物信号。84.2神经计算

4.2.1人工神经网络研究的进展1960年威德罗和霍夫率先把神经网络用于自动控制研究。60年代末期至80年代中期，神经网络控制与整个神经网络研究一样，处于低潮。80年代后期以来，随着人工神经网络研究的复苏和发展，对神经网络控制的研究也十分活跃。这方面的研究进展主要在神经网络自适应控制和模糊神经网络控制及其在机器人控制中的应用上。9并行分布处理非线性映射通过训练进行学习适应与集成硬件实现人工神经网络的特性4.2神经计算104.2.2人工神经网络的结构4.2神经计算-1Wj1X1X2Wj2XnWjn···Σ()Yi图4.2神经元模型11

图4.2中的神经元单元由多个输入xi，i=1,2,...,n和一个输出y组成。中间状态由输入信号的权和表示，而输出为 （4.1）式中，j为神经元单元的偏置，wji为连接权系数。n为输入信号数目，yj为神经元输出，t为时间，f()为输出变换函数，如图4.3。

4.2神经计算12(a)xf(x)1x00图4.3神经元中的某些变换（激发）函数(a)二值函数 (b)S形函数(c)双曲正切函数4.2神经计算(c)xf(x)1-1(b)f(x)x1013人工神经网络是具有下列特性的有向图：对于每个节点i存在一个状态变量xi

；从节点j至节点i，存在一个连接权系统数wij；对于每个节点i，存在一个阈值

i；对于每个节点i，定义一个变换函数fi；对于最一般的情况，此函数取形式。人工神经网络的基本特性和结构4.2神经计算14神经网络模型的基本组成

神经网络结构

连接矩阵连接模式多层、单层反馈、前馈15递归（反馈）网络:在递归网络中，多个神经元互连以组织一个互连神经网络，如图4.4。图4.4反馈网络x1x2xnV1V2Vn输入输出x1’x2’xn’4.2神经计算16前馈网络:前馈网络具有递阶分层结构，由同层神经元间不存在互连的层级组成，如图4.5。4.2神经计算x1x2输入层输出层隐层y1ynw11w1m图4.5前馈网络反向传播17有师学习算法：能够根据期望的和实际的网络输出（对应于给定输入）间的差来调整神经元间连接的强度或权。无师学习算法：不需要知道期望输出。强化学习算法：采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度（质量因数）。强化学习算法的一个例子是遗传算法（GA）。人工神经网络的主要学习算法4.2神经计算18人工神经网络的典型模型4.2神经计算19续前表：4.2神经计算20基于神经网络的知识表示在这里，知识并不像在产生式系统中那样独立地表示为每一条规则，而是将某一问题的若干知识在同一网络中表示。例如，在有些神经网络系统中，知识是用神经网络所对应的有向权图的邻接矩阵及阈值向量表示的。4.2.4基于神经网络的知识表示与推理4.2神经计算21基于神经网络的推理是通过网络计算实现的。把用户提供的初始证据用作网络的输入，通过网络计算最终得到输出结果。一般来说，正向网络推理的步骤如下：把已知数据输入网络输入层的各个节点。利用特性函数分别计算网络中各层的输出。用阈值函数对输出层的输出进行判定，从而得到输出结果。基于神经网络的推理4.2神经计算22几种神经网络模型举例

自适应线性元模型感知机23自适应线性元模型结构24自适应线性元模型数学描述

输入该模型实际上是一自适应阈值逻辑单元。图中x0，x1k，x2k，…，xnk为该自适应线性元在t时刻的外部输入，用向量表示为:Xk＝（x0，x1k，x2k，…，xnk）T

这个向量称为自适应线性元的输入信号向量或输入模式向量。25自适应线性元模型数学描述

连接权值与输入向量Xk相对应有一权向量:Wk=(w0k，w1k，w2k，…，wnk)T

其中每一元素与输入向量Xk中的每一元素相对应。

w0k为基权，称为门限权，用来调整自适应线性元的阈值。26自适应线性元模型数学描述

输出

模拟输出

二值输出27自适应线性元模型数学描述

理想输入在图中的自适应线性元中有一特殊的输入dk，即理想输入。该输入是用来将理想响应信号送入自适应线性元中，在自适应线性元中通过比较yk和理想响应dk，并将差值送入最小均方差(LMS)学习算法机制中来调整权向量Wk，使得yk和所期望的输出dk相一致。28LMS学习过程（图述）29LMS学习过程（文字说明）1、提交学习样本；2、计算神经网络的输出；3、计算实际输出和理想输出的误差；4、按照权值修改规则修改神经网络权值；5、计算学习结束判据；6、学习结束否？7、达到要求学习结束，否则转1。30LMS学习算法权值修改规则

其中：为当前的误差（即理想输出与模拟实际输出之间的差值）；称为学习速度(LearningRate)。31ADALINE学习算法实质分析32

的取值

的选择决定了收敛的稳定性和收敛的速度。稳定性要求：0<<2。但是过大可能会修正过度，一个比较好的选择范围是0.1<<1。33LMS算法的几何解释34ADALINE模型计算能力分析

若ADALINE输入为二值，它可以完成一定的逻辑功能。若有n个输入，即则有2n个可能的输入模式。在一般的逻辑实现中，依照所期望的输出响应，可以将个输入模式划分成＋和－两类。每一个自适应线性元模型可以完成某一种逻辑功能，因而我们也可以把自适应线性元看成是一逻辑部件。35ADALINE模型计算能力分析

每个自适应线性元的功能也主要由各个权值所确定。每个自适应线性元只能实现逻辑空间上的线性划分，36ADALINE模型学习过程举例网络模型x1=1.2x2=2.7x0=1w1=-0.045w2=1.1w0=1y=?d=2.3E=?y=4.57E=-2.27w0=0.546w1=0.5w2=-0.126y=0.153E=2.1537ADALINE模型的学习曲线38感知机模型结构

感知机(Perceptron)结构如下图所示。它是一个简单的单层神经网络模型。输入层是含有n个处理单元的神经元组，输出层只有一个处理单元，所有处理单元都是线性阈值单元。xiwiy39感知机的计算40感知机的几何意义

感知机的几何意义在于它在多维空间上利用一超平面将两类模式A和B分开。这时超平面方程为：41感知机权值调整算法（文字）1、初始化：赋予和一个较小的随机非零值。2、将一模式送入输入神经元，并给出理想输出值。3、计算神经网络模型的实际输出：4、调节权值:5、转2，直到学完所给定的所有输入样本。42感知机权值调整算法（图示）样本E=0.85E=0.45E=0.25E=0.0543感知机的缺陷Rosenblatt已经证明，如果两类模式在分布空间中可以找到一个超平面将它们分开，那么感知机的学习过程就一定会收敛。否则判定边界就会振荡不休，永远不会稳定，这也正是单层感知机所无法克服的缺陷，所以它连最简单的异或（XOR）问题也解决不了。XOR问题44

BP神经网络45

BP算法是用于前馈多层网络的学习算法，它含有输人层、输出层以及处于输入输出层之间的中间层。中间层有单层或多层，由于它们和外界没有直接的联系，故也称为隐层。在隐层中的神经元也称隐单元。隐层虽然和外界不连接．但是，它们的状态则影响输入输出之间的关系。这也是说，改变隐层的权系数，可以改变整个多层神经网络的性能。

反向传播算法分二步进行，即正向传播和反向传播。这两个过程的工作简述如下。1．正向传播输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。

2．反向传播反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。BP算法的原理46BP网络建模特点：非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。并行分布处理方式：在神经网络中信息是分布储存和并行处理的，这使它具有很强的容错性和很快的处理速度。自学习和自适应能力：神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。数据融合的能力：神经网络可以同时处理定量信息和定性信息，因此它可以利用传统的工程技术（数值运算）和人工智能技术（符号处理）。多变量系统：神经网络的输入和输出变量的数目是任意的，对单变量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问题。47基本BP网络的拓扑结构b1bia1c1cqcjahbpan………………Wp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnp输出层LC隐含层LB输入层LAWV48B-P算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能得到所期望的输出。学习过程由正向传播和反向传播组成。正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果。反向传播用于逐层传递误差，修改神经元间的连接权值，以使网络对输入信息经过计算后所得到的输出能达到期望的误差要求。3反向传播模型及其学习算法49B-P算法的学习过程如下：（1）选择一组训练样例，每一个样例由输入信息和期望的输出结果两部分组成。（2）从训练样例集中取一样例，把输入信息输入到网络中。（3）分别计算经神经元处理后的各层节点的输出。（4）计算网络的实际输出和期望输出的误差。（5）从输出层反向计算到第一个隐层，并按照某种能使误差向减小方向发展的原则，调整网络中各神经元的连接权值。（6）对训练样例集中的每一个样例重复（3）—（5）的步骤，直到对整个训练样例集的误差达到要求时为止。3反向传播模型及其学习算法50在以上的过程中，第（5）步是最重要的，如何确定一种调整连接权值的原则，使误差沿着减小的方向发展，是B-P学习算法必须解决的问题。

3反向传播模型及其学习算法51

B-P学习算法的流程图52B-P算法的优缺点：优点：理论基础牢固，推导过程严谨，物理概念清晰，通用性好等。所以，它是目前用来训练前向多层网络较好的算法。缺点：（1）该学习算法的收敛速度慢；（2）网络中隐节点个数的选取尚无理论上的指导；（3）从数学角度看，B-P算法是一种梯度最速下降法，这就可能出现局部极小的问题。当出现局部极小时，从表面上看，误差符合要求，但这时所得到的解并不一定是问题的真正解。所以B-P算法是不完备的。3反向传播模型及其学习算法533.3反向传播计算的举例设图9.12是一个简单的前向传播网络，用B-P算法确定其中的各连接权值时，的计算方法如下：3反向传播模型及其学习算法543反向传播模型及其学习算法553反向传播模型及其学习算法563反向传播模型及其学习算法574.1Hopfield模型Hopfield模型是霍普菲尔德分别于1982年及1984提出的两个神经网络模型。1982年提出的是离散型，1984年提出的是连续型，但它们都是反馈网络结构。图9.13给出了一个简单的反馈神经网络图。

4Hopfield模型及其学习算法58由于在反馈网络中，网络的输出要反复地作为输入再送入网络中，这就使得网络具有了动态性，网络的状态在不断的改变之中，因而就提出了网络的稳定性问题。所谓一个网络是稳定的是指从某一时刻开始，网络的状态不再改变。

设用X(t)表示网络在时刻t的状态，如果从t=０的任一初态X(0)开始，存在一个有限的时刻t，使得从此时刻开始神经网络的状态不再发生变化，即

就称此网络是稳定的。

4Hopfield模型及其学习算法59

离散网络模型是一个离散时间系统，每个神经元只有两个状态，可以用1和0来表示，由连接权值Ｗij所构成的矩阵是一个对角线为0的对称矩阵，即

如果用x(t)表示整个网络在时刻ｔ的状态，则X是一个向量，它包含了网络中每个人工神经元的状态。所以，状态向量X中的分量个数就是网络中人工神经元的个数。假设网络中的节点（人工神经元）个数为n，则向量X的构成如下：4Hopfield模型及其学习算法60

这里，,其中的Ｗij为节点ｉ到节点ｊ的连接权值；为节点ｊ的阈值。

(9.4.3)Xi(t)表示节点i（第个i神经元）在时刻t的状态，该节点在时刻t+1的状态由下式决定：(9.4.4)4Hopfield模型及其学习算法61

Hopfield网络离散模型有两种工作模式：（1）串行方式，是指在任一时刻t，只有一个神经元i发生状态变化，而其余的神经元保持状态不变。（2）并行方式，是指在任一时刻t，都有部分或全体神经元同时改变状态。

有关离散的Hopfield网络的稳定性问题，已于1983年由Cohen和Grossberg给于了证明。而Hopfield等人又进一步证明

，只要连接权值构成的矩阵是非负对角元的对称矩阵，则该网络就具有串行稳定性。4Hopfield模型及其学习算法62

1984年，Hopfield又提出了连续时间的神经网络，在这种神经网络中，各节点可在0到1的区间内取任一实数值。

Hopfield网络是一种非线性的动力网络，可通过反复的网络动态迭代来求解问题，这是符号逻辑方法所不具有的特性。在求解某些问题时，其求解问题的方法与人类求解问题的方法很相似，虽然所求得的解不是最佳解，但其求解速度快，更符合人们日常解决问题的策略

4Hopfield模型及其学习算法634.2Hopfield网络的学习算法(1)设置互连权值。