神经网络导论第三章

神经网络导论第三章第1页，课件共64页，创作于2023年2月概述反馈神经网络模型可用一完备的无向图表示。从系统的观点看，反馈神经网络模型是一反馈动力学系统，它具有极复杂的动力学特性。在反馈神经网络模型中，我们关心的是其稳定性,稳定性是神经网络相联存储性质的体现，可以说稳定就意味着完成回忆。从计算的角度讲，反馈神经网络模型具有比前馈神经网络模型更强的计算能力。第2页，课件共64页，创作于2023年2月内容提要

Hopfield神经网络模型

海明神经网络模型双向联想存储器应用实例分析第3页，课件共64页，创作于2023年2月第一节Hopfield模型第4页，课件共64页，创作于2023年2月Hopfield神经网络模型的结构第5页，课件共64页，创作于2023年2月Hopfield神经网络模型结构描述

Hopfield神经网络模型一般由单层全互连的神经元ui(i=1,…，n)组成。神经元没有自连接,即wii＝0；神经元与神经元之间的连接是对称的，即wij＝wji。第6页，课件共64页，创作于2023年2月Hopfield模型数学描述

输入该模型中神经元实际上是一线性阈值单元。图中x1，x2，…，xn为该自适应线性元在t时刻的外部输入，用向量表示为:X＝（x1，x2，…，xn）T

这个向量称为自适应线性元的输入信号向量或输入模式向量。第7页，课件共64页，创作于2023年2月Hopfield模型数学描述

连接权值第8页，课件共64页，创作于2023年2月Hopfield模型数学描述

输出

二值输出第9页，课件共64页，创作于2023年2月Hopfield模型的学习当用Hopfield网络作相联存储器时，其权值赋予的规则称为外积存储规则。假设有m个样本向量X1、X2、…、Xm要存入Hopfield神经网络中，则第i个神经元与第j个神经元之间相连的权值ｗij为：第10页，课件共64页，创作于2023年2月Hopfoeld模型回忆过程图解第11页，课件共64页，创作于2023年2月Hopfield模型的回忆过程描述首先要将模式向量X的n个元素x1,x2,…，xn分别赋予与之对应的神经元，作为相应神经元元的初始状态，即：ai(0)=xi。然后在Hopfield神经网络模型中按其动力学特性sgn函数进行操作，反复迭代，直到收敛为止。当整个神经网络稳定后，处理单元的输出就最终给出了匹配输入模式X的标准样本模式，直接完成了提取记忆信息的操作。第12页，课件共64页，创作于2023年2月Hopfield模型的学习举例假设Hopfield模型有4个神经元，现希望其储存如下模式向量：(11-1-1)T/(-1-111)T。第13页，课件共64页，创作于2023年2月Hopfield模型的回忆举例要求回忆样本(11-1-1)T、(1-111)T。第14页，课件共64页，创作于2023年2月Hopfield模型应用之模式补全问题描述

10×10的点阵表示的图案存储在Hopfield网络中。现将受损坏的图案输入，让受损坏的图案恢复原状。去噪过程。模拟第15页，课件共64页，创作于2023年2月Hopfield模型的容量问题作为相联存储器的Hopfield网络有两个局限，第一是存储在Hopfield神经网络模型中的标准样本模式不能太多，可以证明，当m≤0.15n时，一般都能达到比较好的匹配。第二是如果两类标准样本模式向量中相同的元素很多，那么其中任何一个标准样本模式开始迭代，但最后可能会收敛于另一个标准样本模式。第16页，课件共64页，创作于2023年2月Hopfield模型与组合优化求解

在组合优化问题中，让神经元的某状态表示某命题的真假，而神经元之间的连接则表示两命题的关联程度，正为相互支持，负为相互否定。当两命题关联程度为wij时，有花费（cost）值wijaiaj，则可以用能量函数代表其总花费。第17页，课件共64页，创作于2023年2月Hopfield模型与组合优化求解能量函数要根据不同的问题进行不同的构造，只要定义好适当的能量函数，就能通过类比的方法设置神经网络的连接权值，然后用上述迭代方法得到组合优化问题的近似解。因此，网络收敛于稳定点过程表示在众多约束之下不断调整网络状态，直到使总花费值达到某个局部极小值或全局极小值的近似。

第18页，课件共64页，创作于2023年2月能量函数

能量函数展现的是神经网络系统集团计算能力而不是单个神经元的计算能力。能量的概念也可以推广到其它类型的神经网络模型中。在能量概念的基础上，神经计算可以描述为在能量曲面上的一条轨迹。

第19页，课件共64页，创作于2023年2月能量函数收敛性证明第20页，课件共64页，创作于2023年2月能量函数收敛性证明当状态由0或1变为1时，因为：

所以：

第21页，课件共64页，创作于2023年2月能量函数收敛性证明当状态由0或1变为0时，因为：

所以：

第22页，课件共64页，创作于2023年2月Hopfield模型应用实例8皇后问题问题描述

8皇后问题是：给定一个标准的棋盘和8个皇后，要求正确地放置8个皇后，使得没有任何一个皇后可以攻击到另外的一个皇后。这里我们将用Hopfield模型求解这一问题。第23页，课件共64页，创作于2023年2月Hopfield模型应用实例8皇后问题能量函数的定义定义表示处于位置(i,j)的方块。有：第24页，课件共64页，创作于2023年2月Hopfield模型应用实例8皇后问题能量函数的定义考察下式：该式表明当每行只有一个皇后时，该式可以取得最小值0，否则该式的值将大于0。第25页，课件共64页，创作于2023年2月Hopfield模型应用实例8皇后问题能量函数的定义考察下式：该式表明当每列只有一个皇后时，该式可以取得最小值0，否则该式的值将大于0。第26页，课件共64页，创作于2023年2月Hopfield模型应用实例8皇后问题能量函数的定义第27页，课件共64页，创作于2023年2月Hopfield模型应用实例8皇后问题能量函数的定义每条对角线只有一个皇后时，该式取最小值。第28页，课件共64页，创作于2023年2月Hopfield模型应用实例8皇后问题能量函数的定义显然，H取得最小值时，可以得到最优解。

第29页，课件共64页，创作于2023年2月Hopfield模型应用实例8皇后问题权值定义第30页，课件共64页，创作于2023年2月Hopfield模型应用实例8皇后问题神经元状态修改为温度系数，目的是为了避免局部极小。第31页，课件共64页，创作于2023年2月Hopfield模型应用实例8皇后问题模拟第32页，课件共64页，创作于2023年2月第二节海明神经网络模型第33页，课件共64页，创作于2023年2月海明模型的结构第34页，课件共64页，创作于2023年2月海明模型的结构描述

海明网络由匹配子网和竞争子网组成。匹配子网的功能是将输入样本和存储在该子网中的标准模板相互匹配（如计算海明距离等）。而竞争子网是迭代寻找匹配子网中的最大匹配输出。第35页，课件共64页，创作于2023年2月海明网络的运行机理匹配子网在学习阶段将若干类别的样本记忆存储在网络的连接权值中；在工作阶段（回忆阶段），该子网计算输入模式和各个样本模式的匹配程度，并将结果送入竞争子网中，由竞争子网选择出匹配子网中最大的输出。从而，实现了对离散输入模式进行在海明距离最小意义下的识别和分类。第36页，课件共64页，创作于2023年2月海明距离如果将模式用向量来表示，Hamming距离是指两个模式不同元素的个数。如：A＝(00110)B=(10101）则：H(A,B)=3第37页，课件共64页，创作于2023年2月海明网络的学习之权值设置竞争子网的连接权值设置方法：匹配子网的连接权值设置方法：第38页，课件共64页，创作于2023年2月海明网络的学习之阈值设置竞争子网神经元的阈值设置为0；匹配子网神经元阈值的设置为：

N为匹配子网中神经元的个数。第39页，课件共64页，创作于2023年2月海明网络的回忆过程第40页，课件共64页，创作于2023年2月海明网络的回忆过程匹配子网计算匹配度：将匹配子网的输出送入竞争子网第41页，课件共64页，创作于2023年2月海明网络的回忆过程计算竞争子网的初始输出：竞争子网迭代直至收敛：第42页，课件共64页，创作于2023年2月函数f的选择函数f

为非线性阈值函数：第43页，课件共64页，创作于2023年2月海明网络的特点这种神经网络与Hopfield神经网络不同，它分别计算未知输入模式与每个已知标准样本模式的Hamming距离，对应距离最小的那个标准样本模式即是可以和输入模式匹配的模式。而对Hopfield网络而言，作为一识别器，要么精确地找到一个可以匹配的标准样本模式，要么找不到，即得到“不能匹配”的结果。第44页，课件共64页，创作于2023年2月海明神经网络应用模式识别海明网络中保存了5幅图象，现对其加噪，或挑选一幅没有学习过的图象，通过求相似性，选取最佳匹配的图象。模拟第45页，课件共64页，创作于2023年2月第三节双向联想存储器（BAM）第46页，课件共64页，创作于2023年2月BAM模型简介双向联想存储器是由日本的Kosko提出的一种神经网络模型，它是ART神经网络模型（将在第4章中介绍）的一种简化形式，是一种异联想存储器。它能存储成对的模式(A1,B1),(A2,B2),…，(AN,BN)。Ai和Bi是不同向量空间中的向量。如果模式A输入到BAM，输出是模式B，且若A与Ai最为接近，B就是在BAM所存储的向量Bi。第47页，课件共64页，创作于2023年2月BAM模型的结构在FA中有n个处理单元FA={a1,a2,…，an}，在FB中有p个处理单元FB={b1,b2,…,bp}。每一个域中的神经元均与另域中所有神经元相连；第48页，课件共64页，创作于2023年2月BAM模型的神经元处理特性双向联想存储器神经网络模型中的神经元为非线性单元，每个神经元的作用相当于一个非线性函数，这个函数一般取为Ｓ型函数：第49页，课件共64页，创作于2023年2月BAM模型神经元的输出一般情况下,每个处理单元的输出取［0,1］之间的值，但在应用中通常取输出值为二值：0或1，这样按处理单元门限规定，每个处理单元要么为开状态，要么为关状态。若输入大于阈值，则输出为1；若输入小于阈值，则输出为0；当输入与阈值相等时，处理单元输出保持原来状态不变。第50页，课件共64页，创作于2023年2月BAM模型的信息存储在双向联想存储模型中，所有的信息都是包含在一个n×p的矩阵M中的。这个矩阵M实际上是一个权值矩阵，信息就是由这个权值矩阵来表达。如果M产生一个稳定的双向联想存储器，则所有的输入都可以很快地映射到稳定的输出模式。第51页，课件共64页，创作于2023年2月BAM模型的存储能力由于要将不同的联想模式对（Ai，Bi）收敛到局部能量极小点上，所以所要学习的模式对或联想个数m必须小于域FA和域FB中处理单元的个数，即：m＜min(n,p)第52页，课件共64页，创作于2023年2月BAM模型学习基础双极矩阵（向量）双极矩阵（或向量）是在二元矩阵（或向量）的基础上，将0代之以－1而得到的。如：二元向量

A1=(101010)和B1=(1100)

其相应的双极向量为

X1=(1-11-11-1)和Y1=(11-1-1)第53页，课件共64页，创作于2023年2月BAM模型的学习双向联想存储器在学习时，先将二元向量对(Ai,Bi)转换成双极向量对(Xi,Yi)，然后计算双极伴随矩阵XiTYi，最后将所有的双极伴随矩阵相加起来便得到权值矩阵M，即:第54页，课件共64页，创作于2023年2月BAM学习过程举例联想对到双极向量对的转换第55页，课件共64页，创作于2023年2月BAM学习过程举例计算双极伴随矩阵第56页，课件共64页，创作于2023年2月BAM学习过程举例计算双极伴随矩阵第57页，课件共64页，创作于2023年2月BAM学习过程举例计算权值矩阵第58页，课件共64页，创作于2023年2月BAM模型记忆模式擦除要从双向联想存储器中擦去某个记忆模式，例如要去掉模式对(Ai,Bi)，只要在权值矩阵M