07神经网络3 (2).ppt

1 智能控制系统 天津大学电气与自动化工程学院 七 天津大学自动化学院 反馈网络 RecurrentNetwork 又称自联想记忆网络 其目的是为了设计一个网络 储存一组平衡点 使得当给网络一组初始值时 网络通过自行运行而最终收敛到这个设计的平衡点上 反馈网络能够表现出非线性动力学系统的动态特性 它所具有的主要特性为以下两点 网络系统具有若干个稳定状态 当网络从某一初始状态开始运动 网络系统总可以收敛到某一个稳定的平衡状态 系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中 3 反馈网络 天津大学自动化学院 3 1Hopfield模型Hopfield模型是霍普菲尔德分别于1982年及1984提出的两个神经网络模型 1982年提出的是离散型 1984年提出的是连续型 但它们都是反馈网络结构 3 反馈网络 图3 13反馈网络 天津大学自动化学院 网络的结构离散Hopfield网络是一个单层网络 激发函数采用阈值函数 各节点没有自反馈 每个节点都有一个阈值 每个节点都可处于一种可能的状态 1或 1 3 反馈网络 图3 14离散型Hopfield网络 天津大学自动化学院 工作方式 异步方式和同步方式异步方式 每次只有一个神经元进行状态的调整计算 其他节点保持不变 调整次序 随机选定或按一定次序 3 反馈网络 天津大学自动化学院 同步方式 每一步所有神经元都进行调整用矩阵形式表示 3 反馈网络 天津大学自动化学院 工作过程网络初值 输入 网络输出稳态 记忆样本 由部分信息寻找全部信息 稳态 目标函数的极值点 寻优 吸引子 3 反馈网络 天津大学自动化学院 工作过程实例X0 1 1 1 TX1 1 1 1 T 3 反馈网络 天津大学自动化学院 收敛性对于离散Hopfield网络 若按异步方式调整 且连接矩阵为对称矩阵 则对于任意初态 网络都最终收敛到一个吸引子 证明 定义能量函数由于 故E有界 3 反馈网络 天津大学自动化学院 以下证明能量递减 3 反馈网络 天津大学自动化学院 由于网络处于异步工作方式 故可设k时刻只有第i个神经元改变状态 则有则令则 3 反馈网络 天津大学自动化学院 下面分情况讨论 x 由1变为 1x 由 1变为1x 不变可见在任意情况下皆有 又由于有下界 故将收敛到一个常数 3 反馈网络 天津大学自动化学院 下面讨论稳定后 网络是否可以收敛到吸引子 考虑情况1 情况2 可见当时 系统稳定在吸引子上 3 反馈网络 天津大学自动化学院 结构 神经元 工作方式 收敛性 学习算法 3 反馈网络 离散型Hopfield网络 天津大学自动化学院 能量变化实例X0 1 1 1 TX1 1 1 1 TX2 1 1 1 T 3 反馈网络 天津大学自动化学院 权值设计根据求解问题直接计算通过学习机制训练网络直接求解 根据吸引子计算权值和阈值 例 吸引子 1 1 1 1 1 1 权值和阈值均在 1 1 3 反馈网络 天津大学自动化学院 通过学习机制训练网络给定样本 进行记忆Hebb规则 同时兴奋 加强 否则减弱对于给定的M个样本 使用外积规则 3 反馈网络 天津大学自动化学院 例 使用Hopfield网络辨识印刷体数字 样本 每个字以10 12 120个黑白像素表示 并以列向量X描述使用 1和1分别表示白像素和黑像素样本数 M 10 3 反馈网络 天津大学自动化学院 采用具有120个神经元的Hopfield神经网络权系数训练10个列矢量样本同时学习 第S个样本写为 3 反馈网络 天津大学自动化学院 利用H