神经网络与matlab仿真

1、神经网络与 matlab 仿真摘要随着技术的发展, 人工神经网络在各个方面应用越来越广泛, 由于 matlab 仿 真技术对神经网络的建模起着十分重要的作用, 因此, 本文通过讨论神经网络中 基础的一类 线性神经网络的 matlab 仿真,对神经网络的 matlab 仿真做一个 基本的了解和学习。关键词:人工神经网路 matlab 仿真 线性神经网络1 神经网络的发展及应用人工神经网络(Artificial Neural Network,简称 ANN 是一种高度并行的信 息处理系统, 它具有高度的容错性, 自组织能力和自学习能力; 它以神经科学的 研究成果为基础, 反映了人脑功能的若干基本特性

2、, 对传统的计算机结构和人工 智能方法是一个有力的挑战, 其目的在于探索人脑加工、 储存和搜索信息的机制, 进而应用于人工智能系统。1.1 神经网络的研究历史及发展现状神经网络的研究已有较长的历史。 1943年,心理学家 McCulloch 和数学家 Pitts 合作提出形式(兴奋与抑制型神经元的数学模型(MP 模型 ,开创了神 经科学理论研究的时代。 1944年, Hebb 提出了神经元连接强度的修改规则,它 们至今仍在各种神经网络模型中起着重要作用。 50年代末 60年代初,开始了作 为人工智能的网络系统的研究。 1958年, F.Rosenblatt 首次引进了模拟人脑感知 和学习能力的

3、感知器概念,它由阈值性神经元组成。 1962年, B.Widrow 提出的 自适应线性元件(adaline ,具有自适应学习功能,在信息处理、模式识别等方 面受到重视和应用。在这期间,神经网络大都是单层线性网络。此时,人们对如 何解决非线性分割问题很快有了明确的认识, 但此时, 计算机科学已被人工智能 研究热潮所笼罩。 80年代后,传统的数字计算机在模拟视听觉的人工智能方面 遇到了物理上不能逾越的基线,此时,物理学家 Hopfield 提出了 HNN 模型,引 入了能量函数的概念, 给出了网络稳定性的判据, 同时开拓了神经网络用于联想 记忆和优化计算的新途径。 神经网络的热潮再次掀起。 此后,

4、 Feldmann 和 Ballard 的连接网络模型指出了传统的人工智能 “ 计算 ” 与生物的 “ 计算 ” 的不同点, 给出了 并行分布的计算原则; Hinton 和 Sejnowski 提出的 Boltzman 机模型则急用了统计 物理学的概念和方法, 首次采用了多层网络的学习算法, 保证整个系统趋于全局 稳定点; Rumelhart 和 McClelland 等人发展了多层网络的 BP 算法; Kosko 提出 了双向联想记忆网络; Hecht-Nielsen 提出了另一种反向传播网络, 可用于图像压 缩和统计分析; Holland 提出了分类系统类似于以规则为基础的专家系统。这些

5、努力为神经网络的后期发展奠定了牢固的基础。目前,神经网络在研究方向上已经形成多个流派,包括多层网络 BP 算法, Hopfield 网络模型,自适应共振理论(ART ,自组织特征映射理论等。 1987年, IEEE 在 San Diego 召开大规模的神经网络国际学术会议,国际神经网络学会也 随之诞生。迄今为止的神经网络研究。大体可分为三个大的方向:1探求人脑神经系统的生物结构和机制;2用微电子学或光学器件形成特殊功能网络,主要应用于新一代计算机制 造;3讲神经网络理论作为解决某些问题的一种手段和方法。1.2 神经网络的应用在理论工作取得重要进展的同时,硬件实现的研究工作也在积极开展,神经 网

6、络理论已经渗透到各个领域,并在智能控制、模式识别、计算机视觉、自适应 滤波和信号处理、 非线性优化、 自动目标识别、 连续语音识别、 声纳信号的处理、 知识处理、传感器技术与机器人、生物医学工程等方面取得了很大的进展。 人工神经网络系统是仿照人脑的工作原理而产生。 它是大量的、 同时也是很 简单的处理单元 (神经元 广泛互连形成的复杂的非线性系统。 在人工神经网络 中存在着许多简单的、具有非线性函数功能的几类单元,它们称为人工神经元。 神经元以分层的形式来组织, 而它们之间又存在着用突触维持的高度互连。 人工 神经网络的学习能力就在于突触的权值能够在学习过程中得到加强或是削弱, 并 以此将信息

7、储存于神经网络中。 人工神经网络经过训练, 能够实现输入到输出的 映射关系, 同时具有一定的推广性, 因此在不同的领域得到广泛的应用, 如自动 控制、移动通信、生物医学、模式识别、生产制造等等。2 面向 matlab 工具箱的神经网络设计人工神经网络可通过硬件或软件方式来实现。硬件方式即神经计算机。目前 较常用的还是软件实现方式。已有许多公司和研究单位设计了通用的 ANN 程序 以方便人们使用, matlab 提供的神经网络工具箱就是其重要代表。神经网络工具箱是在 matlab 环境下所开发出来的许多工具箱之一, 它是以人 工神经网络理论为基础,用 matlab 语言构造出典型神经网络的激活函

8、数,如 S 型、线性、竞争层、饱和线性等激活函数,使设计者对所选定网络输出的计算变 成对激活函数的调用。 另外, 根据各种典型的修正网络权值的规定, 加上网络的 训练过程,用 matlab 编写出各种网络设计与训练所涉及的公式运算、矩阵操作 和方程求解等大部分子程序, 网络的设计者可以根据自己的需要进行调用, 免除 了自己编写复杂而庞大的算法程序的困扰, 集中精力去思考需要解决的问题, 提 高工作效率和解题质量。目前 matlab 几乎完整地概括了神经网络的基本成果, 对于各种网络模型, 神 经网络工具箱集成了多种学习算法,为用户提供了极大的方便。同时, matlab 的其他工具箱也为我们在神

9、经网络工具箱的基础上开发研究模 糊与神经网络的结合、神经网络的样条算法等问题提供了辅助手段 。3 线性神经网络线性神经网络是最简单的一种神经元网络,它可以由一个或多个线性神经元 构成。 50年代末期提出的自适应线性元件是线性神经网络最早的典型代表。其 每个神经元的传递函数为线性函数, 其输出可以取任意值。 线性神经网络可以采 用 Widrow-Hoff 学习规则,也称为 LMS 算法来调整网络的权值和阈值。3.1 线性神经网络模型线性神经元模型的神经元有一个线性传递函数 purelin , 其输入输出之间是简单的比例关系,一次对单个线性神经元,由图 1可得, a=purelin(×p

10、+b.因此, 线性神经网络允许输出可以取任意值,而不仅仅是 0或 1。 图 1 线性神经元模型 图 2 线性神经元传递函数具有 R 个输入的单层(S 个神经元线性神经网络模型如下图 3所示。 图 3 单层多输入的线性神经网络模型3.2 线性神经网络的学习算法Widrow-Hoff 学习规则, 又称为最小均方误差 LMS (Least Mean Square Error 学习算法,由 Widrow-Hoff 提出,属于有导师学习算法。LMS 学习规则定义如下:221111( ( ( m m k k m se ek d k y k m m =- (3-1其目标是通过调节权值,使 mse 从误差空间

11、的某点开始,沿着 mse 的斜面向下 滑行,最终使 mse 达到最小值。LMS 算法的实现有五个步骤:第一步:初始化。给各个连接赋一个较小的随机值;第二步:输入一个样本,计算连接权值的调整量:2( 2( ij ij e k e k e k = (3-22( 2( e k e k e k bb = (3-3 1( ( R ij i ij ij i e k e d k p k b =-+ (3-4第三步:调整连接权值:根据负梯度下降的原则,网络权值和阈值修正公式如下(1 ( 2( (1 ( 2( T k k e k p k b k b k e k +=+=+ (3-5式中 为学习率,当其取较大值时

12、,可以加快网络的训练速度,但是如果其 值太大, 会导致网络稳定性的降低和训练误差的增加。 所以, 为了保证网络进行 稳定的训练,学习率的值必须选择一个合适的值;第四步:计算均方误差:221111( ( ( m m k k m es e k d k y k m m =- (3-6第五步:判断误差是否为零或者是否达到预选设定的要求。如果是,则结束 算法,否则输入下一个样本,返回第二步进入下一轮求解过程。4 线性神经网络的 matlab 实现下表 1给出了 matlab 中与线性网络相关的神经网络工具函数。 具函数实现。设计一个简单的单层线性神经元,其输入和目标分别为 P=+1.0 -1.2, T=

13、+0.5 +1.0。权值和阈值的范围分别为 -11。试用 matlab 实现其从输入到输出 的变化关系。该线性网络的结构如下图 4所示。 图 4 线性网络结构图由例中的条件编写 matlab 源程序如下 :%dlin1.m%NEWLIND%SIMclf;figure(gcf;P=1.0 -1.2;T=0.5 1.0;w_range=-1:0.1:1;b_range=-1:0.2:1;ES=errsurf(P,T,w_range,b_range,'purelin'plotes(w_range,b_range,ES;ax=findobj(gcf.'type','axes'pausenet=ne