（计算机应用技术专业论文）基于微分进化免疫和聚类的rbf网络学习算法研究.pdf

基于微分迸化免疫和聚类的r b f 网络学习算法研究中文摘要 基于微分进化免疫和聚类的r b f 网络学习算法研究 中文摘要 径向基函数( r a d i a lb a s i sf u n c t i o n ，r b f ) 神经网络以其深厚的生理学基础、简单 的网络结构、快速的学习能力、优良的逼近性能，在函数近似、模式识别、信号处理、 系统辨识等领域取得了广泛的运用。人工免疫系统访c i a lh i 硼蚰es y s t e m ，a i s ) 是 近年来兴起的一个研究领域，人工免疫系统与人工神经网络的混合应用也成为人们的 研究热点，越来越多的研究者采用进化计算( e v o l u t i o n a 哆c o m p u t a 舫0 n ，e c ) 来设计 r b f 神经网络参数。隐节点中心的选取一直是各种r b f 网络学习算法面临的主要问 题之一，为提高r b f 网络的性能，在r b f 网络现有学习算法的基础上，本文提出了 改进的模糊聚类算法，还将微分进化与免疫算法相结合应用到r b f 神经网络的参数 优化设计中，取得了以下成果： ( 1 ) 分析了现有的r b f 网络学习算法在隐节点中心选取、宽度确定和权值优化 等方面的优缺点； ( 2 ) 把微分进化思想和免疫算法相结合，提出基于微分进化免疫的r b f 网学习 算法，将该方法用于优化r b f 网络隐节点参数以改进r b f 网络的性能； ( 3 ) 把减法聚类和模糊c - 均值聚类相结合，提出改进的模糊聚类算法，增强了 网络对离群点的鲁棒性，同时缩短了网络的训练时间； ( 4 ) 分别用基于微分进化免疫的r b f 网络学习算法和改进的模糊聚类算法训练 r b f 网络，验证了算法的有效性，效果较好。 最后，本文对所做的研究工作进行了总结，并对以后的研究内容进行了展望。 关键词：r b f 神经网络；微分进化；免疫算法；减法聚类：模糊c - 均值聚类 作者：吴佩贤 指导老师：邓伟 a b s 仃a c tr 韶_ c a 】r c ho nd i 行m n t i a le v o l u t i o n i m m u n ea n dc l u s t e r i n g 舢g o 珊l m0 fr b fn e u r a ln e t w o r k r e s e a r c ho nd i f f e r e n t i a le v o i u t i o n - i m m u n ea n d c l u s t e r i n ga l g o r i t h mo f r b fn e u r a ln e t w o r k t r a i n i n g a l g o r i t h m a b s t r a c t r a d i a lb a s i sf u n c t i o n 限b f ) n 即r a ln e t w o r k ，w h i c hh a sap r o f o u n dp h y s i o l o g i c a lb a s i s ， a s i l i l p l ei l e t ，o r ka r c l l i 眦t i l r e ，f a s tl e a n l j 【n ga l g o r i t h m s ，9 0 0 da p p r o x i m a t i o nc a p a b i l i t y ，h a s m a n ys u c c e s s m l 印p l i c a t i o n si nf i e l d s ，s u c h 弱f u n c t i o na p p r o x i m a t i o n ，p a 位e mr e c o g i l i t i o n ， s i g n a lp r o c e s s i n g ，s y s t e mi d e n t i f i c a t i o n ，锄ds oo n a n i f l c i a li m 皿m n es y s t c m ( a i s ) i s an e w r e s e a r c hf i e l di nr c c e n ty e a r s ， w 1 1 i c hi s 印p l i e d i l lm a c l l i n e l e a n l i n g，c o m b i n e 0 p t i l i l i z a t i o n ，i n f o m a t i o ns a f e t y ，f 撕l td i a g i l o s i s ， e t c，锄di th a sd i s p l a y e das 们n ga b i l “y o ni n 矗d m 蚍i o np 眦e s s i n g 觚dp r o b l 锄s o l v i n g t h ea p p l i c a t i o no fc o m b i i l i n ga i st 0 a n i f i c i a ln e u r a in e 锕o r kb e c o m e st l l er e s e a r c hh e a t a tt l l es 锄et i m e ，m o r e 柚dm o r e r e s e a r c h e r sb e 舀nt 0d e s i g i lt l l en e u r a ln e t w o r kb a s e do ne v o l u t i o n a r yc o i n p u t a t i o n h l 0 r d e rt 0i m p r o v et l l ep e r f o m a n c eo ft l l ei l e t w o r k ，t h es e l e c t i o no fr b fl l i d d e nn o d ec e n t e r s i so n eo f 也em o s ti m p 砥a n tp r o b l e m si nr b fn 咖o r kl e 锄吨ht h i sm e s i s ，m ee x i s t i n g r b f l e a r i l i n ga l g 嘶t l l i 璐a r ei n v e s t i g a t e d ，d i 骶r e n t i a le v o l u t ! i o ni sc o n l b i n e dw i n li l i l i n u n e a l g 耐t t l n l ，ar e v i s e dn l z z yc l u s t e r i n gi sp f o p o s e d t h er e s u l t sa r e 嬲f o l l o w s ： 1 a m l y z e st l l ev i r t u e sa i l dd i s a d v 锄t a g e so ft h ee x i s t i n gr b fl e a r i l i n ga l g o r i t h m s ，i l l t l l es e l e c t i o no fh i d d e nn o d ec e n t e r s ，d e t e n i l i n a t i o no ft h eh i d d e nn o d ew i d t l l ，a n dt l l e o p t i m i z a t i o no ft l l ew e i g h t s 2 b yc o m b i l l i n gt l l ed i 胁e n t i a le v o l u t i o nw i t hi m m u n ea l g o r i t h m ，m ed i f f 打e n t i a l e v o l u t i o n - i 舢m u n ea l g 砸t h mi sp r o p o s e d ，w h i c hc h 0 0 s e st 1 1 eh i d d e nn o d ec e n t e r sr a t i o n a l l y ， a n ds h o ws 缸o n gp e r f 棚a n c e 3 b yc o m b i i l i n gs u b 仃a c t i v ec l u s t e r i n gw i t h 允z z yc 哪e a n sc l u s t e r i n g ，ar e v i s e dm z z y c l u s t 嘶n ga l g 嘶t l l mi sp r o p o s e d ，w l l i c hn o to l l l yi i l l l a n c e sr 0 1 ) u s t n e s so fm er b f b u ta l s o r e s 馏c ho nd i 脑n t i a le v 0 1 u t i o n i 舢u n e 舢da u s 蜘n g g o 珊l m0 fr b fn e u r a ln e t w o r k a b s t r a c t s h o r t e n st 1 1 e 臼隐i i l i n gt i m e 4 t h ed i 行e r e n t i a le v o l u t i o n i m m u n ea l g o r i t h m 觚d l er e v i s e d f u z z yd u s t e r i n g a l g o r i m ma r ea p p h e dt 0m n c t i o na p p r o x i m a t i o na n dt i i n es e r i e sp 删i c t i o np r o b i e i n s ，m e e f j i e c t i v e i l e s so ft 1 1 et w oa l g o r i 廿l m sa s rp r o v e d f i n a l l y ，t l l er e s e a r c hw o r ki n v o l v c di i lt h et l l e s i si ss u i m n 撕z e d 锄dt 1 1 e 如t i l r e d e v e l o p m e 鹏o fr b f a r ef o r e c 嬲t k e yw o r d s ：r b fn e u r a ln e t w o 出d i 矗确n t i a le v o l u t j 伽；h l l m u n ea 1 9 耐t l l i l l ； s u b t r a c t i v ec l u s t c r i n g ；f 1 1 z z yc 哪e a n sc l u s t 嘶n g w 五t t e nb y ：w up e i x i 觚 s u p e n ，i s e db y ：d e n g1 w 苟 苏州大学学位论文独创性声明及使用授权的声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含 其他个人或集体已经发表或撰写过的研究成果，也不含为获得苏州大学 或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本人承担本声明的法律 责任。 研究生签名：壅! 笙望 日 学位论文使用授权声明 期：口谚：多7 7 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文 合作部、中国社科院文献信息情报中心有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本 人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分 内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名：蔓1 l 垂。凌 日 期：上b 穆i l 7 2研究生签名：幺1 l 尘。次 日期：上b 穆i l 7 z 导师签名： 盈企j 壶 日 期： 基于微分进化免疫和聚类的i m f 网络学习算法研究 第一章绪论 1 1 神经网络概述 第一章绪论 现代计算机有很强的计算和信息处理能力，但是它对模式识别、感知和在复杂环 境中作决策等问题的处理能力远不如人，特别是它只能按人们事先编好的程序机械地 执行，缺乏向环境学习、适应环境的能力【1 1 。早在2 0 世纪初，人们已经知道人脑的 工作方式与现在的计算机是不同的，人脑是由大量的具有高速处理能力的神经元互相 连接组成的高度复杂的、非线性的、并行信息处理系统。人脑单个神经元的处理速度 比计算机的基本单元低5 缶个数量级，但是因为神经元数目巨大，相互之间高度互联， 处理速度反而比计算机快很多，而且能耗非常低。 自从认识到人脑与数字计算机的工作方式不同之后，关于人工神经网络 ( a m 触a ln e l l r a ln 咖0 r ka n n ) 的研究就开始了。神经网络是模仿人脑工作方式而 设计的一种机器，它可用电子或光电元件实现，也可用软件在数字计算机上仿真；或 者说神经网络是一种具有大量连接的并行分布式处理器，它具有通过学习获取知识并 解决问题的能力，而且知识是分布存储在连接权值中团。 神经网络是人工智能研究的重要组成部分，自八十年代复苏以来，这一交叉学科 已成为人工智能、神经科学、认知科学、心理学、行为学等学科共同关心的焦点，吸 引了大批研究人员的注意力【l 】。经过多年的研究，在许多领域取得的令人瞩目的成就， 充分证明了模拟生物神经计算功能的人工神经网络具有通常的数字计算机所难以比 拟的许多优势，如自学习能力、自组织、自适应性和联想能力等。 由于神经网络的结构特征和神经元的学习能力，使得神经网络具有下列特点【3 】： ( 1 ) 非线性映射逼近能力 一个由非线性神经元互联而成的神经网络自身是非线性的，并且非线性是一种分 布于整个网络中的特殊性质。有理论证明，任意的连续非线性函数映射关系都可由某 一多层神经网络以任意精度加以逼近。 ( 2 ) 对信息的并行分布式综合优化处理能力 神经网络的大规模互连网络结构，使其能很快的并行实现全局的实时信息处理， 第一章绪论基于微分进化免疫和聚类的r b f 网络学习算法研究 并很好的协调多种输入信息之间的关系，兼容定性和定量信息。 ( 3 ) 较强的容错能力 神经网络的并行处理机制及冗余结构特性使其具有较强的容错特性，提高了信息 处理的可靠性和鲁棒性。 ( 4 ) 对学习结果的泛化和自适应能力 经过适当训练的神经网络具有潜在的自适应模式匹配功能，能对所学信息加以分 布式存储和泛化，这是其智能特性的重要体现。 ( 5 ) 便于集成电路实现和计算模拟 神经网络在结构上是相同神经元的大规模组合，所以特别适合于用大规模集成电 路实现，也适合于用现有计算技术进行模拟实现。 神经网络作为模仿生物神经系统构成的新的信息处理模型，具有独特的大规模并 行分布式结构，强大的学习能力及泛化能力，所以它能够解决一些用传统方法难以解 决的问题【4 1 。 1 1 1 神经网络的发展历史 目前，神经网络的理论和应用研究得到了极大的发展，但是，人工神经网络的发 展过程并不是一帆风顺的。神经网络的研究大致经历了以下几个阶段【4 】。 ( 1 ) 初始发展期 1 9 4 3 年，神经心理学家w m c c u l l 0 c h 和w p i t t s 提出了m p 模型嘲，给出了神经 元的最基本模型及相应的工作方式，标志了神经网络和人工智能学科的诞生。 1 9 4 8 年，w i e n e r 的名著c y b e m 以c s 川( 控制论) 出版，为控制、通信和统计 信号处理描述了某些重要概念，在该书的第二版中，添加了关于学习和自组织的新材 料、抓住了统计力学的物理意义。 1 9 4 9 年，神经生物学家d h e b b 的n eo 唱a n i z a t i o no f b e h a v i o r 【8 】( 行为组织 学) 出版，他发现脑细胞之间的通路在参与某种活动时将被加强。这条重要规则给出 了生理学与心理学问的联系，被称为h e b b 学习规则，至今还被许多神经网络学习算 法所使用。 1 9 5 7 年，f r o s e n b l a t t 提出了感知器模型【9 】，这是一个由线性阈值神经元组成的 2 基于微分进化免疫和聚类的r b f 网络学习算法研究第一章绪论 前馈神经网络，可用于分类，从而确立了从系统的角度研究人工神经网络的基础。 1 9 6 0 年，b w i d r o w 和m h o f f 引进了最小均方算法，提出了自适应线性单元【彻， 这是一种连续取值的神经网络，可用于自适应系统。从5 0 年代末到6 0 年代初，神经 网络的研究工作进入了一个高潮。 ( 2 ) 低潮时期 j 1 9 6 9 年，人工智能的创始人m m i n s k y 和s p 印e n 发表了p e r c 印t i o n s 1 1 1 】( 感 知器) 一书，该书中他们指出：单层感知器只能作线性划分，多层感知器不能给出一 种学习算法，因此无使用价值。由于m i n s k y 和p a p e l t 在人工智能领域的地位，该书 在人工神经网络研究人员间产生了极大的反响，神经网络研究从此陷入低潮。 但是，即便在低潮时期，神经网络的研究仍然取得了一些重要成果。美国加州理 工大学教授h o p f i e l d 于1 9 8 2 年和1 9 8 4 年在美国科学院院刊发表了两篇文章，1 9 8 2 年他提出了h o p f i e l d 网络模型【1 2 1 。他在这种模型的研究中首次引入了网络能量函数 的概念，并给出了网络稳定性的判断依据。1 9 8 4 年又提出了网络模型实现的电子电 路，为神经网络的工程实现指明了方向1 3 1 。h 0 p f i e l d 的研究成果开拓了神经网络用于 联想记忆和优化计算的新途径，并为神经计算机的研究奠定了基础，引起了神经网络 研究的又一次热潮。 ( 3 ) 高潮时期 1 9 8 4 年，a c l 【l e y ，h i n t o n 和s 句n o w s k i 借用了统计物理学的概念和方法，提出了 b 0 t l z m 锄机模型【1 5 】，首次采用了多层网络的学习算法，在学习过程中运用模拟退火 技术，保证整个系统趋于全局稳定点。 1 9 8 5 年，r u m e m a r t 等人给出了多层感知器的权值训练的误差反向传播( b p ) 学习 算法【1 6 1 ，并在此基础上提出了一系列的b p 学习算法，从而解决了m i n s 姆认为不能 解决的多层感知器的学习问题。由此引导了神经网络的复兴，神经网络研究进入一个 崭新的发展阶段。 1 9 8 8 年，b r 0 0 h e a d 和l o w e 提出了径向基函数( r a d i a lb a s i sf u n c t i o n ，r b f ) 神 经网络【用，导致了联系神经网络设计和数值分析的重要领域以及线性自适应滤波器的 大量研究工作。1 9 9 0 年，p o g g i o 和c n s i 利用t i l d l o n o v 正则化理论进一步丰富了r b f 网络理论【1 8 】。 2 0 世纪9 0 年代早期，v a p m k 和他的合作者发明了具有强大计算能力的一种有监 3 第一章绪论基于微分进化免疫和聚类的r b f 网络学习算法研究 督学习网络支持矢量机【1 明( s u p p o r tv e c t o rm a c h i n e ，s v m ) ，用于解决模式识别、回归 和密度估计问题。在支持矢量机设计中，以自然的方式包含了度量神经网络从一个样 本集中学习能力的v a p l l i k h e n ，o n e n l ( i s ( v c ) 维数。 尽管目前人们对大脑的神经网络结构、运行机制，甚至单个神经细胞的工作原理 的了解还很肤浅，但是基于生物神经系统的分布式存储、并行处理、自适应学习这些 现象，已经构造出有一定智能的人工神经网络。当然这种人工神经网络仅仅是对大脑 粗略而简单的模拟，无论是在规模上，还是在功能上与大脑相比都还差得很远【l 】。但 是，它在一些科学研究和实际工程领域中已显示了很大的威力。随着神经网络理论本 身以及相关理论、技术的不断发展，神经网络必将得到更加深入和广泛的应用。 1 1 2 神经元模型和网络结构 神经元是神经网络操作的基本信息处理单位。图1 1 给出了神经元模型，它是神 经网络的设计基础。神经元模型由三种基本元素构成： 突触，由其强度或者权值作为特征。连接到神经元七的突触j 上的输入信号工，被 乘以七的突触权重，第一个下标表示权值连接所指定的目标神经元编号，第二个 下标表示权值连接的源神经元编号。和人脑中的突触不一样，人工神经元的突触权值 有一个范围，权值为正表示激活，权值为负表示抑制。 加法器，用于求输入信号被神经元的相应突触加权和。这个操作构成一个线性组 合器。 激活函数，用来限制神经元的输出振幅，也称为压制函数，将输出信号压制到允 许范围之内的一定值。通常，一个神经元输出的正常幅度范围可以写成单位闭区间 【o ，1 】或者【一l ，1 】。激活函数可以是线性的，也可以是非线性的。常见的激活函数有： 阈值函数；分段线性函数；s i g m o i d 函数：高斯函数。s i g m o i d 函数常用于神经网络 的分类、函数逼近或优化；高斯函数则常用于径向基函数神经网络。 4 基于微分进化免疫和聚类的r b f 网络学习算法研究第一章绪论 输入 信号 输出 y 突触权值 图l - l神经元非线性模型 另外，神经元模型还包括一个外部偏置玩，偏置的作用是根据其为正或为负，相 应地增加或降低激活函数的网络输入。 用数学术语，我们可以用如下一对方程描述一个神经元七： 用 龟= 勺 卢i ( 1 1 ) ( 1 2 ) 其中五，屯，是输入信号，m 。，毗：，是神经元露的突触权值。心是输入信号 线性组合器的输出，偏置为玩，激活函数为伊( ) ，魏是神经元输出信号。 人工神经网络的工作过程可分为训练和测试两个阶段，在训练阶段，以组输入 输出模式对作为训练样本集来训练网络，网络的训练过程是调整网络参数( 包括权值、 阈值等) 和结构的过程。在测试阶段，给定新的输入样本数据，网络即可计算得到相 应的输出。 生物之所以能适应环境，是因为生物神经系统具有从周围环境进行学习的能力。 对于人工神经网络，学习能力也是其最重要的特点。神经网络的学习有两种形式：有 导学习和无导学习。有导学习也称为有监督学习( s u p e r v i s e dl e a l l l i n g ) ，利用给定的 样本标准进行分类或模仿；无导学习也称为无监督学习( u n s u p e r v i s e di e a n l i n g ) 或自 组织学习( s e l h r g a i l i z e dl e a r i l i n g ) ，无导学习不提供教师信号，只是规定学习方式或 某些规则，具体的学习内容随系统所处的环境而异，系统可以自动发现环境特征和规 律。 5 第一章绪论基于微分进化免疫和聚类的r b f 网络学习算法研究 从神经网络的基本模式看，主要有前馈型、反馈型、自组织型及随机型网络。前 馈型网络主要有b p 、r b f 等；反馈型主要有h o p f l e l d 网络；自组织网络主要有a l 玎 网络；随机网络中主要有关b o l t z m 觚机，最近由于模糊分形与人工神经网络的结合 形成模糊神经网络和分形神经网络。 1 2r b f 神经网络学习算法研究现状 r b f 网络模拟了人脑中局部调整、相互覆盖接受域的神经网络结构，是一种具 有局部逼近性能的前馈神经网络。r b f 网络学习算法，包括离线学习和在线学习两 类算法。离线算法是先进行样本收集，然后采用不同形式的聚类方法或中心选取算法， 即从样本训练空间的分布模式中提取径向基函数的中心，最后是修正网络输出层的权 值。离线算法得到的是一种固定结构的网络，中心不易选定，一旦选定，网络结构就 确定了，无法有效处理具有时变特性对象的样本数据。在线学习算法是指网络结构调 整和参数学习同时进行，但该算法的整体拟合效果并不十分理想。r b f 神经网络己 广泛应用于系统辨识、函数逼近、信号处理以及控制等很多领域，人们一直在努力改 进它的性能，如收敛速率、泛化性能、鲁棒性能等，r b f 网络的这些性能很大程度 上取决于它的学习算法。 ( 1 ) 随机算法选取隐节点中心 b r o o n l l l e a d 和l o w 提出，径向基函数的中心随机地在输入样本数据中选取【1 刀， 且中心固定。对于这种选取算法，如果样本数据的分布具有代表性，则不失为一种简 单可行的方法，但是大多数情况下，在输人数据样本具有一定的冗余性时，这种选取 算法就显得无能为力了。 ( 2 ) 聚类方法选取隐节点中心 该方法由m o o d y 和d a r k e n 提出1 2 1 】，是经典的r b f 网络学习算法。其思路是先 用无监督学习( 通过k 哪e a i l s 算法对输入样本进行聚类) 确定r b f 网络中h 个隐节 点的数据中心，并根据各数据中心之间的距离确定隐节点的扩展常数，然后用有监督 学习( 梯度法) 训练各隐节点的输出权值。该方法在r b f 网络的学习中得到广泛应 用，但是这种算法对聚类的初始中心敏感。b i s h o p 提出了期望最大化( e m ) 算法【2 2 1 ， 用来优化聚类中心，这个算法实际上不是最大似然学习，只是次优化近似而已。 6 基于微分进化免疫和聚类的r b f 网络学习算法研究 第一章绪论 ( 3 ) 正交最小二乘方法( o l s ) 选取隐节点中心 c h e n 等人提出的正交最小二乘( o n h o g o n a lk a s ts q u a r e s ，o l s ) 算法，每次选 择对网络输出影响最大的输入数据作为隐节点的中心，逐个加入r b f 网络中，直到 适当的网络构造出来为止【捌。这种方法不存在数值病态问题，简单高效，但是选择出 来的网络结构不一定是最简单的。c h e n 又提出了正则化正交最小二乘( r e g l l l a r i z e d o n h o g o n a ll s ts q u a r e s ，r o l s ) ，把o l s 方法和正则化方法相结合，可以训练出网络 结构简单泛化、性能优越的r b f 网络【2 4 】。m a o 使用o l s 消除隐层各单元响应的相关 性f 2 5 】，从而每个r b f 隐层神经元的分类能力可以分别估计，此方法选择的网络结构 简洁，而且隐节点的中心具有很强的分类能力。 ( 4 ) 利用统计学概念选择隐节点中心 s c h o k o p f 等学者使用关键向量，而不是聚类中心，构造r b f 网络，先使用支持 矢量机( s v m ) 计算出支持向量，使用这些向量作为隐节点的中心陶，实验表明基于支 持向量的r b f 网络比通常的r b f 网络性能要优越。 s l l i 等学者提出了基于敏感度分析的r b f 网络训练方法阿，灵敏度定义为对r b f 中心干扰产生的输出偏差的平方的期望，利用0 l s 和灵敏度一起选择关键向量，把 这些关键向量作为r b f 网络的中心，适合作为r b f 分类器的训练方法。 x u 拓展了混合专家模型，估计所有的基函数的数目，基函数的宽度和中心，以 及输出单元的权值闭，因为最大似然学习和正则化理论都可以统一于他所建立的阴阳 学习框架中。 g u 觚g - b i n 等学者提出一种r b f 网络在线学习g g a p 承b f 算法【2 9 j ，为隐节点弓f 入了“s i g i l i f i c a n c e 的概念，作为它们对所有已经出现的输入数据的平均贡献的统计 度量，根据学习精度的要求与最近中心点和新添数据点的“s i g l l i j f i c a n c e ”进行剪枝增 长操作，该算法源于严格的统计学推导，适用于任何概率分布的训练数据集，但是数 据样本的概率密度估计是统计学中的难题。 m a o 和g u a n g _ b i n 提出了基于“d a t as t m c t l l r ep r e s e r v i n gc 订t e r i o n 的r b f 网络 分类器隐节点选择算法【3 0 】，“d a t as 仇l c t u r c 代表了训练样本在高维空间中的相对位 置，因为保留了所有训练样本包括不同类别分类边界的训练样本的“d a t as t n l c t u r e ， 所以选择的隐节点的子集保留了所有隐节点全集的分类边界。 ( 5 ) 进化算法选择隐节点中心 7 第一章绪论基于微分进化免疫和聚类的r b f 网络学习算法研究 用遗传算法( g e n e t i ca l g 耐t h 弛g a ) 来训练r b f 网络，最直接的办法就是，使隐 节点数目固定，使用g a 来优化自由参数，文【3 1 】使用这样的方法来预测时间序列。 在文【3 2 】中，隐节点数目固定，g a 仅仅优化中心的位置，宽度使用k 近邻法确定， 权值由奇异值分解( s i g u l a r 、u ed e c o n l p o s i t i o n ，s v d ) 计算。w h i t e h e a d 和c h o a t e 演化 隐节点的中心和宽度，它不是对整个网络进行编码，而是对径向基函数进行编码，这 些染色体合作构造一个r b f 网络【3 3 1 。w h i t e h e a d 还提出基于s v d 的个体评价方法刚。 仅仅使用g a 优化参数，时间复杂度大，没有最大程度的发挥g a 优胜劣汰自然 选择的作用。很多学者开始使用g a 来确定网络拓扑结构，如g a 负责设置隐节点数 目、中心位置和宽度，权值由代数方法或者梯度下降法计算【3 5 1 。 魏海坤等学者引入了选择路径的概念，提出了r b f 网学习的进化优选算法【3 6 1 。 该算法把r b f 网络的结构设计问题归结为寻找最优选择路径的问题，利用进化策略 在解空间内对选择路径进行多点随机搜索，并找到最优选择路径。由于进化策略的随 机特性，所有选择路径都有被搜索的可能，使它又可能找到全局最优解，能设计出不 同精度下结构更为精简的r b f 网络。 ( 6 ) 混合方法选择隐节点中心 王凌和郑大钟提出了r b f 神经网络结构的混合优化策略【3 7 1 ，将结构优化问题转 化为一类组合优化问题，利用结合遗传算法群体并行搜索能力和模拟退火概率突跳特 性来改善优化效率并避免局部极小的混合策略，该策略保证网络具有较好的推广性和 抗噪声能力。 c h e n 把r o l s 和g a 结合，提出了一种r b f 网络两层学习方法【3 8 】，g a 在外层 优化正则化参数和径向基函数宽度，r o l s 在这两个参数确定的条件下在内层构造 r b f 网络，该算法的复杂性比优化网络的所有参数的g a 降低了很多，而且该方法产 生的网络的泛化性能很好。 2 0 0 6 年，b a 仃e t o 等人提出了r b f 网络基因正交最小二乘算法【3 9 1 ，这个算法在同 一层次上混合了正交最小二乘算法和基因算法，吸收了两原始算法的长处，训练出来 的r b f 网络比仅试用正交最小二乘算法训练出来的网络的泛化性能要优越，而且计 算复杂度小于标准遗传算法。 ( 7 ) 离群点 1 9 9 5 年s 6 n c h e z 提出了一种针对离群点的r b f 网络的鲁棒学习算法【4 0 】，用定标 8 基于微分进化免疫和聚类的l 强f 网络学习算法研究第一章绪论 鲁棒代价函数( s c a l e dr o b u s tb s sf u n c t i o n ，s 砒圆代替通常学习算法使用的平方代价 函数，然后使用共轭梯度法完成非线性优化过程，但这种算法不能自动选择隐节点的 中心。1 9 9 9 年c h i e n h e n g 等提出了一种新的鲁棒r b f 神经网络【4 1 1 ，具有高效的学 习速率，合理的网络结构，可以用于拟合常数值函数，并且对离群点具有鲁棒性。1 9 9 9 年，刘妹琴等提出了一种r b f 网络鲁棒学习算法【4 2 】，用定标鲁棒代价函数代替传统 的二次型指标，并结合改进的遗传算法，搜索近最优r b f 神经网络的结构和参数。 该算法可以提高r b f 网络的泛化性能，消除噪声影响，揭示训练数据的潜在规律。 r b f 网络学习算法的关键是隐节点数目的确定和中心的选择，隐节点数目难以 确定、隐节点中心选择不合理、训练时间长等问题一直存在。另外，r b f 网络学习 中的离群点也是影响r b f 网络性能的重要问题。为了提高网络的鲁棒性往往以牺牲 时间效率为代价。针对上述问题，本文进行了深入的研究。 1 3 本文主要研究工作 r b f 网络的隐层激活函数采用非线性的径向基函数( 一般为高斯函数) ，这就使 得该网络呈现高度非线性。如果采用梯度训练法训练r b f 网络，在训练的过程中， 很容易陷入局部最小点。因此，为了求得最优的网络结构和参数，r b f 网络的学习 必须基于非线性优化技术。 微分进化采用实数编码，是一种随机的并行直接全局搜索算法，简单易用，以其 稳健性和强大的全局寻优能力在多个领域取得成功，并且最近被证明它在解决复杂的 全局优化问题方面非常有效。本文把微分进化这种优良的智能非线性优化技术，运用 到r b f 网络的学习中，优化网络结构，提高网络的泛化性能，增加网络学习的自组 织、自学习、自适应能力。 免疫算法是一种抽取和反映生物机体免疫系统特点的优化算法，将其应用到神经 网络的权值优化设计中，就得到了免疫神经网络( h 1 1 m u n en e u r a ln e t w o r k ，玳n ) 。免 疫算法具有保持解群分布多样性的优点，较好的克服了进化计算在初始化解群分布不 均匀时易出现未成熟收敛、陷于局部最小、收敛速度慢的缺点。免疫神经网络是对神 经网络优化设计的一种新的尝试。 减法聚类方法是一种快速而独立的聚类方法，计算量与数据点的数目成简单的线 9 第一章绪论 基于微分进化免疫和聚类的r b f 网络学习算法研究 性关系，可以代替传统的k 均值聚类方法，用于r b f 网络的隐节点中心的选择。模 糊c - 均值聚类算法对聚类中心的初始化敏感，减法聚类以及改进的减法聚类在面对大 数据集时，其聚类效率仍然较低。本文把减法聚类算法和模糊c - 均值聚类算法结合起 来训练r b f 网络，提高网络的学习效率，缩短网络的学习时间，增强网络的鲁棒性。 本文主要的研究内容有： ( 1 ) 研究r b f 网络的常用学习算法，分析他们的优点和不足； ( 2 ) 在研究微分进化算法的基础上，结合免疫算法，实现了基于微分进化免疫 的r b f 学习算法，提高了网络的学习能力和泛化能力； ( 3 ) 在研究减法聚类算法和模糊c - 均值聚类算法基础上，为r b f 网络设计了一 种改进的模糊聚类算法； ( 4 ) 编制实验程序，验证算法的有效性，并对试验结果进行分析。 本文的结构安排如下： 第一章，简要介绍了神经网络发展历史和相关概念、r b f 网络学习算法的研究 现状，同时介绍了本课题研究的主要研究工作； 第二章，主要介绍了r b f 网络的基本原理，及其常用的学习算法_ k - 均值聚 类方法、梯度训练方法、正交最小二乘学习算法； 第三章，首先介绍微分进化算法、免疫算法的基本思路及算法步骤。然后结合微 分进化算法及免疫算法，利用微分进化中的扰动向量以及免疫算法中的浓度机制，将 改进的算法应用于非线性时间序列的预测，最后在m a t l a b 环境下实现。仿真结果证 明本文的算法比微分进化算法在逼近精度上有所提高，优化效率得到提高，收敛速度 有所加快，泛化能力增强； 第四章，研究减法聚类方法和模糊c - 均值聚类算法，结合两者提出了改进的模糊 聚类算法，仿真实验与k 均值聚类方法进行比较，表明了该算法具有收敛速度快， 避免了收敛结果陷入局部极小的问题； 第五章，总结本文所做的研究工作，并对今后的研究工作进行了展望。 1 0 基于微分进化免疫和聚类的r b f 网络学习算法研究第二章径向基函数神经网络 第二章径向基函数神经网络 径向基函数神经网络( r a d i a lb a s i sf u n c t i o nn e l l r a ln e t w o r k ，r b f n n ) 是一类常 用的三层前馈网络，既可用于函数逼近，也可用于模式分类。与其他类型的人工神经 网络相比，r b f 神经网络不仅有很强的生理学基础，而且结构简洁、学习速度快、 逼近性能优良。 2 1r b f 神经网络原理 2 1 1 径向基函数与插值问题 径向基函数是目前数值分析研究中的一个主要领域，它首先是在解决实数多变量 插值问题的解中引入的，在一定程度上利用了多维空间传统严格插值的研究成果。多 变量严格插值问题，要求插值曲面必须通过所有的训练数据点，用数学语言描述如下： 给定一个包含个不同点的集合 x i 掣if - 1 ，2 ，l 和相应的个实数的集 合 咒r 1l i = 1 ，2 ， ，寻找一个函数f ：r 专r 1 满足下列插值条件： f ( x ) = y i ，i - 1 2 ， ( 2 1 ) 径向基函数技术就是要选择一个函数f 具有如下形式： f ( x ) = m 删x x ，) ( 2 2 ) i = i 其中 伊( x x f f = l ，2 ，j 是一个包含个任意函数的集合，称为径向基函数； i i 表示范数，一般为欧氏范数。x f 尺“，f = l ，2 ，为训练数据，作为径向基函数 的中心。 假设当输入为毛，f = 1 ，2 ，时，第j 个隐节点的输出为： = 卅一c 川) ( 2 3 ) 把式( 2 1 ) 的插值条件代入式( 2 2 ) ，得到一组关于权值i 心j 的线性方程组： 第二章径向基函数神经网络基于微分进化免疫和聚类的r b f 网络学习算法研究 w 1 ： y l 踢 ： n ( 2 4 ) 、 = 伊( 一五1 1 ) ，( j f ，f ) = 1 ，2 ， ( 2 5 ) 令y = 【) ，。，y 2 ，) ，】r ，表示期望输出向量；w = 【w l ，w 2 ，h 】r ，表示连接权值向 量；n 表示训练样本的长度；西= 驴。l ( j ，f ) = 1 ，2 ，n l ，表示插值矩阵。 式( 2 1 ) 可以写成： m w = y( 2 6 ) 如果西r 可逆，可以解出权向量w ，表示为： w = 西1 y( 2 7 ) 根据m i c c h e l l i 定理，如果 x f 兰。是彤中个互不相同的点的集合，则阶 的插值矩阵是非奇异的。大多数的径向基函数满足上述定理，包括下面三种重要的 径向基函数，在本文中使用的径向基函数是g 卸s s i 柚函数。 ( 1 ) 多二次函数 缈( r ) = ( r 2 + c 2 ) 牡，c o 且r r( 2 8 ) ( 2 ) 逆多二次函数 认r ) 2 南一如勘酿 ( 2 9 ) ( 3 ) g a u s s i a l l 函数 如) = e x p ( 一刍，盯 。且r 尺 ( 2 1 0 ) 但是，如果训练样本中的数据点的数目远远大于固有的物理过程的自由度，并且 我们限制径向基函数的数目与训练数据的数目相同，结果神经网络就会因为输入数据 的特性或者噪声干扰而拟合到一个错误的曲面，从而导致泛化性能下降1 7 1 ，而对数据 做有限精度逼近可能更合理。解决这些问题，可以采用正则化网络。 1 2 w； 基于微分进化免疫和聚类的r b f 网络学习算法研究 第二章径向基函数神经网络 2 1 2 正则化理论与正则化网络 由有限数据点恢复其背后隐含的规律( 函数) 是一个反问题，而且往往是不适定 的。1 9 6 3 年t i 妨o n o v 提出了正则化方法用以解决不适定问题【4 3 】。在曲面重建的问题 上，正则化的基本思想就是通过某些含有解的先验知识的非负的辅助泛函来使解稳 定。先验知识的一般形式涉及输入前出映射函数( 即重建问题的解) 是光滑的，意 味着相似的输入对应相似的输出。 t i k i l l o n o v 正则化理论包含两项： ( 1 ) 标准误差项。用e ( f ) 表示，用以度量对于训练样本f = 1 ，2 ，的目标输 出和实际输出之间的误差，具体定义为： e ( ，) = 去【m 一，( x ；) 】2 ( 2 1 1 ) ( 2 ) 正则化项。用e c ( f ) 表示，依赖于逼近函数f ( x ) 的几何性质。具体定义为： e c ( ，) = 去d f1 1 2 ( 2 1 2 ) 二 其中，d 是线性微分算子，包含解的先验知识，d 的选取与所解的问题有关。一般 说f ( x ) 具有内插能力的条件是，是平滑的，所以d 代表了平滑性约束。 正则化理论要求最小化的量为： e ( f ) = e ( f ) + 旯疋( f ) 。昙羔时嘲】2 + 知d 刚： q 1 却 其中名叫做正则化参数，是正实数；e ( ，) 叫做t i l ( 1 1 0 n o v 泛函。使e ( ，) 最小的解函 数记为只( x ) ，也就是正则化问题的解。在某种意义上，正则化参数五可以看作指示 器，用来指示所给的数据集作为确定解e ( x ) 的样本的充分性。特别在极限情况下， 当见专0 时，表明问题解只( x ) 完全决定于所给样本。另一方面，当五专时，表