（管理科学与工程专业论文）进化计算和人工神经网络在多目标优化问题中的应用.pdf

独创声明 暂5 9 8 7 2 6 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得( 注：如没有其他需要特别声明的，本栏可 空) 或其他教育机构的学位或证书使用过的材料。与我一同工作的同 志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 学位论文作者签名寸峨弛样导师签字：参岛凼 签字日期：2 0 0 4 年4 月) i 日签字日期：20 0 4 年中月珥日 进化计算和人工神经网络在多目标优化问题中妁应用 摘要 在实际应用中人们经常遇到多目标优化问题，如投资问题。投资者一般希望所投入的 资金量最少，风险最小，且获得的收益最大。由于多目标优化问题的多个目标通常是相互 冲突的，对其中一个目标优化必须以其它目标作为代价。传统的解多目标优化问题的方法 通常存在许多缺陷，如各目标加权值的分配带有较大的主观性，优化过程中各目标的优度 进展不可操作等。计算智能是借助现代计算工具模拟人的智能求解问题的理论与方法，它 是人工智能的深化与发展。进化计算和人工神经网络是计算智能的两个重要的分支。本文 致力于研究利用这两种方法解决多目标优化问题的模型及方法。 进化算法是模拟自然界生物进化过程与机制，求解优化与搜索问题的一类自组织、自 适应的人工智能技术。由于进化算法是对整个群体进行的进化运算操作，它着眼于个体的 集合，而多目标优化问题的非劣解一般也是一个集合，进化算法的这个特性表明进化算法 非常适合求解多目标优化问题。纵观以前关于多目标进化计算的研究，大多数研究者将研 究的重点放在多目标优化的遗传算法的研究上，如s p e a ”1 ，m o g a 6 3 ，n s g a “，n s g a i i ” 等；也有一些研究是关于多目标进化策略的，如p a e s 0 3 ，m e e s 8 ”；但是对多目标的进化规 划研究的却很少。1 9 9 9 年，v a n v e l d h u i z e n ”“做了一个调查，结果发现在发表的关于多目 标进化算法的文章中的相关引文中，只有一篇是关于进化规划的。近几年，对多目标进化 规划的研究也很少。由于在进行优化搜索方面，进化规划与遗传算法相比有其独特优点，所 以有必要对多目标进化规划算法进行研究。 自从第一个人工神经网络模型提出后，人工神经网络得到了迅速发展，特别是8 0 年 代h o p f i e l d 将人工神经网络成功地应用于组合优化问题，使得神经网络优化算法成为新的 研究热点。研究者对h o p f i e l d 的研究主要集中在用h o p f i e l d 解决组合优化问题，典型的如 “旅行商最优路径问题( 简称t s p 问题) ”为了更加有效地求解优化问题，研究者对 h o p f i e l d 神经网络做了许多变形、改进，例如ew a c h o l d e r “”，y t a k e f u j i “，l i l l o “7 1 等，但 是这些工作都是针对解决单目标优化函数提出的，解决多目标优化问题的h o p f i e l d 神经网 络鲜见文献发表。因此，我们考虑利用h o p f i e l d 网络建立一个解多目标组合优化问题的模 型。 鉴于以上研究现状，本文提出了一种多目标进化规划算法；研究了求解多目标优化问 题的h o p f i e l d 神经网络模型；为动态联盟的伙伴选择问题建立了一个多目标优化模型；然 后分别应用本文提出的进化规划算法和h o p f i e l d 神经网络对其求解。主要包括以下工作： l ，提出了一种求解多目标优化问题的进化规划算法m i c r o e p 。 基本思想是基于一个小的群体和群体的重新初始化。本算法充分利用了进化规划的独 特优点，并克服了传统的进化算法的一些缺点，如非优超排序低效，以及“种群漂移”等现 象数值试验表明，与普通的基于非优超排序的多目标进化规划算法相比，m i c r o e p 能够得 到一个更好分布的非劣解前沿。 2 。提出了一种求解多目标组合优化问题的h o p f i e l d 模型。 山东师范太学硕士学位论文 本文将多目标优化问题通过加权和的形式转化成单目标优化问题，然后应用连续 h o p f i e l d 网络求解单目标优化问题的原理，提出了求解多目标组合优化问题的h o p f i e l d 人 工神经网络模型。 3 建立了动态联盟伙伴选择的多目标优化模型。 动态联盟又称“虚拟企业”，它是一些相互独立的商业过程或企业组成的暂时联合， 这些商业过程或企业称之为“伙伴( p a r t n e r ) ”。由于在动态联盟的组建过程中，选择“正确” 的伙伴是关系到整个联盟成败的关键因素，所以动态联盟中的伙伴选择与管理是一个具有 现实意义的问题。本文为动态联盟的伙伴选择问题建立了一个多目标优化模型，并用上述 多目标的进化规划算法对其求解，求解结果表明该算法的有效性。最后，对h o p f i e l d 网络 求解该问题的方法做了描述。 最后，本文对所做的工作以及进一步的研究方向做了总结和展望。 关键词：进化计算，人工神经网络，进化规划，h o p f i e l d 网络，多目标优化 分类号：t p 3 0 i ，t p 8 进化计算和人工神经网络在多目标优化问题中的应用 a b s t r a c t t h e a p p l i c a t i o n o f e v o l u t i o n a r yc o m p u t a t i o n a n da r t i f i c i a ln e u r a l n e t w o r k si nt h em u l t i o b j e c t i v ep r o b l e m p e o p l eo f t e ne n c o u n t e rm u l t i o b j e c t i v eo p t i m i z a t i o np r o b l e m s i nt h ep r a c t i c ef o r e x a m p l e ， w h e nw ei n v e s ti ns o m e t h i n g ，w eu s u a l l yw a n tt oi n v e s tl e s sc a p i t a l ，h a v el e s sr i s k i n ga n dm u c h r e t u r n s b e c a u s et h eo b j e c t i v e so ft h em u l t i o b j e c t i v ep r o b l e m sr e s t r i c te a c ho t h e rt h r o u g ht h e v a r i a b l e s ，a n dt h eo p t i m i z a t i o no fo n eo b j e c t i v ei s a tt h ec o s to fa n o t h e ro b j e c t i v e ，g e n e r a l l y s o l v i n go p t i m i z a t i o np r o b l e m sw i t hm u l t i p l eo b j e c t i v e si s av e r yd i f f i c u l tg o a l c o m p u t a t i o n a l i n t e l l i g e n c ei s ak i n do ft h e o r ya n dm e t h o dt h a ts i m u l a t e sm a n k i n d si n t e h i g e n c eb ym o d e r n c o m p u t i n gt o o l se v o l u t i o n a r yc o m p u t a t i o na n da r t i f i c i a l n e u r a ln e t w o r k sa r et w oi m p o r t a n t f i e l d so fc o m p u t a t i o n a li n t e u i g e n c e i nt h i s p a p e r , w ed o s o m er e s e a r c ho nr e s o l v i n gt h e m u l t i o b j e c t i v eo p t i m i z a t i o np r o b l e m w i t ht h et w ok i n d so fm e t h o d s b e c a u s ee v o l u t i o n a r yc o m p u t a t i o nh a st h ea b i l i t yt of i n dm u l t i p l ep a r e t o o p t i m a ls o l u t i o n s i no n es i n g l er u n , i ti sg o o da tr e s o l v i n gm u l t i o b j e c t i v eo p t i m i z a t i o n sa l t h o u g ht h e r ea r em a n y m u l t i o b j e c t i v ee v o l u t i o n a r ya l g o r i t h m sa tp r e s e n t ，m o s tw o r ki s a b o u tg aa n de s ，s u c ha s s p e a 8 1 , m o g a n s g a ：4 27 , n s g a i i “，p a e s r e , s e e s 【5 3 ，l i t t l e w o r ki sa b o u te pa1 9 9 9 r e v i e wo f2 7 2p u b l i c a t i o n si nm u l t i - o b j e c t i v ee v o l u t i o n a r ya l g o r i t h m sf o u n do n l yo n ec i t a t i o n r e l a t e dt oe v o l u t i o n a r yp r o g r a m m i n g 6 ”b e c a u s ee pi sp r o m i s i n gi ns i n g l eo b j e c t i v ep r o b l e m ， t h e r ei sn e e dt or e s e a r c he p a l g o r i t h m u s e dt os o l v em u l t i o b j e c t i v ep r o b l e m s s i n c et h ef i r s ta r t i f i c i a ln e u r a ln e t w o r kw a sp r o p o s e d ，i th a sd e v e l o p e dr a p i d l y p a r t i c u l a r l y i n19 8 0 s ，w h e nt h eh o p f i e l dn e t w o r kw a su s e dt os o l v ec o m b i n a t o r i a lo p t i m i z a t i o np r o b l e m s ， h o p f i e l d n e u r a ln e t w o r kg e t sm u c ha t t e n t i o nb u tm o s tr e s e a r c h e r s p u tt h e i re m p h a s i s o n r e s e a r c h i n gh o w t os o l v ec o m b i n a t o r i a lo p t i m i z a t i o np r o b l e m s ，a n dat y p i c a lp r o b l e mi st s ri n o r d e rt os o l v eo p t i m i z a t i o np r o b l e m sm o r ee f f i c i e n t l y , r e s e a r c h e sd om u c hw o r kt o i m p r o v e h o p f i e l dm o d e l 、s u c h a se w a c h o l d e r ，y t a k e f u j i t “j , l i l l o 哆b u tm o s to f t h ew o r k i sa b o u tt h e s i n g l eo p t i m i z a t i o na n dl i t t l e w o r ki sa b o u tu s i n gh o p f i e l dn e t w o r kt os o l v em u l t i o b j e c t i v e o p t i m i z a t i o np r o b l e m s t h e r e f o r ew ep r o p o s eam e t h o dt os o l v em u l t i o b j e c t i v e o p t i m i z a t i o n p r o b l e m b a s e do nh o p f i e l dm o d e l b a s e do nt h ea b o v e b a c k g r o u n d s ，w e h a v ed o n et h ef o h o w i n g w o r k ： 1 p r o p o s i n gam u l t i o b j e c t i v ee v o l u t i o n a r yp r o g r a m m i n ga l g o r i t h m t h eb a s i ci d e ao ft h i sa l g o r i t h mi st ou s eas m a l lp o p u l a t i o ns i z ea n dar e i n i t i a l i z a t i o np r o c e s s t h i sa l g o r i t h mt a k e sa d v a n t a g eo fe v o l u t i o n a r yp r o g r a m m i n ga n di n t r o d u c es o m es t r a t e g i e st o o v e r c o m et h ed i s a d v a n t a g e se x i s t e di nc o n v e n t i o n a lm u l t i o b j e c t i v ee v o l u t i o n a r ya l g o r i t h m s ， 5 山东师筢大学硕士学位论文 s u c ha st h el o we f f e c t i v ep a r e t or a n k i n gp r o c e d u r e ，“p o p u l a t i o nd r i f t i n g ，e t c t h ee x p e r i m e n t r e s u l ts h o w st h i s a l g o r i t h m c a n g e t am o r eu n i f o r mp a r e t of r o n tt h a nt h ec o n v e n t i o n a l e v o l u t i o n a r yp r o g r a m m i n g 2 p r o p o s i n gah o p f i e l dm o d e l u s e dt os o l v et h em u l t i o b j e c t i v ec o m b i n a t o r i a lp r o b l e m s w ec o n s t r u c tan e w h o p f i e l dn e u r a ln e t w o r k sm o d e lb a s e do nm u l t i o b j e c t i v eo p t i m i z a t i o nw e c o n v e r tt h em u k i o b j e c t i v eo p t i m i z a t i o np r o b l e mi n t oas i n g l eo p t i m i z a t i o n p r o b l e mu s i n gl i n e a r w e i g h t e ds u m ，t h e ns o l v et h i ss i n g l eo p t i m i z a t i o np r o b l e mu s i n gh o p f i e l dn e u r a ln e t w o r k s 3 c o n s t r u c t i n gam u l t i o b j e c t i v em o d e l b a s e do n p a r t n e rs e l e c t i o no f v i r t u a le n t e r p r i s e s v i r t u a le n t e r p r i s e sa r ed y n a m i c a l l yc o n s t i t u t e db yi n d i v i d u a le n t i t i e st h a tc o m et o g e t h e ra sa t e a mt oa c h i e v es p e c i f i cg o a l st h i sd y n a m i cn a t u r ei m p o s e s s t r o n gd e m a n d s o nt h ef o r m a t i o no f t h ev i r t u a l e n t e r p r i s e s i n c et h e c a p a b i f i t y o fe f f e c t i v e l y p u t t i n gt o g e t h e rt h e b e s tt e a mo f i n d i v i d u a l si st h ek e yt ot h es u c c e s so ft h ev i r t u a le n t e r p r i s ei t s e l fi nt h i sp a p e r , w ec o n s t r u c ta m u l t i o b j e c t i v e m o d e lb a s e do np a r t n e rs e l e c t i o no fv i r t u a le n t e r p r i s e s ，t h e nw es o l v et h i s p r o b l e mu s i n gt h ea b o v e m e n t i o n e de v o l u t i o n a r yp r o g r a m m i n g ，a n df i n a l l yw e d e s c r i b eh o wt o s o l v et h i sp r o b l e m u s i n gt h ea b o v e m e n t i o n e dh o p f i e l dn e t w o r k s f i n a l l y , w es u m m a r i z e o u rw o r ka n ds t a t et h ef u t u r ew o r kw en e e dt od o k e y w o r d s ：e v o l u t i o n a r yc o m p u t a t i o n ，a r t i f i c i a l n e u r a l n e t w o r k s ，e v o l u t i o n a r y p r o g r a m m i n g ，m u l t i o b j e c t i v eo p t i m i z a t i o n c l a s s i f i c a t i o n ：t p 3 0 1 t p l 8 进化计算和人工神经网络在多目标优化问题中的应用 第一章绪论 计算智能是借助现代计算工具模拟人的智能求解问题( 或处理信息) 的理论与方法， 它是人工智能的深化与发展。模拟人的智能通常基于不同的观点与角度，例如，从模拟智 能生成过程的观点( 典型代表为进化计算) ，从模拟智能产生与作用所赖以存在的结构角 度( 典型代表为人工神经网络) ，从智能的表现行为角度( 典型代表为模糊逻辑与模糊推 理) 等等。在所有这些方面，计算智能在近2 0 多年的发展中都取得了巨大成就。本章首 先介绍了计算智能的两个重要分支一进化计算和人工神经网络的概念、特点以及研究现 状，并介绍了多目标优化问题的基本概念以及求解多目标优化问题的传统方法，最后在此 基础上给出本文的组织结构及所做的主要工作。 1 1 进化计算 1 1 1 进化计算的概念和基本框架 进化计算( e v o l u t i o n a r yc o m p u t a t i o n ，简称e c ) 或进化算法( e v o l u t i o n a r ya l g o r i t h m ，简称 e 是一种借鉴生物界自然选择和进化机制发展起来的高度并行、随机、自适应搜索算法。 简单而言，它使用了群体搜索技术，将种群代表一组问题解，通过对当前种群施加选择、 交叉和变异等一系列遗传操作，从而产生新一代种群，并逐步使种群进化到包含近似最优 解的状态。 下面首先给出关于进化计算的一些名词解释。 种群：进化计算在最优解的搜索过程中，一般是从原问题的一组解出发改进到另一组 较好的解，再从这组改进的解出发进一步改进。在进化计算中，每一组解称为“种群” ( p o p u l a t i o n ) ，而每一个解称为一个“个体”( i n d i v i d u a l ) 。 编码：在普通的搜索算法中，解的表达可以采用任意的形式，一般不需要进行特殊的 处理；但在进化计算中，原问题的每一个解被看成是一个生物个体，因此一般要求用一条 染色体( c h r o m e s o m e ) 来表示，即用一组有序排列的基因( g e n e ) 来表示。这就要求当原问题 的优化模型建立之后，还必须对原问题的解( 即决策变量，如优化参数等) 进行编码。 遗传算子：应用下述三种操作( 至少前两种) 来产生新的群体： 复制：把现有的个体字符串复制到新的群体中。 变异；将现有的字符串某一位的字符随机变异。 交叉：把两个父代个体中的部分结构加以替换重组而生成新个体的操作。 一般说，进化计算包含以下步骤： ( 1 ) 进化代数计数器初始化：r _ 0 ( 2 ) 随机产生初始种群p ( t ) 7 山东师范大学硕士学位论文 ( 3 ) 评价群体p ( t ) 的适应度。 ( 4 ) 个体重组操作：p ( f ) - r e c o m b i n a t i o n p ( t ) ( 5 ) 个体变异操作：p ”( ，)m u t a t i o n p ( f ) ( 6 ) 评价群体p ”( f ) 的适应度。 ( 7 ) 个体选择、复制操作：p ( t + 1 ) 卜r ep r o d u c t i o n p ( t ) up “( 明 ( 8 ) 终止条件判断。若不满足终止条件，则：t 卜，+ 1 ，转到第( 4 ) 步，继续进行进化 操作过程；若满足终止条件，则输出当前最优个体，算法结束。 1 1 2 进化计算的分类 目前研究的进化算法主要有三种典型的算法：遗传算法、进化规划和进化策略。这三 种算法是彼此独立发展起来的，各自有不同的侧重点，不同的生物进化背景，各自强调了 生物进化过程中的不同特性。为了对各种进化计算方法进行分析和比较，我们分别对遗传 算法、进化规划和进化策略的特点做了归纳总结。 遗传算法由美国j h o l l a n d 仓l j 建，后由k d ej o n g ，dg o l d b e r g 等人进行了改进。遗传算 法的主要特点是： ( 1 ) 遗传算法必须通过适当的方法对问题的可行解进行编码。解空间中的可行解是个 体的表现型，它在遗传算法的搜索空间中所对应的编码形式是个体的基因型。 ( 2 ) 遗传算法中，个体的重组技术使用交叉操作算子。这种交叉操作算子是遗传算法 所强调的关键技术，是遗传算法产生新个体的主要方法，也是遗传算法区别于其他进化算 法的主要特点。 进化策略是6 0 年代由德国的i r e c h e n b e r g s n h r s c h w e f e l 开发出的一种优化算法。当初 开发进化策略的主要目的是为了求解多峰值非线性函数的最优化问题。随后，人们根据算 法的不同选择操作机制提出了许多不同种类的进化策略，这些不同的进化策略在很多工程 问题上都得到了一定程度的应用。与遗传算法相比，进化策略具有下面的一些主要特点： ( 1 ) 进化策略中各个个体的适应度直接取自它所对应的目标函数值。 ( 2 ) 个体的变异操作是进化策略中所采用的主要搜索技术，而个体之间的交叉操作只 是进化策略中所采用的辅助搜索技术。 ( 3 ) 进化策略中的选择运算是按照确定的方式来进行的，每次都是从群体中选取最好 的几个个体，将它们保留到下一代群体中。 进化规划是6 0 年代由美国的l jf o g e l 等为求解预测问题而提出的一种有限状态机进 化模型，在这个进化模型中，机器的状态基于均匀随机分布的规律来进行变异。9 0 年代， db f o g e l 又将进化规划的思想拓展到实数空间，使其能够用来求解实数空间中的优化计算 r 进化计算和人工神经网络在多目标优化问题中的应用 问题，并在其变异运算中引入正态分布的技术，这样，进化规划就演变成为一种优化搜索 算法，并在很多实际领域中得到了应用。与遗传算法和进化策略相比，进化规划的主要特 点是： ( 1 ) 进化规划对生物进化过程的模拟主要着眼于物种的进化过程，所以它不使用个体 重组方面的操作算子，如不使用交叉算子。 ( 2 ) 进化规划直接以问题的可行解作为个体的表现形式，无需再对个体进行编码处 理，这样便于其应用。 1 1 3 进化计算的本质优点与适用领域 为了求解各种优化问题，人们已经发展了各种各样的优化算法，如单纯形法，剃度 法，模拟退火算法，神经网络算法等。这些优化算法各有各的长处，各有各的适用范围， 也各有各的限制。相比于其它优化算法，进化计算的主要优点是： ( 1 1 以优化变量的遗传编码为运算、搜索对象。传统的优化算法往往直接利用优化变 量的实际值本身进行优化计算，但进化计算不是直接以原优化变量的值，而是以优化变量 的菜种形式的遗传编码为运算对象。这种对优化变量的编码处理方式使得我们在优化计算 过程中，可以借鉴生物学中的染色体和基因等概念，可以模仿自然界中生物进化机制与遗 传变异原理，也使得我们可以方便地应用遗传、进化等操作算子。另夕 ，对一些非数值概 念或很难用数值概念而只能用代码的优化问题( 这类问题称为非数值优化问题) ，进化算 法的这种处理方式显示其独特的优越性。 ( 2 ) 只应用“适应值”信息，而勿需应用目标函数的具体值及其它辅助信息。传统 优化算法不仅依赖于直接应用目标函数的具体值，而且也往往需要应用目标函数的导数值 等其它一些辅助信息来确定搜索方向。而进化计算通常仅使用由目标函数变换来的适应度 值指导搜索。注意到，评价个体的适应度可以不依赖于目标函数的恰好估值( 例如只要知 道排序关系) ，这使得进化计算不仅可以方便地应用于那些有目标函数的，但很难求导数， 或导数不存在的优化问题( 特别如组合优化与非光滑优化问题) ，而且，更重要地，可应 用于那些目标函数无明确表达，或有表达但不可精确估值的优化问题。 ( 3 ) 非单点操作，使用群体搜索策略。传统优化算法往往是从解空间中的一个初始点 出发的单点迭代( 从而形成解空间中的一条轨迹) 。单个点所提供的搜索信息毕竟不多， 因而其搜索效率不高，有时甚至使搜索过程陷于局部极值而停滞不前。进化计算是从由多 个个体所组成的初始种群起始的种群空间中的迭代过程( 从而形成个体空间中的多条轨 迹) ，其搜索过程的每一步利用了种群中各个体所提供的信息( 即群体信息) 。这些信息可 以避免一些不必要的搜索的点或区域，从而既提高了搜索效率，也更大程度上避免了陷于 局部极值。另外，进化计算的群体搜索机制使其具有自然的并行性，从而适宜于在当代或 未来以分布、并行为特征的智能计算机上发挥潜能。 ( 4 ) 使用概率搜索机制。很多传统优化算法使用的是确定性的搜索方法，一个搜索点 山东师范大学硬士学位论文 到另一个搜索点的转移有确定的转移关系，这种确定性使得算法的搜索具有定向性，从而 很难达到问题的全局最优解，而且数值稳定性不好。进化计算在计算的各个步骤使用概率 转移规则，因而是一类导向的随机搜索技术( d i r e c t e d r a n d o ms e a r c h ) 。特别是，其选择、繁 殖( 交叉、变异等) 等操作都是以一定概率的方式进行的，采用的是“软选择”与“让步 策略”，它能以一定概率接受不一定好的个体，从而大大提高了算法跳出局部极值陷阱 的能力。另外，概率搜索机制的一个自然优点是相应算法的稳健性( r o b u s t n e s s ) ，进化计算 也具有这一特征。 这样，概括起来说，进化计算具有通用、并行、稳健、简单与全局优化能力强等突出 优点。 上述特别优点决定了进化计算的使用范围应该是复杂、困难的全局优化问题，而不是 通常的数值优化问题。一个优化问题称为是复杂的，通常指它具有下述特征之一： f 1 1 目标函数没有明确的解析表达式( 如非数值优化问题) ； f 2 1 目标函数虽有明确表达，但不可能恰好估值( 如大部分最优控制问题，金融优化 问题) ； ( 3 、目标函数有极多的峰值( m u l t i m o d a l ) ( 如d n a 计算，组合优化问题) ； ( 4 ) 多目标。 对于这些复杂、困难的优化问题，己知的优化方法或者根本不可用，或者可应用但不 有效。相比之下，进化计算不但保证可应用，而且常常显得更为有效。目前，进化计算已 成功地应用到多目标优化问题，人工神经网络训练、数据挖掘、各种图论与网络中的组合 问题。 大量事例和迹象表明，进化计算的机理非常适合求解多目标优化问题，因为进化计算 通过代表整个解集的种群进化，以内在并行的方式搜索多个非劣解，决策者可以在多个解 中选择决策方案，这对于解决多目标优化问题是非常诱人的。 1 2 人工神经网络 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，简称a n n ) 是一类由结点相互联 结所组成的计算模型，每一结点通过简单的运算完成从输入到输出的计算，然后这一输出 结果通过连接传到其它结点( 理论上亦可传到自身) 。这一相当简单的计算模型被称为“人 工神经网络”或简称为“神经网络”，其原因在于它是大脑神经系统的模拟：结点对应神 经元，连接对应神经元传递信号的突触。 长期的自然进化赋予了人脑许多现代计算机所不具备的良好性质，这些性质包括： 巨量并行性 分布式表示和计算 学习能力 推广能力 进化计算和人工神经两络在多目标优化问题中的应用 自适应能力 容错能力 低能耗等 人工神经网络的目的是希望基于生物神经网络原理而设计的设备或算法具有这些所 希望的性质。 由于神经网络是一计算模型且较之现代数字计算机功能更为强大，因此，那些在现彳亏 计算机上可完成的工作均可由神经网络来完成，这也是不同学科的专家进入人工神经网绍 研究和应用领域的主要原因。 1 2 ，1 人工神经元的数学模型 人工神经网络是在对人脑组织结构和运行机制的认识理解基础之上模拟其结构和籍 能行为的一种工程系统。早在本世纪4 0 年代初期，心理学家m c c u l l o c h 、数学家p i t t s 劾 提出了人工神经网络的第一个数学模型，从此开创了神经科学理论的研究时代。其后， f r o s e n b l a t t 、w i d r o w 和h o p f , j j h o p f i e l d 等学者又先后提出了感知模型，使得人工神经 网络技术得以蓬勃发展。 一个人工神经元是生物神经元的极度简化，它的结构如图1 1 所示。 图表卜】神经兀的结构模型 上述模型可以描述为： o - ，= w f x j + 5 ，_ - - ； “，= g ( a ) y ，= 矗( “，) = ，( 盯，) = ，( w 。x ，+ 一 j 其中x 。x ：x 。为输入信号， 。为神经元内部状态，日，为域值，w 。为“，到。连接的权 值，s ，表示外部输入信号( 在某些情况下，它可以控制神经元 ，使“，可以保持在某一状 态1 ，( ) 为激发函数，y ，为输出，= h + g 。 1 1 山东师范大学硕士学位论文 当神经元没有内部状态时，可令y ，= ”，( ) = g ( ) 。通常的情况是没有s ，的。此时 每一个神经元的输入接受前一级神经元的输出，因此，对神经元，的总作用o - 为所有输入 的加权和减去阈值( 若无闽值就不减了) ，此作用引起神经元i 的状态变化，而神经元i 的 输出y ，为其当前状态盯，的函数。 上面都是针对稳定状态来说的，如果考虑到反映时间，那么必须用微分方程来表示神 经元的状态变化，在最简单的情况下，以下的式子成立 r 警怛= w 一只 y ，( ，) = f ( e r ，( f ) ) 即在最简单的情况下，神经元的状态与输入成正比例，而且向某一个状态衰减。 1 2 2 人工神经网络的研究分类 按照人工神经元网络运行过程中信息的流向来分类，可分为前馈型和反馈式以及它们 的结合。前馈型网络通过许多具有简单处理能力的神经元的复合作用，使整个网络具有复 杂的非线性映射能力。从计算的观点看，前馈型神经元网络大部分是学习网络而不具有动 力学行为。而反馈式神经元网络，通过网络神经元状态的变迁而最终稳定于某一状态，从 而得到联想存储或者神经计算的结果。在反馈式网络中，所有节点( 单元) 都是样的， 它们之间可以相互连接，所以反馈式神经元网络可以用一个无向的完备图来表示。从系统 观点看，反馈网络是一个非线性动力学系统。它必然具有一般非线性动力学系统的许多性 质，如稳定问题，各种类型的吸引子以至混沌现象等。在某些情况下，还有随机性和不可 预测性等，因此，比前馈型网络的内容要广阔和丰富的多，提供了人们可以从不同方面来 利用这些复杂的性质以完成各种计算功能。 反馈式的单层网络有多种，h o p f i e l d 网络是其中最典型的代表。它分为离散和连续型 两类。h o p f i e l d 网络是一个动力学系统，在确定连接权重之后，若输入某个图形( 矢量) ， 网络将不断演化，一般情况下，系统将趋向某一个定态，称为状态空间中的不动点吸引子， 这个定态便是网络的输出图形( 矢量) 。 反馈式和前馈型神经元网络的比较如下： ( 1 ) 前馈型神经元网络取连续或离散变量，一般不考虑输出与输入在时间上的滞后效 应，只表达输出与输入的映射关系。反馈式神经元网络可以用离散变量也可连续取值，考 虑输出与输入之间在时间上的延迟，因此，需要用动态方程( 差分方程或微分方程) 来描 述神经元和系统的数学模型。 ( 2 1 前馈型网络的( 训练) 主要采用误差修正法( 如b p 算法) ，计算过程一般比较慢， 收敛速度也比较慢。而h o p f i e l d 网络的学习主要采用h e b b 规则，一般情况下计算的收敛 进化计算和人工神经网络在多目标优化阿题中的应用 速度很快。它与电子电路存在明显的对应关系，使得该网络易于理解和易于用硬件实现。 ( 3 ) h o 面e l d 网络也有类似子前馈型网络的应用，例如用作联想记忆或分类，而在优 化计算方面的应用更加显示出h o p f i e l d 网络的特点。联想记忆和优化计算是对偶的。当用 于联想记忆时，通过样本模式的输入给定网络的稳定状态，经过学习求得突触权重值；当 用于优化计算时，以目标函数和约束条件建立系统的能量函数确定出突触权重值，网络演 变到稳定状态，即是优化计算问题的解。 1 2 3 人工神经网络的应用及研究方向 人工神经网络作为一种新的方法体系， 和鲁棒容错等特性，这使得它在模式识别、 都优广泛的应用。 具有分布并行处理、非线性映射、自适应学习 控制优化、智能信息处理以及故障诊断等方面 目前，神经网络的研究可以分为理论研究和应用研究两大方面。 理论研究可分为以下两类： f 1 ) 利用神经生理与认知科学研究大脑思维及智能机理。 ( 2 1 利用神经科学基础理论的研究成果，用数理方法探索智能水平更高的人工神经网 络模型，深入研究网络的算法和性能( 如稳定性、收敛性、容错性、鲁棒性等) ，开发新 的网络数理理论( 如神经网络动力学、非线性神经场等) 。 应用研究可分为以下两类： ( 1 ) 神经网络的软件模拟和硬件实现的研究。 ( 2 ) 神经网络在各个领域中应用的研究，这些领域主要包括模式识别、信号处理、知 识工程、专家系统、优化组合、智能控制等。 随着神经网络理论本身以及相关理论、相关技术的不断发展，神经网络的应用必将更 加深入和广泛。 1 3 多目标优化问题的基本概念 在实际应用中，人们经常遇到需要使多个目标在给定区域上均可能最佳的优化问题。 例如在设计新产品时，既要考虑使产品具有较好的性能，又要考虑使其制造成本最低，同 时还要考虑产品的可制造性、可靠性、可维修性等，这些设计目标的改善可能相互抵触， 譬如好的可维修性会引起可靠性的降低，因此需在这些设计目标之间取一折衷结果。再如 投资问题，一般希望所投入的资金量少，风险最小，且获得的收益最大。这种多于一个的 数值目标在给定区域上的最优化问题一般称为多目标优化问题( m o p ：m u l t i o b j e c t i v e o p t i m i z a t i o np r o b l e m ) 。多目标有时也称多准则、多属性或多指标，目标分为总目标和子 目标，这里所谓的多目标优化是指对多个子目标同时实施最优化。 m o p 的本质在于大多情况下各子目标可能是相互冲突的，某子目标的改善可能引起 山东师范大学硕士学位论文 其它子目标性能的降低，即同时使多个子目标均达到最优般是不可能的，否则就不属于 多目标优化研究的范畴解决m o p 的最终手段只能是在各子目标之间进行协调权衡和折衷 处理，使各子目标函数均尽可能达到最优因此m o p 的最优解与单目标优化问题的最优解 有着本质上的区别为了正确求解m o p 必须对其解的概念进行定义。 1 3 1 多目标优化的数学模型 数。 m i n ( z 】，x x 。) ( 131 ) m i n ：( z 1 ，z 2 ，z 。) g ，( ，j 。) 2o ，= l ，p s t h i ( x l ，x 。) = o ，= 1 ，g 其中n 个变量称为决策变量，x = ( 一，x n ) 称为决策向量。 ；( x ) ：，( - ，x 。) ，卢1 ，朋称为目标函数。f ( x ) = ( z ( x ) ， ( z ) ) 7 称为向量目标函 烈破驰脚约束礅称。= p ”i 善留崭可臧 记为向量形式，则为 1 3 2 几个重要概念 l i 。，( x ) ( 132 ) x d 、 绝对最优解：设z d ，若对搬d ，# 1 ，埘都有l ( x 4 ) 五p ) 成立，则称x n ( 13 2 ) 的最优解。 向量的自然序：设d = ( q ，) 7 ，b = ( 鱼，6 。) 7 是i l l 维向量， ( 1 ) 若a ，= b ，( i = l ，埘) ，则称向量a 等于向量b ，记口= b ( 2 ) 若口，b l ( f _ l ，) ，则称向量a 小于等于向量b ，记a b 。 ( 3 ) 若a ，b ( i = 1 ，卅) ，且其中至少有一个严格不等式成立，则称向量口小于 向量b ，记为a 三b 。 1 4 进化计算和人工种经网络在多目标优化问题中的应用 ( 4 ) 若口， o 时，x + 不是( m o p ) 的非劣解； 其中否是下述辅助规划问题的最优函数值 占= n 掀6 ：占j s t7 3 ( 两一8 i =