（农业电气化与自动化专业论文）基于数据场聚类的模糊神经网络算法的研究.pdf

江苏大学硕士学位论文 摘要 系统辨识是控制理论研究的一个十分重要的分支，是控制系统设计的基础。 多年来，对于线性、非时变系统的辨识已取得了很大的进展。但是，随着人类社 会的发展进步，越来越多的非线性现象和非线性系统已经引起了研究者们广泛关 注，而建立描述非线性现象和非线性系统的模型是研究非线性问题的基础。由于 具有复杂非线性的系统不能简单地用线性模型来描述，所以研究非线性系统建模 方法有着很重要的实际意义。 对于非线性系统的辨识，目前还存在着很多困难，常用的方法有两种：一是 用多线性模型在平衡点附近近似描述非线性系统，这对于严重的非线性系统如何 做到平稳切换，减小系统误差仍然缺乏有效的手段；二是根据被控对象已知的信 息，选择与之相近的非线性模型。模糊模型辨识就属于后者，由于其具有可以在 任意精度上逼近任何非线性函数，能够得到被控对象的定性与定量相结合的模型 等优点，而受到广大学者的青睐。 本文提出了一种基于数据场聚类的模糊神经网络建模方法。首先，通过数据 场聚类对实验数据样本进行规则自提取，得到模糊神经网络模型的初始参数。然 后，输入训练样本对网络模型进行训练，当拟合误差小于期望误差时，停止训练， 从而获得模型参数，进而确立模型。最后，用测试样本检测模型的泛化能力并计 算预测误差。此聚类算法可以在线地划分输入数据，自己组织模糊神经网络的结 构，且不需要知道输入数据的分布情况。随着输入数据的增多，规则数将自动增 加，并且训练完的模糊神经网络无矛盾规则。 为了验证模糊神经网络此算法的有效性，本文将其应用到非线性单入单出和 多入单出的动态系统辨识中。仿真结果表明，此模型可以很好的辨识非线性系统， 并且在提取规则方面具有不依赖于模糊规则初始参数的选择，能够识别任意大小 和密度的非球形规则以及对噪声数据不敏感等优点。 关键词：数据场聚类，模糊规则，神经网络，非线性系统 江苏人学硕士学位论文 a b s t r a c t s y s t 锄l d e n t i l e i c a t i o ni sav e r yi m p o r t a n tb r a n c ho fc o n t m lt h e o r c t i c sr e s e a r 曲， 强dab a s i so fc o n t i 0 ls y s t e md e s i 盟o v e rt h ey e a r s ，m el i n e a rt i m e - i n v a r i 锄ts y s t 锄 i d e i l t i f i c a t i o nh a sm a d eag r e a t p r 0 伊e s s h o w e v w i t ht h ed c v e l o p m e n t 锄d a d v a n c e m 吼to fh i l l l a l ls o c i e 劬m o r ea n dm o r en o n l i n e a r p h e i l o m e i l aa n ds y s t 锄s h a v ea r o u s e dw i d e s p r e a dc o n c a mo ft h er e s e a r c h e r s ，a i l dt h em o d e l se s ta ：b l i s h m e mo f n o i i n e a rp h e n o m e n o na i l d1 1 0 i l l i i l e a rs y s t e i l li sab a s i st os t u d yn o l l l i n e a rp r o b l e i l l b e c a 吣ec o m p l e xn o n l i n e a rs y s t e m sc a nn o ts i m p l yu s e1 i n e a rm o d e l st od e s 嘶b e ，m e 咖d y o fn 0 i d i n e a rs y s t e mm o d e l i n gt h e o 巧h a sav e r yi m p o r t a i l tp r a c t i c a ls i 印i f i c a i l c e a tp r e s e n t ，t h e r ea r es t i um a i l yd i 伍c u l t i e si ni d e n t i f i c a t i o no fn o n l i n e a rs y s t e m s u s u a l l yt h e r ea r et w om e t h o d s ：o n ei st ou s em u l t i l i n e a rm o d e lt od e s c r i b en o m i n e a r s y s t e m s 印p r o x i m a t e l yi nt l l en e a rb a l a n c e ，b u tm a ts t i l ll a c k se 毹c t i v em e a i l st om a l ( e t h es e r i o u sn o n l i n e a rs y s t e mg e tas m o o t hs w i t c ha n dr e d u c es y s t e me n d r ；t h eo t h e ri s t oc h o o s eas i m i l a rn o n l i n e a rm o d e la c c o r d i n gt ot h ek n o w l li n f o m a t i o no ft h e c o n t r o l l e do b j e c t f u z z ym o d e l i d e n t m c a t i o nb e l o n g st om el a t t i tc a n 印p r o a c h a l l y n o n l i n e a r 缸l c t i o na ta n yp r e c i s i o na n da c q u i r et h em o d e lo fc o n 觚l l e do b j e c tw i t l l t h eq u a l i t a t i v ea 1 1 dq u a l l t i t a t i v ec o m b i n a t i o n ，m e s ea d v a l l t a g e sg e tt h ef a v o u ro fm e 伊e a tm 旬o r i t yo fs c h o l a r s t h i sp a p e rp r e s e n t sam e m o do f 如z z yn e u r a ln e 觚o r km o d e l i n gb a s e do nt h e d a t af i e l dc l u s t e r f i r s t ，e x t r a c tt h em l e sb yt h ed a t af i e l dc l u s t t oa c h i e v et h ei n i t i a l p a r 锄e t e r sf o rm z z yn e u r a ln e “v o r km o d e l t h e n ，i n p u tm es a m p l e st ot r a i nt h e n e 觚o r km o d e l ，w r h e n f i t t i n ge 玳) r s a r el e s st h a ne x p e c t e de 啪r s ，s t o pt r a i n n i n 吕 t h e r e b yg e tm ep a r 姗e t e r sa j l de s t a b l i s ht h em o d e l f i n a l l y ，u s et h et e s ts a m p l e st o d e t e c tt h eg e n e r a l i z a t i o na b i l i 哆o fm o d e la n dc a l c u l a t ei t s f o r e c a s t i n ge r r o r s 1 1 l l i s c l u s t e r i n ga l g o r i t l l mc a no n l i n ep a n i t i o nt h ei n p u td a t a ，s e l f o 唱a n i z et h e 如z z yn e u r a l s 锄c t l 鹏，a 芏1 dd o e sn o tn e e dt o1 ( 1 1 0 wt h ed i s t m u t i o no ft h ei n p u td a t a t l l em l e sw i l l b ei n c r c a s e da u t o m a t i c a l l yw i t hm o r ei n c o m i n gd a t 如a n dt h e r ea r en oc o n n i c t i n g n l l e si nm ec r e a t e d 向z z yn e u r a ln e 撕o r k t 6t e s tt h ee j b e e e t i v e n e s so ft m s 龟z z yn e u 豫ln 9 t w o r ka l g o r i t h m ，w eu s ei tt 0 i d e i 】l t i 矽n o m i n e a rs i n 西e i 印u t - s i n 百e - o u t p u t a n d m u l t i p l e i n p u t s i n 百e o u t p u t d y n 锄i cs y s t e m s t h es i m u l a t i o nr e s u l t ss h o wt h a tt l l i sm o d e lc a nb eav e r ) rg o o d i d e l l t i 矗c a t i o no fn o n l i n e a rs y s t e l l l s ，a i l di th a ss o m ea d v a i l t a g e si n l ew a yo f e x 妇c t i n gr u l e s ，s u c ha sb e i n gi n d e p e i l d e n to nt h ec h o i c eo fi 1 1 i t i a lp a r a m e t e r so f f i l z z yr u l e s ，b e i n ga b l et 0i d e l l l i 黟n o n s p h e f i c a lr u l e sw i 也a n ys i z ea n dd s i 坝a n d b e i f 培1 1 0 ts e i l s i t i v et om en 。i s ed a t 啪 k e y w o r d s ：d a t af i e l dd u s t e r i n 吕f u z z ym l e ，n e u r a ln e 咐o r k ，n o i d i n e a rs y s t 锄 i i 江苏大学学位论文版权使用授权书 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密u 。 学位论文作者签名： 办二潋 导师签名： 签字日期：】，、僻办，汨签字日期：刁列寥年6 月2 日 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已经注明引用的内容以外，本论文 不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的 研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人 完全意识到本声明的法律结果由本人承担。 学位论文作者签名：夕k 乞以l 日期：月 f0 日 江苏大学硕士学位论文 互作用和空间分布，根据数据场中等势线( 面) 分布的自然嵌套结构和数据力场 中数据对象间的自组织聚集特性来实现原始数据的层次划分。根据数据势场的拓 扑结构，可以提出一种基于势场拓扑的层次聚类算法。其基本思想是引入数据势 场描述数据对象间的相互作用和空间分布，通过将每个等势线( 面) 所包含的数 据对象视为一个自然的数；童鞭缉堕| 薹薹霎l 粤l 蒴彰鬃簖蕊匿沦_ 囊两刁磲甥霎晕 器冒磊鍪圆随键潋作秀强。燮堪蒂雾扭獬幽羹防巴肄磊霎型馏篓；覆磊暨g 瓮墓 夸孽凌塑茧薹刮盛嘶箅到稿萋广：泛萋懿朗篓捌l ；蕊隧罐鼍磷鼍莹赢睡 掣珠疆磁犏锰萋整熙辩驰阳殂薛：醛睡；雯蓁裂人慝型雾霎夏豢驯羹痰骆婴番翟 型矗鲤；玲攫旗狴警刊筏坦龠而抻丝那薛彤酲嗣鞭制蜷霎雾；缌苍雠倒呵忿罄嚷 黧淄璞涩錾霉孱戳裂；醛翳翁骶辨糯系统和神经网络均能为复杂系统引入智能特性，但两者具有许 多不同之处。神经网络是可以训练的动态系统，其基于联接机制和分布式的数据 存储方式，使它具有一定的自学习、自组织和自适应的能力。神经网络是由大量 高度互连的处理单元( 节点) 构成，能够通过训练样本或数据进行学习和总结， 实现高度复杂的非线性映射。但是，由于神经网络的隐层对使用者来说是不透明 的，其映射规则是不可见的和难于理解的，从而使如何确定一个网络的结构和规 模成为神经网络领域的一个主要研究课题。 另一方面，模糊逻辑系统是结构化的数值估计器。它以模糊逻辑为基础，将 来自现实世界的人类经验描述成模糊“i f t h e n ”规则，其输入模糊值( 以隶属 度数值表示的语言变量，表示该变量对相应模糊集合隶属的程度) 与模糊规则库 中的规则前件相匹配，并通过模糊蕴涵运算获得每一个规则的推理结果。这一过 程抓住了人类思维中的模糊性特点，以模仿人的模糊综合判断推理来处理常规方 法难以解决的模糊信息处理的难题。但是，模糊逻辑缺乏学习和自适应能力，模 糊逻辑系统隶属度函数的选取和模糊规则的确定依经验而定，具有主观性。因此， 模糊逻辑系统的研究工作着重于如何建立模糊规则库和隶属函数。 把模糊逻苟蹋凸钩闪艘焕 x 江苏火学硕士学位论文 新的系统一模糊神经网络系统1 3 】( f u z z yn e u r a ln e m o r ks y s t e n l s ，简称n s ) 。 模糊逻辑与神经网络相结合，可以有效地发挥其各自的优点并弥补不足。模糊逻 辑的特长在于逻辑推理能力，容易进行高价的信息处理，将模糊逻辑引入神经网 络，可极大地拓宽神经网络处理信息的范围和能力，使其不仅能处理精确信息， 也能处理模糊信息或其他不确定性信息，不仅能实现精确性联想及映射，还可实 现不精确性联想及映射，特别是模糊联想及模糊映射。神经网络在学习和自动模 式识别方面有极强的优势。采用神经网络技术来进行模糊信息处理，则使得模糊 规则的自动提取及模糊隶属度函数的自动生成有可能得以解决，使模糊系统成为 一种自适应模糊系统。 模糊神经网络系统作为模糊逻辑系统与神经网络有机结合的产物，继承了传 统模糊逻辑系统的隶属度函数的选取和规则数的确定严重依赖于经验选择，但是 专家经验往往是不全面甚至是片面的，带有主观性。而这些初始参数的选择对于 模糊神经网络算法的成功是很关键的。如果所选择的初始参数接近于最优解，则 算法就很快能收敛于最优解；否则，算法可能收敛于一个非线性最优解甚至不收 敛。针对此种情况，人们将数据挖掘中聚判4 】的方法引入到了模糊控制中，实现 了规则的自主提取。 聚类方法是从冗杂信息中提取有用信息的一种数学方法。根据相似性度量和 聚类评价准则等的不同，常用的聚类方法大致包括划分方法、层次方法、基于密 度的方法和基于网格的方法等。基于划分方法的优点是简单且保证至少得到目标 函数的局部最优解，但它的缺陷在于：无法知道收敛到的聚类结果与最佳的可能 聚类结果相比的好坏程度；初始值的选择会影响算法的收敛结果。基于层次方法 的优点是不需要用户预先确定聚类个数，能够得到不同粒度上的多层次聚类结 构，缺点是时间复杂度比较高，错误的类合并( 或类分裂) 决策会导致低质量的 聚类结果。基于密度方法的优点是能够发现任意形状和大小的聚类，能够处理大 量的噪声或离群数据，缺点是聚类质量严重依赖于用户仔细选择的参数。基于网 格方法的优点是算法处理时间与对象个数无关，具有良好的效率和可扩展性，但 聚类质量依赖于网格划分的量化尺度。 通过对上述常用聚类算法的分析和比较，我们引用了一种基于数据场的聚类 方法，其基本思想是从发现状态空间思想出发，引入数据场描述数据对象间的相 2 江苏大学硕士学位论文 互作用和空间分布，根据数据场中等势线( 面) 分布的自然嵌套结构和数据力场 中数据对象间的自组织聚集特性来实现原始数据的层次划分。根据数据势场的拓 扑结构，可以提出一种基于势场拓扑的层次聚类算法。其基本思想是引入数据势 场描述数据对象间的相互作用和空间分布，通过将每个等势线( 面) 所包含的数 据对象视为一个自然聚类，将不同等势线( 面) 组成的嵌套结构视为类谱系图来 实现不同层次的聚类划分。考虑到当单位势函数的积分值有限时，数据场的势函 数与概念密度函数仅差一个归一化常数，不同等势线( 面) 组成的嵌套结构实际 上也对应着不同密度的层次划分，因此，该方法有效结合了层次聚类和密度聚类 的优点，在提取规则方面具有不依赖于用户参数的仔细选择，能够识别任意大小 和密度的非球形规则，对噪声数据不敏感等优点，实现了系统的最优控制。 总之，将模糊技术、神经网络和聚类协调地使用于一个系统中，与纯粹的模 糊神经网络算法相比，学习性能更好，学习时间更短，同时克服了神经网络学习 过程容易陷入局部最优的缺点，并使模糊规则的自动获取和隶属函数的学习成为 可能。三者的结合是计算智能和智能控制领域的一个重要研究方向。 1 2 国内外研究现状及发展趋势 1 2 1 模糊控制理论的发展、现状及其趋势 自本世纪六十年代以来，现代控制理论已经在许多方面取得了成功的应用， 随着科学技术的迅猛发展，对控制系统在精度、响应速度、系统稳定性等方面的 要求都越来越高，现代控制理论是基于精确数学的基础，而由于一系列的原因， 诸如被控对象或过程的非线时变性、多参数间的强耦合等等，难以建立被控对象 的精确模型。采用传统的控制方法有时往往不如一个有实践经验的操作人员所进 行的手动控制效果好。而操作人员是通过不断学习、积累操作经验来实现对被控 对象的控制的，包括对被控对象特征的了解、在各种情况下应进行的操作行为等， 这些经验信息是以自然语言方式表达的，是模糊的，使得人们无法通过现有的定 量控制理论对其进行处理。1 9 6 5 年美国加州大学的l a z a d e h 博士在其f l l z z y s e t s ， f u z z ya l g o r i t h m 和ar a t i o n a l e 蠡wf u z z yc o n 仃o l 等论文中首 先提出了模糊集合和模糊控制的理论。其核心是对复杂的系统或过程建立一种语 3 江苏大学硕士学位论文 能利用i f t h e n 规则，如果能把我们人类多种多样的表达知识及信息的形式能够 利用模糊系统表示出来，且是具体的数学表达式，必须能够进行数值计算，同时 必须符合常理并具有可解释性。这是一个非常具有挑战性的方向，而一旦在这个 毳蓁蛩群尉囊；舅静盟蓁缨”麓萋妻嘤聂嘲名幽围i 伞圆篆聚等磺封垒暨生萱纠 晕列羲； ；萋二耋耋薹型羹羹冀冀；墓薹 的提出，算法的收敛性分析，及学 习完成后模糊系统的性能分析。这个方向的研究又可进一步分为两种情况：一种 是数据可以任意采样或已知数据的概率分布且数据的个数可假设趋于无穷；另一 种情况是只给出有限个数据采样点且数据的分布不能人为控制。第一种情况容易 得出比较深入的理论结果，但假设条件太强，与大部分实际情况不符。第二种情 况更加贴近于实际，但理论分析起来要困难得多。虽然两种情况的研究都很有必 要，但重点应放在第二种情况。目前，这两个方面的理论研究都非常欠缺。往往 人们只给出算法的具体步骤，然后进行大量仿真，很少见到严格的理论分析与证 明。神经网络在这个方面的研究成果也是比较少的。由于神经网络的参数缺少明 确的物理意义，分析起来比模糊系统更加困难一些。这个方向的一种研究思路是 利用模糊系统的分解特性，在小的局部进行简化， 从而得到收敛性的结果。 方向4 ：针对高维情况( 输入变量众多) 的模糊系统方法。解决高维问题的途 径有两种：一是减少输入变量的个数，即只考虑重要的因素而忽略次要的因素； 二是找到或有效地刻划输入变量之间的相互依赖关系，在输入空间中引入结构， 从而限制搜索的范围。第一种途径比较简单，但需要有效的方法来排列变量的重 要程度，寻找这样的方法是非常有实用价值的研究方向。第二种途径是非常好的 研究方向，目前这个方向的研究成果不多。多层模糊系统是方法之一，利用决策 树的概念划分输入空间也是非常值得深入研究的课题。新的结构提出以后，还要 像方向2 和方向3 中所说的那样进行系统的静态解剖及动态分析。经典方法中投 影跟随是针对高维问题的好方法。由于神经网络的结构具有投影跟随的特点，而 又比投影跟随更具一般性，所以神经网络在很多实际问题中得到了成功的应用 ( 大部分实际问题是高维的) 。标准的模糊系统不具有适应高维的特点，所以必须 改革，提出适应高维情况的新的结构及相应的学习算法。 方向5 ：能够利用其它知识及信息表达形式的模糊 江苏大学硕士学位论文 溶合成一种新技术。这些问题采用何种方法可以解决，其技术形式如何，其效果 如何检验等等，按实际技术用途的方法而言，目前较多的是往往考虑的是神经网 络与模糊逻辑的宏结合形式。 神经网络和模糊系统的结合目前主要体现在五个方面： 第一，模糊集合的概念应用于神经网络的计算和学习，从而在普通神经网络 的基础上发展各种模糊神经网络，典型的有模糊感知器、模糊a r t 和模糊聚类网； 第二，利用神经网络的学习能力提取模糊规则或调整模糊规则参数； 第三，用模糊技术提高神经网络学习性能； 第四，用神经网络实现一个已知的模糊系统，以完成并行模糊推理； 第五，构造完整意义上的模糊神经网络模型和算法； 广义地讲，一、四、五都属于模糊神经网络的范畴，其中对一、四的研究较 早，较成熟。近5 年来，有关模糊神经网络的重要研究都集中在第五方面，产生 了许多理论和应用成果，同时亦对模糊神经网络提出了挑战。 今后的研究着重于以下几个方面： 第一，目前模糊神经网络模型的研究主要是神经网络的模糊化和模糊系统的 神经网络化，本质上还局限于模糊集合、模糊推理和传统神经网络的框架，很少 从人脑对模糊信息的处理机制上考虑问题，这一方面当然需要神经生理学的研究 成果为依托，但另一方面工程研究人员更应该从智能问题本身的角度创造性地设 计模糊神经网络模型，体现新的解决智能问题的思想。在模型层次上的研究是模 糊神经网络取得突破的基础。 第二，现有的模糊神经网络的计算理论是基于数值的，因此计算量是一个严 重障碍，建立语言层上的计算理论非常必要。z a d e h 提出的文字计算( w 0 r d c o l n p u t i n 妙概念可以作为一个引导，今后的工作是在语言层上建立对应于数值层 上的四则运算、积分微分和函数等计算方法。如果认为语言层计算的精度存在 问题，可以通过数值层上的计算改善模型精度。 第三，加强反馈模糊神经网络的研究。反馈模糊神经网络可以有效解决成组、 约束和动态学习，以及空间关系学习等许多单向模糊神经网络很难解决的问题。 第四，要吸收其他领域的重要研究成果，促进模糊神经网络的发展。像基因 算法就对模糊神经网络的学习有重要影响，现在的支持向量( s v m ) 和子波等理论 9 江苏大学硕士学位论文 溶合成一种新技术。这些问题采用何种方法可以解决，其技术形式如何，其效果 如何检验等等，按实际技术用途的方法而言，目前较多的是往往考虑的是神经网 络与模糊逻辑的宏结合形式。 神经网络和模糊系统的结合目前主要体现在五个方面： 第一，模糊集合的概念应用于神经网络的计算和学习，从而在普通神经网络 的基础上发展各种模糊神经网络，典型的有模糊感知器、模糊a r t 和模糊聚类网； 第二，利用神经网络的学习能力提取模糊规则或调整模糊规则参数； 第三，用模糊技术提高神经网络学习性能； 第四，用神经网络实现一个已知的模糊系统，以完成并行模糊推理； 第五，构造完整意义上的模糊神经网络模型和算法； 广义地讲，一、四、五都属于模糊神经网络的范畴，其中对一、四的研究较 早，较成熟。近5 年来，有关模糊神经网络的重要研究都集中在第五方面，产生 了许多理论和应用成果，同时亦对模糊神经网络提出了挑战。 今后的研究着重于以下几个方面： 第一，目前模糊神经网络模型的研究主要是神经网络的模糊化和模糊系统的 神经网络化，本质上还局限于模糊集合、模糊推理和传统神经网络的框架，很少 从人脑对模糊信息的处理机制上考虑问题，这一方面当然需要神经生理学的研究 成果为依托，但另一方面工程研究人员更应该从智能问题本身的角度创造性地设 计模糊神经网络模型，体现新的解决智能问题的思想。在模型层次上的研究是模 糊神经网络取得突破的基础。 第二，现有的模糊神经网络的计算理论是基于数值的，因此计算量是一个严 重障碍，建立语言层上的计算理论非常必要。z a d e h 提出的文字计算( w 0 r d c o l n p u t i n 妙概念可以作为一个引导，今后的工作是在语言层上建立对应于数值层 上的四则运算、积分微分和函数等计算方法。如果认为语言层计算的精度存在 问题，可以通过数值层上的计算改善模型精度。 第三，加强反馈模糊神经网络的研究。反馈模糊神经网络可以有效解决成组、 约束和动态学习，以及空间关系学习等许多单向模糊神经网络很难解决的问题。 第四，要吸收其他领域的重要研究成果，促进模糊神经网络的发展。像基因 算法就对模糊神经网络的学习有重要影响，现在的支持向量( s v m ) 和子波等理论 9 江苏人学硕+ 学位论文 f 1“；o 八卜t o ：，o 厂c “，= 兰“，+ 6乏 乏 “： ( 2 2 ) ( 2 3 ) 厂( ) = 再南 ( 其中c 为常数)( 2 4 ) s 型函数反映了神经元的饱和特性，由于其函数连续可导，由于其函数连续 可导，调节曲线还类似阈值函数的功能，因此，该函数被广泛应用于许多神经元 的输出特性中。 2 2 3 人工神经网络的结构 根据连接方式的不同，神经网络的神经元之间的连接有如下几种形式【2 2 1 。 一不含反馈的前向网络 前向网络结构神经元分层排列，由输入层、中间层( 也称为隐含层，可以由 若干层组成) 和输出层组成。每一层的神经元只接受来自前一层神经元的输入， 后面的层对前面层没有信号反馈。输入模式经过各层次的顺序传播，最后在输出 层上得到输出。感知器网络和b p 网络均属于前向网络。 二有反馈的前向网络 从输出层对输入层有信息反馈，这种网络可用于存储某种模式序列，如神经 认知机和回归b p 网络都属于这种类型。 三层内有相互结合的前向网络 通过层内神经元的相互结合，可以实现同一层内神经元之间的横向抑制或兴 奋机制。这样可以限制每层内可以同时动作的神经元素，或者把每层内的神经元 分为若干组，让每一组作为一个整体进行运作。例如，可利用横向抑制机理把某 层内具有最大输出的神经元挑选出来，从而抑制其他神经元，使之处于无输出的 状态。 1 8 江苏大学硕士学位论文 ( j j ) = 口【吐( 后) 一d f ( 七) d ，( 七) ( 2 6 ) 即两神经元问的连接强度的变化量与教师信号盔和网络实际输出g 之差成 正比。 万规则实现了式中的梯度下降，使误差函数达到最小值。但万学习规则只适 用于线性可分函数，无法用于多层网络。b p 算法是在万规则基础上发展起来的， 可在多层网络上有效地学习。 第三，k o h o n e n o 学习规则 只用于无指导下训练的网络。在学习过程中，处理单元竞争学习的机会，具 有高输出的单元是胜利者，它有能力阻止它的竞争者并激发相邻的单元，只有胜 利者才能有输出，也只有胜利者与其相邻单元可以调节权重。 2 3 模糊神经网络理论研究 模糊系统和神经网络作为模型无关估计器，有各自的基本特性和应用范围。 它们在对信息的加工处理过程中均表现出很强的容错能力。模糊系统是仿效人的 模糊逻辑思维方法设计的一类系统，这一方法本身就明确地说明了系统在工作过 程中允许数值型量的不精确性存在。另一方面，神经网络在计算处理信息的过程 中所表现出的容错能力来自于网络自身的结构特点。而人脑思维的容错能力，正 是源于这两方面的综合一思维方法上的模糊性以及大脑本身的结构特点。 神经模糊技术是一种集模糊逻辑推理的强大结构性知识表达能力与神经网 络自学习能力于一体的技术，它是模糊逻辑推理与神经网络有机结合的产物。与 之对应的网络称为模糊神经网络。 本节首先探讨了模糊逻辑与神经网络融合的基础与途径，然后着重介绍基于 标准型的模糊神经网络。 2 3 1 模糊逻辑与神经网络的融合 模糊逻辑系统与神经网络的共同特点，就是它们在处理和解决问题时，不需 要对象的精确数学模型。神经网络是通过其结构的可变性，逐步适应外部环境的 各种因素的作用，不断地挖掘出研究对象之间内在的因果关系，以达到最终解决 2 l 江苏人学硕士与乏位论文 问题的目的。这种因果联系，不是表现为一种精确的数学解析式描述，而是直接 表现为一种不很精确的输入输出值描述。模糊系统在处理和解决问题时所依据 的也不是精确的数学模型，它是依据一些由人们总结出来的描述各种因素之间相 互关系的模糊性语言经验规则，并将这些经验规则上升为简单的数值运算，以便 让机器代替人在相应问题面前具体地实现这些规则。这些经验规则的形成，往往 不是基于对各种因素之间的关系做定量而严格的数学分析，而是基于对它们所进 行的定性的、大致精确的观察和总结。正因为如此，实现这些语言性经验规则的 数值运算也就无需严格准确的反映出上述因素之间的精确的数学关系，无需基于 它们精确数学模型的数值运算。从数学的角度来看，指导人们同常生活中各种行 为反应的，不是一些复杂而严格的数学公式，而只是一些简单的、甚至是很不精 确的加减乘除。 在一般的模糊系统设计中，规则是由对所解决问题持有丰富经验的专业人员 以语言的方式表达出来的。专业人员对于问题认识的深度和综合能力，直接影响 到模糊系统工作性能的好坏。对于某些问题，不同的专业人员持有的见解存在着 一定的差异，那么能否以一种简单的数值运算方式来综合他们不同的语言性经验 呢? 另外，还有一些问题，即使是很有经验的专业人员也很难将他们的经验总结 归纳为一些比较明确而简化的规则，并以语言的形式表达出来，即所谓只可意会， 不可言传。在这种情况下，能否为模糊系统建立其行之有效的决策规则呢? 应用 神经网络的方法，这两个问题均可得到肯定的答复：采用f c m ( f u z z yc o g n i t i v e m a p ) 结构，可以通过数值运算的形式实现对结构性语言经验的综合推理；而利用 单层前向网络输入输出积空间的聚类方法，则能直接从原始的工作数据中归纳 出若干条规则，并最后以语言的方式表示出来。另外，由于神经网络的自学习特 点，在模糊系统的规则形成部分采用神经网络，还可得到一类新颖的自适应模糊 系统一基于神经网络的自适应模糊系统。 神经网络与模糊系统都属于一种数值化的和非数学模型的函数估计器和动 力学系统。它们都能以一种不精确的方式处理不精确的信息。 神经网络和模糊系统不同于传统的统计学方法，它们不需要给出表征输入与 输出关系的数学模型表达式；它们也不象人工智能( a i ) 那样，仅能进行基于命题 和谓词运算的符号处理，而难于进行数值计算与分析，更不易于硬件实现。神经 江苏人学硕士学位论文 网络和模糊系统由样本数据( 数值的，有时也可以是用语言表述的) ，即过去的经 验来估计函数关系一激励与响应的关系或输入与输出的关系。它们能够用定理和 有效的数值算法进行分析与计算，并且很容易用数字的或模拟的v l s i 实现。 一般地，神经网络不能直接处理结构化的知识。它需用大量训练数据，通过 自学习的过程，并借助其并行分布结构来估计输入到输出的映射关系。它将输入 一输出样本对( ，咒) ，( 蔓，款) ，( ，虼) 放在一个“黑箱 式的树突网阵上， 很难掌握和理解“黑箱”内部到底发生了什么。 但是，模糊系统可以直接处理结构化知识，也即由专家给出的“规则”。它 之所以能够这样，关键就在于它巧妙地引入了“隶属度”的概念，使“规则”数 值化。它的这一特点可以使设计一个纯模糊系统变得很简单。 模糊系统中存储着一组模糊“规则”。当给模糊系统一个输入时，它将并行 地用每一条“规则”进行衡量，得到不同程度满足这些“规则”的响应，并由此 推出输出的结果即结论。这一过程是可见的和易于理确的。 显然，模糊系统和神经网络尽管都用于处理模糊信息，并且存在许多方面的 共性，但他们各自的具体做法还是有差别的。那么，能否将神经网络的学习机制 引入模糊系统，使模糊系统也具有自学习、自适应的能力? 能否将模糊理论与神 经计算原理相结合，使神经网络借助其大规模的并行分布处理结构完成模糊的推 理过程昵? 这是众多研究者一直思考着的问题，也是目前引起人们关注的问题。 实际上，可以认为神经网络的，z 个【o ，1 】区间内的输出值就定义了一个咒维的 隶属度矢量，其元素也即输出层各个神经元的输出值，代表了某一输入模式相应 于输出层各神经元所代表的模糊集合的隶属度。而“规则 则是由神经网络并行 分布结构综合产生的输入与输出的映射关系。在模糊系统中，“规则”是一条条 分列地给出的，它们互不影响，各自为政；而神经网络中，“规则”之间没有明 显的分治线，它们相互绞合在一起，既互相制约，也互为激励，既交互干扰，也 彼此促进，分不出它们各自的职能范围，只是得出一个总的原则( 这既是它的优 点，同时也是其缺陷之一) 。可以想象神经网络和模糊系统的结合构成了一个带 有人类感觉和认知成分的自适应系统。神经网络直接镶嵌在一个全部模糊的结构 之中，它在“不知不觉”中通过训练数据学习、产生、修正并高度概括输入输 出之间的模糊规则。当难以获得足够的结构化知识( 礤t h e n 规则) 时，可以利 江苏大学硕士学位论文 异度矩阵为基础。如果数据是用数据矩阵的形式表现的，在使用该类算法之前可 将其转化为相异度矩阵。相异度j ( f ，) 可用区间表变量、二元变量和标称等变量 类型来描述相异度。 3 。2 。2 聚类分析的数学描述 从数学的角度来刻画聚类分析问题，可以得到如下的数学模型。设 x = “，恐，吒) 是待聚类分析的对象的全体( 称为论域) ，x 中的每个对象( 称 为样本) 吒( 觅= 1 ，2 ，甩) 常用有限个参数值来刻画，每个参数值刻画耳的某个特 征。于是对象就伴随着一个向量p ( ) = ( 黾。，气：，) ，其中( = l ，2 ，s ) 是在第，个特征上的赋值，p ( 气) 称为的特征向量或模式矢量。聚类分析就 是分析论域x 中的n 个样本所对应的模式矢量问的相似性，按照各样本间的亲 疏关系把样本分类。 3 2 3 聚类算法要求 采用基于聚类分析方法的数据挖掘在实践中已取得了较好的效果，在实际操 作中往往不是采用单一的手段，而是采用多种手段和方法相结合。根据潜在的各 项应用，数据挖掘对聚类的典型要求有以下几方面： 一可伸缩性：即不论对于小数据集还是对于大数据集，算法都应是有效的。 在很多聚类算法当中，数据对象小于2 0 0 个的小数据集合上鲁棒性很好，而对于 包含成千上万个数据对象的大规模数据库进行聚类时，将会导致有不同的偏差结 果。 二处理不同类型属性的能力：即既可处理数值型数据，又可处理非数值型 数据的，既可以处理离散数据，又可以处理连续域内的数据，如分类标称类型 ( c a t e g o d c a o m i n a l ) ，序数型( o r d i n a l ) ，二元类型( b i i l a 呦，或者这些数据类型 的混合。 三能够发现任意形状的聚类：我们经常使用欧几里德距离或者曼哈顿距离 的许多聚类算法来确定聚类，但基于这样的距离度量的算法趋向于发现具有相近 江苏大学硕士学位论文 一划分方法( p a n i t i o n i n gm e t h o d s ) 给定，1 个对象的数据集d ，划分方法的基本思想是：对于给定的聚类个数后 和某个基于距离的目标准则函数f ，将数据划分为七个类，使目标准则函数在此 划分下达到最优。通过引用评价聚类有效性的目标准则函数，划分方法将聚类问 题简化为一个搜索庞大解空间以优化特定目标函数的搜索问题。由于目标函数的 优化本质上是个n p 完全问题，直接穷举搜索肯定是不可行，因此经常采用的是 基于局部搜索的递归重定位方法，这种搜索方法的优点是简单且保证至少得到目 标函数的局部最优解，但它的缺陷在于： a 无法知道收敛到的聚类结果与最佳的可能聚类结果( 目标准则函数f 的 全局最优解) 相比的好坏程度； b 初始值的选择会影响算法的收敛结果，因此，划分方法虽然比较简单实 用，但是聚类结果的质量不太令人满意，存在所谓的“球形聚类偏见”，且抗噪 声能力弱，对数据的输入顺序很敏感，需要用户预先确定聚类个数等。典型的算 法包括k m e a n s 【2 6 】、k m e d i o d s 【2 7 】、c l a r a 和c l a r a n s 【2 8 1 算法等。 二。层次方法( h i e r a r c h i c a lm e t h o d s ) 层次方法的基本思想是递归地对数据进行合并或分裂，将数据集划分为嵌套 的类层次结构或类谱系图。其主要优点在于不需要用户预先确定聚类个数，能够 得到不同粒度上的多层次聚类结构。但是算法的时间复杂度比较高，需要用户给 定一个合并或分裂的终止条件，而且某个类合并( 或分裂) 步骤一旦完成就无法 撤销。因此，错误的类合并( 或类分裂) 决策会导致低质量的聚类结果。此外， 传统的层次聚类算法，如s i n 西e l i n k 和c o m p l e t e l i n l ( 算法等采用链式距离 衡量类间相似性，聚类结果存在“球形偏见”或者“链式现象”。改进的层次算 法通过集成多种聚类技术可以有效的提高聚类质量和聚类性能，但是聚类结果严 重依赖于用户合理地的设置算法参数。典型的算法包括b i r c h f 2 9 1 、c u r e 【3 0 1 、r o c k 【3 1 】 和c h a m e le o n 【3 2 1 算法等。 二基于密度的聚类方法( d e l l s 埘一b a s e dm e m o d s ) 基于密度的聚类方法是针对复杂形状的聚类发现而提出的，其基本思想是： 每个聚类对应数据分布的一个相对密集区，通过将空间划分为若干由低密度区域 所分割的连通高密度区域来实现聚类分析，其中，低密度区域往往对应嗓声或离 3 2 江苏大学硕七学位论文 群数据，该方法的主要优点是能够发现任意形状和大小的聚类，能够处理大量的 噪声或离群数据。但由于全局密度估计的有效性依赖于某些密度参数的仔细选 择，而基于密度的聚类表示又要求用户设置合适的噪声门限值，因此，聚类质量 严重依赖于用户仔细选择的参数。典型的算法包括：d b s c a n 【3 3 1 、o p l 、i c s 【3 4 】和 d e n c l u e 【3 5 】等。 三基于网格的方法( 酬d b a s e dm e t h o d s ) 基于网格的聚类方法通过空间划分实现聚类分析，其基本思想是将空间划分 为有限数目的网格单元形成网格结构，所有聚类操作都在网格结构上进行。该方 法的主要优点是算法的处理时间与对象个数无关，具有良好的效率和可扩展性， 但聚类质量依赖于网格划分的量化尺度。典型的算法有s t i n g 【3 6 】、 w a v e c l u s t e r 【3 7 1 、c l i q u e 【3 8 1 、m a f i a 【3 9 1 和o p t i g r i d 【4 0 1 等。 四基于模型的方法( m o d e l 一- b a s e dm e m o d s ) 基于模型的方法为每个簇假定一个模型，寻找数据对给定模型的最佳拟合。 一个基于模型的算法可能通过构建相应数据点空间分布的密度函数来定位聚类， 它是基于标准的统计数字自动决定聚类的数目，能考虑噪声数据，从而产生健壮 的聚类。基于模型的方法主要有两类：统计学方法和神经网络方法。统计学的方 法需要专业的统计知识，这对于没有使用数据挖掘的用户来说并不都具有这方面 的专业知识，所以限制了它的一些应用。神经网络聚类的方法与大脑处理有很强 的理论联系，由于有较长的处理时间和数据的复杂性，需要进一步的研究来使它 适用于大型数据库。 通过上述常用聚类算法的分析和比较，可以看出当前数据挖掘中聚类算法研 究存在的主要问题如下： 第一，在实际应用中，由于数据分布的具体特征在聚类分析前是无法预知 的，即聚类可能是球形的、狭长形的、凹形的，也可能是嵌套的、中空的或其他 任意复杂的形状和结构，因此，聚类算法应该具有发现任意形状、大小和密度的 聚类的能力。 第二，几乎所有的聚类算法都包括或多或少的、由用户设置的参数，如划分 方法中的聚类个数，基于密度的方法中的密度参数和噪声门限等，这些预先给定 的用户参数在很大程度上决定了聚类的结果。实际应用中，由于优化参数的选取 3 3 江苏大学硕