（控制理论与控制工程专业论文）基于支持向量机的模糊系统结构辨识与算法研究.pdf

西华大学学位论文独创性声明 l i i i i iii i1 111 1 1 11 1i ii ii 18 8 4 6 5 4 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 菩芸鬻始懒搿篙：1 净 日期：硼日期：w i 。l 1 西华大学学位论文版权使用授权书 蓄芸 篙萨各甲翰普警雌 o i 等1 砰日期：加ff 歹 日期： 1 j y l 西华大学硕士学位论文 摘要 在过去的2 0 多年里，模糊系统辨识是智能控制一个十分活跃的研究与应用领域之一。 自从z a d e h - - f 1 9 6 5 年提出的模糊集理论以来，对模糊集合和模糊控制的理论研究和实际 应用获得广泛开展。由于当前的信息技术所带来的复杂性，传统的数学建模方法已经无 能为力。而模糊控制基于知识甚至语义描述的控制规律，对受控装置含有不确定性而且 很难用传统理论处理时，显得尤为有效。因此，模糊系统辨识是智能控制理论研究的关 键问题之一。 尤其近三十年以来，许多学者对模糊系统建模与辨识进行了大量研究，然而至今仍 有许多问题有待于人们进一步探讨。模糊系统辨识主要包括结构辨识和参数估计。其中， 结构辨识是核心，也是难点。当处理复杂非线性系统时，由于模糊系统严重依赖于输入 空间的维数，因此，非常容易出现“维数灾”以及泛化能力不强。如何在模糊模型的多 个性能指标中得到一个折衷，如何利用一个较为简洁有效的辨识算法来提高模型的泛化 能力，并降低模糊模型的复杂性就成为本文的研究出发点。 本文研究了一种基于样本数据的模糊规则快速提取算法。该算法利用核马氏距离挑 选出部分可能成为支持向量的样本，以此减小支持向量机的训练集规模；然后利用支持 向量回归模型与t - s 模糊模型建立其等价关系，从而实现了t - s 模糊规则的快速提取。该 方法在一定程度上解决了模糊系统辨识所存在的模型结构复杂、维数灾、泛化能力不强 和鲁棒性差等问题。在本文中，首先利用支持向量机对模糊系统建模并结合最陡梯度下 降法( b p 算法) 、遗传算法进行模糊模型参数学习；然后，利用一维、二维非线性函数 和混沌序列进行了验证，并与基于自组织神经网络和聚类算法的模糊模型进行了比较； 最后，把基于支持向量机的模糊模型应用到了球杆系统和倒立摆系统中，实验结果证实 了该方法的有效性和可靠性。 关键词：支持向量机；模糊系统；遗传算法；自组织神经网络；聚类算法 基于支持向量机的模糊系统结构辨识与算法研究 a b s t r a c t i nt h ep a s t2 0y e a r s , f u z z ys y s t e mi d e n t i f i c a t i o ni st h ea c t i v er e s e a r c ha n da p p l i c a t i o ni n i n t e l l i g e n tc o n t r o lf i e l d si n c ez a d e hp r o p o s e dt h ef u z z ys e tt h e o r yi n19 6 5 ，f u z z ys e t sa n d f u z z yc o n t r o lo ft h et h e o r e t i c a ls t u d ya n dp r a c t i c a la p p l i c a t i o nh a v eb e e nc a r r i e do u tw i d e l y b e c a u s eo f t h ec o m p l e x i t yo f t h ec u r r e n ti n f o r m a t i o nt e c l m o b g y , t h em a t h e m a t i cm o d e l i n go f t r a d i t i o n a lm e t h o dh a sp o w e r l e s s w “ht h eu n c e r t a i n t yo f t h ec o n t r o l l e dd e v i c e , t h et r a d i t i o n a l t h e o r yd e a l sw i t ht h i sp r o b l e md i f f i c u l t l y t h e r e f o r e , t h ef u z z ys y s t e mi d e n t i f i c a t i o ni so n eo f t h ek e yo fi n t e l l i g e n tc o n t r o lt h e o r y i np a r t i c u h r , n e a r l yt h r e ed e c a d e s ，f u z z ys y s t e mm o d e l i n ga n di d e n t i f i c a t i o nh a v eb e e n s t u d i e db ym a n ys c h o l a r s ，b u tt h e r ea r es t i l lm a n y q u e s t i o n st h a tn e e dt ob ef u r t h e re x p l o r e d f u z z ys y s t e mi d e n t i f i c a t i o ni n c l u d e ss t r u c t m ei d e n t i f i c a t i o na n dp a r a m e t e re s t i m a t i o na m o n g t h e m , t h es t r u c t u r ei d e n t i f i c a t i o ni sc o r ea n dc h a l l e n g e w h e nd e a l i n gw i t hc o m p l e xn o n l i n e a r s y s t e m , t h ef u z z ys y s t e md e p e n d sh e a v i l yo nt h ei n p u ts p a c ed i m e n s i o n - t h e r e f o r e ，i ti sa p tt o ”d i m e n s i o nd i s a s t e r ”a n di t sg e n e r a l i z a t i o na b i l i t yi sn o ts t r o n g h o wt og e tac o m p r o m i s ei n f u z z ym o d e l i n gi st h em a i nr e a s e r c k t h es t a r t i n gp o i n to ft h i sp a p e ri sh o wt ou s eas i m p l e r a n de f f e c t i v ei d e n t i f i c a t i o na l g o r i t h mf a ri m p r o v i n gt h em o d e lg e n e r a l i z a t i o na b i l i t ya n d r e d u c i n gt h ec o m p l e x i t y o f t h ef u z z ym o d e l i n g i nt h i sp a p e r , t h ea l g o r i t h mb a s e do ns a m p l ed a t af o rf a s te x t r a c t i n gf u z z yr u l e sh a sb e e n s t u d i e d t b ca l g o r i t h mu s e dt h en u c l e a rp a r to ft h em a h a l a n o b i sd i s t a n c et os e l e c tp r o b a b l e s u p p o r tv e c t o r si no r d e rt or e d u ct h et r a i n i n gs e t ss i z eo fs u p p o r tv e c t o rm a c h i n e i no r d e rt o a c h i e v et h ef a s te x t r a c t i n gt - sf u z z yr u l e s ，t h ew a yu s e dt h es u p p o r tv e c t o rr e g r e s s i o na n dt - s f u z z ym o d e l i n gt oe s t a bl i s hi t se q u i v a l e n c e n 凼m e t h o ds ol v e dac e r t a i np r o b l e m s ，s u c ha s s t r u c t u r e c o m p l e x i t yo ft h ef u z z ys y s t e mi d e n t i f i c a t i o n , d i m e n s i o nd i s a s t e r t i p o o r g e n e r a l i z a t i o na b i l i t ya n dr o b u s t n e s s i nt h i sp a p e r , t h em o d e lw a sc o n s t u c t e dt h o u g hs u p p o r t v e c t o rm a c h i n ea tf i r s t , t h e nt h ep a r a m e t e rl e a r n i n go ff u z z ym o d e l i n gh a sb e e na c c o m p l i s h e d b y t h eb a c k - p r o p a g a t i o na l g o r i t h ma n dg e n e t i ca l g o r i t h m f u r t h e r m o r e ，u s i n gao n e - d i m e n s i o - h a l , t w o d i m e n s i o n a ln o n l i n e a rf u n c t i o na n dc h a o t i cs e q u e n c e st e s t st h i sm o d e la n db a s e do n s e l f - o r g a n i z i n gm u r a ln e t w o r ka n df u z z yc l u s t e r i n ga l g o r i t h mm o d e la r ec o m p a r e d f i m n m f u z z ym o d e l i n gb a s e do ns u p p o r tv e c t o rm a c h i n ea p pl i e d i nt h eb e a m - b a l ls y s t e ma n d h a r d s t a n dp e n d u l u ms y s t e m r e s u l t sp r o v e dt h ee f f e c t i v e n e s sa n dr e l i a b i l i t yo f t h i sm e t h o d k e y w o r d s ：s u p p o r tv e c t o rm a c h i n e ；f u z z ys y s t e m s ；g e n e t i ca l g o r i t h m s ；s e l f - o r g a n i z i n g n e u r a ln e t w o r k ；c l u s t e r i n ga l g o r i t h m 西华大学硕士学位论文 目录 摘要i a b s t r a c t i 】 1 绪论1 1 1 模糊系统1 1 1 1 纯模糊系统1 1 1 2m a m d a n i 型模糊系统2 1 1 3t - s 型模糊系统3 1 2 模糊系统辨识的国内外研究现状及分析4 1 2 1 结构辨识4 1 2 2 参数估计5 1 3 基于支持向量机的模糊模型结构辨识7 1 4 模糊系统存在问题7 1 5 本文所做的工作8 2 核方法和支持向量机的概述1 0 2 1 引言1 0 2 2 再生核h i b e r t 空间理论l o 2 3 结构风险最小原则1 2 2 4 支持向量机的特点1 3 2 5 支持向量回归机1 4 2 6 本章总结1 5 3 基于支持向量机的模糊模型建模1 6 3 1 引言1 6 3 2 支持向量机与模糊模型的关系1 7 3 3t - s 型支持向量模糊系统1 9 3 4 算法研究2 0 3 4 1 最陡梯度下降法2 1 3 4 2 遗传算法2 2 3 5 实验的仿真研究2 3 3 5 1 结合b p 算法的一维非线性函数建模2 3 3 5 2 结合b p 算法的二维非线性函数建模2 5 3 5 3 结合b p 算法的混沌时间序列建模2 7 3 5 4 结合遗传算法的一维非线性函数建模2 9 3 5 5 结合遗传算法的二维非线性函数建模3 1 m 基于支持向量机的模糊系统结构辨识与算法研究 3 6 仿真实验结果分析3 2 3 7 本章总结3 3 4 基于支持向量机模糊模型的应用( - - ) 3 4 4 1 球杆系统3 4 4 2 球杆系统的机械建模3 5 4 2 1 球杆系统机械模型3 6 4 2 2 球杆系统角度模型3 6 4 3 仿真实验结果3 7 4 4 仿真实验结果分析。4 l 5 基了二支持向量机模糊模型的应用( 二) 4 2 5 1 倒立摆系统4 2 5 2 倒立摆系统的建模4 2 5 2 1 微分方程的推导4 2 5 2 2 传递函数4 4 5 2 3 状态空间4 5 5 3 仿真实验结果4 5 5 4 仿真实验结果分析4 7 5 5 本章总结4 7 6 总结与展望4 8 。 6 1 全文总结4 8 6 2 展望：4 8 参考文献5 0 攻读硕士期间发表学术论文和参与科研项目情况5 2 致谢5 3 i v 两华大学硕七学位论文 1 绪论 1 1 模糊系统 1 9 6 5 年，扎德创立了模糊集合论，基于模糊集合论形成了一门新学科模糊系统 理论。近几十年来，模糊系统理论的研究受到广泛的重视，其应用范围遍及理、工、农、 医及社会科学等众多的领域。自从扎德开辟了模糊控制的新领域，许多学者对模糊控制 的理论探索和实际应用两方面进行了大量的研究，取得了令人兴奋的成果。值得庆贺的 是，自从上个世纪7 0 年代以来，模糊控制的研究领域获得了广泛的开展，因为取得一些 可喜的成果，所以至今，模糊控制也是活跃研究领域之一。 模糊系统( f u z z ys y s t e m ) 主要是建立在模糊集合和模糊逻辑的基础上所构成的系统。 因为基于建立人类经验和抉择行为的随意性，所以模糊系统的种类是多种多样的。模糊 系统最常用的有三种【1 1 ：纯模糊系统、具有模糊化及去模糊化的m a m d a n i 模糊系统和 t s ( t a k a g i s u g e n o ) 模糊系统。 1 1 1 纯模糊系统 如图1 1 所示这是纯模糊系统的框图。若干条i f - t h e n 规则组成了模糊规则库。模 糊推理机的任务是根据模糊逻辑推理原理，利用模糊i t h e n 规则把将输入的模糊集合 u f n 怎样映射到输出模糊集合y f 上。 图1 1 纯模糊系统的框图 f i g u r e1 1 t h eb l o c kd i a g r a mo f p u r ef u z z ys y s t e m s 纯模糊系统是其它类型的模糊系统的核心部分，它提供了一种量化语言信息和在模 糊逻辑原则下利用这类语言信息的一般化模式。其基本框图如图1 1 所示。在上图中， 模糊规则库由下列形式的i f - t h e n 规则组成： 尺l ：，x li s a ia n d 恐i s a ! a n d a n d i s a ；l ，t h e ny l = b ( 1 1 ) 式中：a l 、b t 都是模糊集合，z = 1 ，m ，历为规则数。z = ( x 1 ，x 2 ，z 3 ，x n ) 。u ，y v ， 队y 分别是输入论域、输出论域，确、y t 分别是输入、输出语言变量。 纯模糊系统也可以解释为一个映射关系，其结构图中的中间部分具有类似于( 代数 1 馨 基于支持向量机的模糊系统结构辨识与算法研究 学中) 线性变换中变换矩阵的映射功能，输入u 映射为输出玎即有净u 氓1 2 l 。纯模糊逻 辑系统的主要问题在于它的输入变量和输出变量均为模糊集合( 即为采用自然语言描述 的词语) ，而在工程系统中输入变量与输出变量均为真值变量，这不利于工程应用。但 是，它为其它具有应用价值的模糊系统提供了一个基本的样板，由此出发可以构造出其 它具有实用性质的模糊系统。为了解决纯模糊系统的缺点，我们采用具有模糊器和解模 糊器的模糊系统。 1 1 2m a m d a n i 型模糊系统 m a m d a n i 型模糊系统具有模糊化的模糊器和解模糊化的解模糊器的模糊系统。 m a m d a n i 型模糊系统的框图如下1 2 所示。 图1 2m a m d a n i 型模糊系统的框图 f i g u r e1 2 t h eb l o c kd i a g r a mo fm a m d a n if u z z ys y s t e m s m a m d a n i 型模糊系统中的模糊器可定义为由一实值点x = ( 兢，x 2 ，x 3 ，x n ) u r n 向u 上的模糊集a 的映射。它的作用有三点：第一，使实值点x = ( z ，x 2 ，x 3 ，) 。处 模糊集a 里有一个更大的隶属度值：第二，如果模糊系统的输入受到噪声干扰，则模糊 器有克服噪声的影响；第三，模糊器有助于简化模糊推理机的计算。解模糊器可定义为 由v r 上模糊集b ( 模糊推理机的输出) 向清晰点y v 的一种映射。从概念上讲，解模 糊器的任务是确定一个最能代表模糊集b 的v 上的点。m a m d a n i 型模糊系统中间的模 糊规则库和模糊推理机与纯模糊系统完全相同。 以上模糊系统中，由于在设计模糊产生器、模糊推理机和模糊消除器时具有很大的 自由空间，所以为描述有关领域专家知识的模糊规则的一般化方法提供了一条途径。因 此根据当时不用的对象，寻找一个最为适合的模糊系统；从框图中可以看到其输入、输 出均为精确值，因此在工程领域的应用中就显得特别的适合。当采用单点模糊化、乘积 推理、中心解模糊和g a u s s i a n 型隶属函数来构造此种系统时，其输出可以逼近给定的任 意有界闭集上的连续函数。之所以称为m a m d a n i 模糊模型，是因为m a m d a n i 首先提出 的，故以此来命名。 2 西华大学硕士学位论文 1 1 3t s 型模糊系统 t a k a g i ，s u g e n o s g l k a n g ( t a k a g i 和s u g e n o 19 8 5 ，s u g e n o 和k a n g 19 8 8 ) 提出了另一 种输入变量和输出变量均为真值变量的模糊系统，简称为t s 型模糊系统。t s 型模糊 系统的基本框图如图1 3 所示。 图1 3t - s 型模糊系统的框图 f i g u r e1 3 t h eb l o c kd i a g r a mo ft - sf u z z ys y s t e m s 一般情况下，t - s 模糊模型的模糊规则有如下形式： 曩：i f x 1 i s 4 a n dx 2 i s a 2 7 a n d a n d 工。i s4 ，t h e ny ，= ( p x( 1 2 ) 式中：p ，= 【p ，o ，p ，”】，r ，= l ，研，优为规则数。；= 【l ，x 1 ，x 。】r r 州，a 。7 是模糊 集。 根据t s 模糊模型的模糊规则形式，我们可以看出，t s 模糊系统的前件是模糊的， 后件是确定的。对实值点z = ( z ，x 2 ，x 3 ，x n ) u r n ，采用乘积推理和加权规则聚合 法，模糊模型的综合输出可表示如下： y ( 拈掣：墨竺型 ) i m l 已“，心，) ，l l 一 7 式中加权系数u ，“，) 为规则尼作用于输入所能取得的所有值。 t s 模糊系统已经在实际应用中得到了很多成功的例子，它的最大优点在于输出的 是一个精确值而不是一个模糊集合。t s 模型的前件对后件的影响实质上是对后件线性 关系中参数的限制和影响。其中，后件的参数可以利用最陡下降法、最d x - - 乘法和遗传 算法等进行参数估计。从式( 1 2 ) 中可以看出，一条t s 模糊规则是由一类多个基本规 则的线性组合。因此，与m a m d a n i 模型相比，在描述同一动态系统时t s 模糊模型可 以用较少的模糊规则来实现【2 i 。 模糊系统是非线性函数的特殊类型，所以不管模糊系统是否用于控制器、决策、信 号处理或任何其它功能，从函数逼近的角度了解模糊系统的能力都是有意义的。对单输 入单输出系统和多输入单输出系统，人们做了大量的研究，发现t s 模糊模型能有效的 逼近于模型不确定的非线性系统。因t s 模糊模型可以以任意精度逼近任意非线性函数， 基于支持向量机的模糊系统结构辨识与算法研究 在复杂非线性系统的建模中体现出比以往建模方法的优越性，所以得到了广泛的应用。 1 2 模糊系统辨识的国内外研究现状及分析 辨识的任务是通过实验得到的输入输出数据，按一定的目标函数，从一类数学模型 中确定出一个数学模型的结构。至于随着模型的参数化，还有相应的参数的确定问题， 这就是参数估计【3 】。等到参数都估计出来了，模型才算是最终建立起来了。因此，模糊 系统辨识包括结构辨识和参数估计两部分。 1 2 1 结构辨识 构造模糊系统的关键在与获取模糊规则和建立隶属函数。模糊系统的建模有两种方 法，第一种是基于经验知识，通过总结和分析专家的经验，把获得的经验运用到模糊规则 当中。该方法主要用在当样本数据较少时，但是其缺点是它不够客观，因对象的不同而 不同，并且很难获得和表达先验知识。第二种方法是基于样本数据，根据客观的算法从 数据中获得的规则，目前这种方法使用越来越广泛。所谓模糊系统辨识主要是获取能够 充分描述对象过程的一组具有局域特征的输入输出映射关系( 即模糊规则) f 4 】。模糊 系统辨识主要由模糊系统结构辨识( 模糊规则提取) 和参数学习这两个部分组成1 5 h 6 】。 结构辨识主要是输入输出空间的模糊划分以及其输入输出模糊划分区间的映射 关系，尤其是解决模糊规则数的确定问题。结构辨识方法的好坏，关系到辨识精度能否 提高和辨识时间是否缩短。一个好的结构辨识方法可以优化模糊模型结构，简化后件参 数估计，避免陷入局部极值点和参数学习时间过长，有利于提高模糊系统建模精度【7 l 。因 此，模糊模型的结构辨识是模糊模型辨识中的核心问题。 目前模糊系统结构辨识方法主要有模糊聚类算法【8 1 、基于自组织神经网络的算法 9 h 加1 和基于遗传算法【1 1 h 1 2 1 等。根据本文所研究的内容，下面将简单介绍一下模糊聚类 算法、自组织神经网络算法和遗传算法。 聚类的定义就是把整个数据分成不同的组，并使组与组之间的差异尽可能大，组内 数据的差异尽可能小。聚类分析就是利用数学方法来研究和处理给定对象的分类。把每 个需要识别的对象严格地划分在某一类中这就叫做硬化分，这是传统聚类的特点，具有 “非此即彼的性质；而在实际问题中，大部分的对象在性态和类属方面存在着中介 性，所以没有严格的属性，它们具有“亦此亦彼”的性质。因此，对于处理这样的问题， 模糊概念的诞生，从而模糊聚类的方法就产生了。 模糊聚类算法对模糊系统结构辨识主要是把输入空间数据分解成一系列的模糊区 域，设定合理的聚类指标，根据该指标所确定的聚类中心采用优化方法使模糊输入空间 最优。它的优点是在样品数较少的时候优越性非常明显并且也具有一定的抗噪声能力。 但是，该方法的缺点是需要很大的训练样本；而且这些训练样本保证线性无关；倘若对 高维回归的问题，则聚类规则的计算变得非常困难；并且关于函数逼近能力效果也不是 西华大学硕七学位论文 很好。同时，它对一些隐含类的提取能力还存在一些问题，此外，预定的分类数目一般 也是人为决定的，这样就可能出现人为预定的分类数与实际存在的类别数不相符的情况， 从而影响聚类的结果。 人工神经网络是指仿真人脑的功能和结构，通过人工方式利用很多的部件所构成的 网络系统。基于自组织神经网络的模糊系统结构辨识就是利用自组织神经网络的分类特 性进行对输入的模式分类，每一类对应一条模糊规则，设计合适的自组织神经网络，完 成空间的模糊划分。其优点在于它具有在线学习的能力，可以在线调整模糊系统。目前 缺点是参数的调整是由数据驱动的，对噪声十分敏感，理论上讲容易陷入局部最小解等。 遗传算法是通过人工方式构造并模仿生物遗传学的一种优化搜索算法，在处理一些 复杂的实际问题时，它具有鲁棒搜索能力。但其缺点是它的粒度与搜索效率是矛盾的。 当处理低维空间的问题时，信息粒度较大，运算量较小，时间较快，但得到的结果不太 理想：当该算法进行细致的搜索时，信息粒度很小，运算量则大大提高，耗时较长，但 得到的结果较理想。因此，关于研究粒度和搜索效率之间的折衷也是有必要的。 1 2 2 参数估计 如果模糊模型的结构确定之后，那么接下来就需要完成参数估计任务。参数估计就 是根据某种准则( 如最t j 、- 乘准则) 来决定模型中的所有参数。相对于结构辨识，参数辨 识方法就成熟得多了。模糊系统参数辨识可以有许多不同的方法，如最陡下降法、递推 最小二乘法和遗传算法等。下面就简单介绍下这几种方法。 第一类最陡下降法。设模糊系统形式如下 一l z p - _ l 穸z 1 i l le x p ( 一芦甬2 ) 】 厂 ) = z 鲁一 ( 1 4 ) 丝，叽鑫1e 印( 一 2 ) 】 口f 式( 1 4 ) 中，首先固定规则数m 的值，而夕o ，戈：和一是可以任意变化的参数( 令一= 1 ) 。 虽然模糊系统的结构已有( 1 4 ) 决定，但参数夕o ，戈f 和硝还没有确定下来，所以并没有 完成模糊系统的设计。要想完成模糊系统的设计，则必须完成参数夕，x - i i r u 吼l 的确定。 模糊系统如式( 1 4 ) 所示可以认为是一个前馈的网络，这样做的目的是可以找到一 种最优化的方法来确定这些参数。具体分析，就是把输入论域z u f n 映射到输出论 域厂仅) y ，中，运算步骤如下：首先，输入x 通过一些变化方式得到 z k 丝。【n 冬，p 印( 一产勇2 ) 】；然后，利用加法运算和加权求和运算得到z 1 ，随后计算出 。i 6 = 丝，z 2 和口= 搀。罗2 z ；最后，模糊系统的输出厂& ) = 扔即可得到。 给定输入一输出数据对( ；站) ，p = 1 , 2 ，n ，写，= 【口l ，i 1 1 x 口m 风】r n ：蜡 y = 【口y ，岛】r 。设计出一个形如式( 1 4 ) 的模糊系统厂& ，) ，使得拟合误差达到最小其 表达式为 基了二支持向量机的模糊系统结构辨识与算法研究 e p = ；l f ( x o p ) 一站】2 ( 1 5 ) 设计任务是确定参数夕。，戈 和井，使式( 1 5 ) 中的e p 最小。接下来，分别用c 、f 和 y 来表示p p ，厂( x 吾) 和y o 。 下面用梯度下降法来确定参数，具体地讲，就是用下面的算法来确定夕o ，即 y z ( q + 1 ) = 夕。( q ) 一n 斋l q ( 1 6 ) 式中，l = l ，2 ，m ：q = l ，2 ，3 ，；a 为定步长。 如果q 趋于无穷时，y t ( q ) 收敛，则由式( 1 6 ) 可知，在收敛的夕处有口熹= 0 ，这 表明收敛点夕。是e 的一个局部极小点。其中，f ( x ) = a b ，a = 丝1 夕u z ，b = 丝1 z ，z 。= 丛。【兀冬，e x r , ( 一产势2 ) 】；因此，求导可得 口骞= u y j 磊o f 万a a = 盯一) ，) 吉z z 把式( 1 7 ) 代入式( 1 6 ) 中，即歹1 的学习算法表达为 7 2 ( q + 1 ) = 夕2 ( q ) 一口孚z 2 式中，l = l ，2 ，m ：q = o ，1 ，2 ，。 用式( 1 9 ) 确定 ( 1 7 ) ( 1 8 ) 戈f ( q + 1 ) = 戈 ( q ) 一口毒l q ( 1 9 ) 式中，i = l ，2 ，r l ；l = l ，2 ，m ；q = o ，1 ，2 。求导得 毒= ( 厂一) ，y j , , 万0 1 碍o z z = ( 厂一y ) 学z 。等轳 ( 1 1 0 ) 把式( 1 1 0 ) 代入式( 1 9 ) ，则戈f 的学习算法为 贾 ( q + 1 ) = 棚一下( f - y ) 哆勺) 叫z2 黜 ( 1 1 1 ) 式中，i = l ，2 ，1 1 ：l = l ，2 ，m ；q = o ，1 ，2 。 用同样的步骤，可得硝的学习算法为 甜( q + 1 ) = 一( q ) 一n 翥l q = 甜( q ) 一n 竿佞。向) 叫z 帮( 1 1 2 ) 式中，i = l ，2 ，n ；l = l ，2 ，m ；q = o ，1 ，2 。 学习算法式( 1 8 ) 、式( 1 1 1 ) 和式( 1 1 2 ) 任务是误差反向传播的一种程序。通 过训练夕2 ，把标准误差( f - y ) b 反向传播到夕2 所在的那层；通过式( 1 8 ) 可以调整罗， 这里， 夕的输入是z 2 ，通过调练牙；和一，把标准误差( f - y ) 尼与够2 一厂，) 及z 2 的乘积 反向传播到了第一层的处理单元中( 其输出为z o ) ；通过式( 1 11 ) 和式( 1 1 2 ) 可以 西华大学硕士学位论文 调整戈：和硝，余下变量元；，x 和一( 即式( 1 1 1 ) 和式( 1 1 2 ) 右边的除( 厂一y ) 华z 以 外的变量) 也可被局部地得到。因此，也称这一算法为误差反向传播学习算法。 第二类是递推最小二乘算法。梯度下降算法试图使式( 1 5 ) 中的p p 达到最小，但 它仅考虑了某一输入输出数据对厶：；馏) 的拟合误差。即这种学习算法是在某一时刻通 过调整参数以拟合输入输出数据对的。另一种学习算法能使所有由l 到p 的输入一输出数 据对的拟合误差之和达到最小。这就是递推最 b - - 乘算法。 第三类是遗传算法。利用遗传算法对模糊系统辨识可以分为三种情况。第一种情况 是当模糊系统的规则数已知，采用遗传算法辨识模型中的参数；第二种情况是模糊模型 中的参数已知，利用该方法确定模糊规则数：第三种情况是采用该算法同时确定模糊规 则数和辨识模型的参数。本文主要是应用第一种情况。 1 3 基于支持向量机的模糊模型结构辨识 支持向量机是核方法最具典型的方法。它是建立在统计学习理论的v c 维理论和结 构风险最小原理基础上的，根据有限的样本信息在模型的复杂性( 即对特定训练样本的 学习精度) 和学习能力( 即无错误地识别任意样本的能力) 之间寻求最佳折衷，以期获得最 好的推广能力。大量研究发现支持向量机与模糊系统有着很多相似之处，文献 1 3 】揭示 了可加模糊系统与核机器的本质联系，提出了基于核方法建立的正定模糊分类器( p d f c ) ， 首次把支持向量机方法引入模糊系统建模分析，这为模糊系统建模开创了一个新的研究 方向。文献 1 4 1 从另一角度讨论通常基于规则建立的某些模糊推理和模糊控制系统与核 机器的联系与区别，进而把基于核函数的支持向量机方法引入模糊推理和模糊控制系统 的建模。文献 1 5 】提出了利用支持向量机对模糊系统进行建模，但只完成了模糊系统的 建模部分而没有讨论系统的辨识问题。文献 2 】利用最, b - 乘支持向量机对模糊系统进行 建模，结合最, b - 乘算法完成参数估计，理论上验证了基于支持向量机的模糊系统结构 辨识算法的有效性，但没有在实际对象上进一步验证。由于最, b - - 乘支持向量机不具有 稀疏性，使得训练样本数全为支持向量，加大了模糊系统的规则数，从而增加后件参数 个数，计算变得复杂。而传统的支持向量机具有稀疏性，大大简化了计算的复杂性。本 文利用传统支持向量机对模糊系统进行结构辨识，结合最陡梯度下降法和遗传算法完成 参数估计，同时在理论和实际中，验证了该算法的有效性和可靠性。 1 4 模糊系统存在问题 大量的研究者不断的努力，模糊模型结构辨识已从简单的语言规则发展到从输入 输出数据中提取模糊规则，从无学习阶段发展到自适应学习阶段，模糊系统的辨识理论 已经取得了飞速的进步。但是，从整体上来看，目前的辨识方法主要是启发式或数值方法 的结构辨识，仍欠缺较为系统的方法和严格的理论指导，缺乏在线自适应能力。 目前模糊模型辨识尚待解决的问题可归结为以下几点： 7 基于支持向量机的模糊系统结构辨识与算法研究 ( 1 ) 是否能建立一套完整的理论体系实现模糊系统的结构特性及逼近精度。实现 此目标主要包括：首先，随着结构参数的变化，模糊系统的逼近精度有什么的影响；其 次，随着结构参数的增多，辨识的逼近误差以什么样的速率在减少；最后，特别适用于 哪种非线性结构；全局性和局部性能否达到平衡。 ( 2 ) 在模糊系统自适应学习中，怎样把人类知识信息加载其中的。与其它智能系 统相比较，模糊系统最大特点是它能够利用人类的经验和决策信息。所以，我们必须进 一步研究人类知识信息与数值信息之间的转换，除了利用知识信息来表示模糊系统，还 可以利用其他知识及信息来表示。 ( 3 ) 如何在提高辨识精度的情况下，保持模糊系统的模糊规则解释性。随着逼近精 度的进一步提高，模糊隶属函数具有的语义逐渐丧失，使得模糊规则愈无解释性，有可 能失去模糊系统本身最重要的特点。 ( 4 ) 如何缩短辨识算法的计算时间，提高模糊辨识算法的抗噪声干扰能力和模糊 模型的泛化能力。 ( 5 ) 随着待辨识系统结构的复杂性增加和模糊控制对系统辨识的要求的提高，模 糊系统易造成“规则数爆炸”的难题。 根据上述现状分析，本文主要研究基于支持向量机的模糊系统辨识。支持向量机方 法是建立在统计学习理论的v c 维理论和结构风险最小原理基础上的，根据有限的样本 信息在模型的复杂性( 即对特定训练样本的学习精度) 和学习能力( 即无错误地识别任意 样本的能力) 之间寻求最佳折衷，以期获得最好的推广能力。这种在支持向量机和结构 风险最小原则指导下的模糊模型所具有的主要优势在于：模糊结构简单、能有效避免维 数灾、具有良好的泛化能力、参数辨识算法计算复杂性低、在线实时性强等。 1 5 本文所做的工作 本文研究了一种基于样本数据的模糊规则快速提取算法。该算法利用核马氏距离挑 选出部分可能成为支持向量的样本，以此减小支持向量机的训练集规模；然后利用支持 向量回归模型与t - s 模糊模型建立其等价关系，从而实现了t - s 模糊规则的快速提取。 同时，结合b p 算法或遗传算法进行模糊模型参数学习。 本文所做的主要工作概括如下： ( 1 ) 基于支持向量机这新颖技术，研究模糊系统的结构辨识问题，提出一类新的 模糊规则提取方法，有效降低模糊系统结构的复杂性。以统计学习理论的结构风险最小 化原则为指导，采用结构风险最小化代替传统学习算法中的经验风险最小化准则，构造 出一类新的自适应学习算法，使其能在模型精度和泛化能力上有良好的折衷。 ( 2 ) 完成了模糊系统的结构辨识。模糊系统参数估计有很多种方法，例如梯度法、 遗传算法、最d x - 乘法和b p 算法。本论文研究了b p 算法和遗传算法对t - s 型模糊系 统的前件参数与后件参数的学习。 8 两华大学硕士学位论文 一_ ( 3 ) 利用一维非线性函数、二维非线性函数和混沌时间序列预测，进行基于支持 向量机的模糊系统辨识实验仿真研究。并分别把模糊聚类算法、自组织神经网络算法和 支持向量机对模糊系统的辨识进行了比较。 ( 4 ) 在实际应用中，基于支持向量机的模糊系统结构辨识，该算法应用在球杆控 制系统和倒立摆系统中，并对实验结果进行了分析比较。 9 基f 支持向量机的模糊系统结构辨识与算法研究 2 核方法和支持向量机的概述 2 1 引言 机器学习是一门研究机器获取新知识和新技能，并识别现有知识的- - f - 学科。而核 方法是目前最具活力的机器学习工具之一，被广泛用于分类、回归估计和新颖性检测等 场合。近些年来，核方法在机器学习、信号处理、g a u s s i a n 过程分析等许多领域获得了 重要的应用【1 6 - - 1 2 5 1 。根据再生核h i b e r t 空间理论，核方法拥有一个独特的计算框架，其 原理是通过由核函数隐含的非线性映射将数据映射到一个高维的特征空间，在该特征空 间中处理原始系统的线性化，以实现非线性处理。利用该计算框架，可以为模糊系统构 造新的参数辨识方法提供一条很好的途径。它能直接进行非线性参数学习而不像原有一 些方法需要使用线性化方法进行参数学习，并且它是在线式学习，特别是从计算角度来 看，它的计算复杂性并不高于在原输入空间中工作情况。核方法中诸如支持向量机等所 具有的稀疏性优势为降低模糊系统结构的复杂性提供了新的思路，并且支持向量机所具 有的强大非线性处理能力能保障化简后的模糊系统的非线性映射能力。根据再生核 h i b e r t 空间理论【2 6 1 的表示定理知道，核方法的学习函数将通过对偶形式表示，只依赖于 训练样本而与数据空间维数无关，这将为模糊系统带来非常重要的优势是可以避免“维 数灾”问题。更为重要的是，采用核方法使用的结构风险最小原则，在参数辨识学习算 法中利用结构风险最小化来替代经验风险最小化，能有效避免潜在的过拟合问题，使模 糊系统具有良好的泛化能力。 2 2 再生核hib e r t 空间理论 定义2 1 正定核函数 ( 连续。t o i l ) 若对称函数h ( 墨x7 ) 丁。 xz ) 使得下式成立 ，h ( z ，x7 ) f ( x ) f ( x7 ) d x d x7 0 对所有厂t 2 ( x ) ( 2 1 ) 则称函数h ( 五x7 ) 为正定核函数； ( 离散情况) 或者对任意的，任意的样本集 x l 一x z x r n 和任意的系数n 1 a z r ，对称函数h ( 五z7 ) r 。0 xx ) 满足