（模式识别与智能系统专业论文）基于ts模型的建模方法的研究.pdf

四川大学硕士学位论文 y 6 5 43 46 基于t - $ 模型的建模方法的研究 专业：模式识别与智能系统 研究生：粟迎南导师：古钟璧 摘要 建立对象的模型是控制系统设计的基础，非线性系统的建模是复杂系统建 模的难点之一，己有的研究证明t s 模糊模型是这类系统建模的有效途径，t - s 模糊模型的最大特点是它能够自适应地生成模糊规则，解决了传统的模糊系统 不能自动地将人类专家的知识经验转化为推理规则库的问题。 在各种t s 模糊模型的建模方法中，较为成熟的是a n f i s 建模方法和模糊 聚类建模方法。本文详细的介绍了t s 模糊模型及a n f i s 建模方法和模糊聚类 建模方法。 重点介绍了t s 模糊模型学习所使用的混合学习算法，a n f i s 建模方法和 模糊聚类建模方法的不同模型结构及它们对输入空间的不同划分方式。a n f i s 是基于s u g e n o 模糊模型构建的，其实质上是一种采用格栅法划分输入空间的 t s 模糊模型。模糊聚类法实质上是采用减法聚类法划分输入空间的t s 模糊 模型。 针对传统的基于t 。s 模糊模型建模方法没有考虑到训练数据的相关性这一 问题，实现了一种通过最优正交变换来去除训练数据相关性，对训练数据进行 预处理，进而对传统方法加以改进的方法，弗通过对一个典型的非线性函数建 模仿真加以验证。 关键词：a n f i s模糊聚类k - l 变换 四川大学硕士学位论文 t h em o d ei in gm e t h o dr e s e a r c hb a s e do nt sm o d ei p a t t e r nr e c o g n i t i o na n di n t e l l i g e n ts y s t e m g r a d u a t e ：s uy i n g n a nt u t o r ：g u z h o n g b i a b s t r a c t b u i l d i n go b j e c tm o d e li st h eg r o u n db a s i so fd e s i g n i n gac o n t r o ls y s t e m b u t m o d e l i n gn o n l i n e a rs y s t e mi st h eo b s t a c l et om o d e l t h ew h o l ec o m p l i c a t e ds y s t e m t h ec u r r e n tr e s e a r c h e sh a v ep r o v e dt h a tt - sf u z z ym o d e li st h ee f f e c t i v ea p p r o a c ht o b u i l dt h em o d e lf o rt h i sk i n do fs y s t e m c o m p a r e dw i t l la l lk i n d so fm o d e l i n g m e t h o d sb a s e do nt - s f u z z ym o d e l ，w es u g g e s t t h e w e l l d e v e l o p e d a n t i s m o d e l i n gm e t h o da n df u z z yc l u s t e r i n gm o d e l i n gm e t h o d i nt h ep a p e r , w eg i v et h e d e t a i l e di n t r o d u c t i o no ft - sf u z z ym o d e l ，a n f i sm o d e l i n gm e t h o da n df u z z y c l u s t e r i n gm o d e l i n g m e t h o d t h i sp a p e rf o c u s e so nt h em i x e dl e a r n i n ga l g o r i t h mt h a ti su s e db yt - sf u z z y m o d e ll e a r n i n g b e s i d e st h i s ，w ea l s oa t t a c hi m p o r t a n c et ot h ea n t i sm o d e l i n g m e t h o d ，t h ed i f f e r e n tm o d e ls t r u c t u r eo ff u z z yc l u s t e r i n gm o d e l i n gm e t h o da n dt h e v a r i a n ta p p r o a c ho ft h e s et w om e t h o d st os e g m e n tt h ei n p u ts p a c e a i m i n ga tt h e p r o b l e m c a u s e db yt h et r a d i t i o n a lm o d e l i n gm e t h o db a s e do i lt - sf u z z ym o d e lt h a ti t d o e sn o tt a k et h ec o r r e l a t i v i t yo f t r a i n i n gd a t ai n t oa c c o u n t w ep r e s e n t a ne f f e c t i v e a p p r o a c h t or e m o v et h ec o r r e l a t i v i t yo f t r a i n i n gd a t ab yu s i n go p t i m i z e do r t h o g o n a l t r a n s f o r m a t i o n t h e nw ec a l lp r o v i d et h em e t h o dt oi m p r o v et h et r a d i t i o n a lw a y i n t h ee n d ，w eg u a r a n t e et h ee f f e c t i v e n e s so f n e wm e t h o dt h r o u g hs i m u l a t i o ne x a m p l e s k e y w o r d s ：a n f i s f u z z yc l u s t e r i n g k - lt r a n s f o r m a t i o n i i 四川大学硕士学位论文 1 1 研究背景 第一章绪论 建立对象的模型是控制系统设计的基础。由于过程的非线形、时变性、随 机干扰给对象模型参数的不确定性等因素，基于传统数学工具的建模方法对于 某些复杂的非线性过程十分困难。而模糊逻辑系统不依赖对象的精确数学分析， 从人类专家的经验知识和推理过程中提出i f - t h e n 规则集建立起模糊模型，并 以此为基础设计模糊控制系统。但这种传统的模糊系统不能自动地将人类专家 的知识经验转化为推理规则库，缺乏有效的方法来改进隶属函数以减少输出误 差或提高性能指标。 1 9 8 5 年t a k a g i 和s u g e n o 提出了t - s 模糊模型【”，己有的研究证明t s 模 糊模型是这类非线性系统建模的有效途径。在系统的建模过程中，规则的生成 和调整是模糊模型的“瓶颈”，通常无法人为地定出模糊规则，t - s 模糊模型的 形式则便于应用各种神经网络学习方法进行优化参数，进而生成模糊规则，故 在系统建模中得到了广泛应用。 t - s 模糊模型的建模包括两个方面：结构辨识和参数辨识。结构辨识就是 选取合适的模糊模型，重点在于输入空间上的模糊子空间的划分，也就是建立 变量的模糊集和模糊规则。模糊网格法、模糊聚类法是两种典型的辨识模糊模 型结构的方法。参数辨识则经常应用神经网络的学习算法，如b p 算法、模拟 退火法等 实际工程中，对于具体问题，出现了多种形式变化了的t - s 模型及t s 模 型建模方法瞄心h 1 5 1 。从模糊模型的结构辨识度看，有j _ s r j a n g 提出的自适 应神经模糊推理系统( a d a p t i v en e u r a l n e t w o r k b a s e df u z z yi n t e r f e r e n e e s y s t e m ，a n f i s ) 1 6 1 、b r a n d tm s a m j 提出的模糊c 均值聚类( f u z z yc - m e a n s c l u s t e r i n g ) l ，j l ”、s c h i u 提出的减法聚类法( f u z z ys u b t r a e t i v ec l u s t e r i n g ) 9 1 1 1 9 1 。 等等。 在各种t s 模糊模型的建模方法中，较为成熟的是a n f i s 建模方法和模糊 聚类建模方法。a n f i s 建模方法和模糊聚类建模方法的参数辨识都采用混合学 四川大学硕士学位论文 习算法”9 1 ，收效明显。在结构辨识方面模糊子空间上的模糊集合是每一维输 入的模糊区间上模糊集和的直积。 t s 建模方法采用平均划分每一维输入的网格法或者采用模糊聚类方法划 分输入空间，采用网格法在输入维数比较高时，会出现规则数目和参数个数以 指数级增长的“组合爆炸”问题；模糊聚类方法采用聚类方法划分数据样本空 间，聚类数目与聚类半径的取值有关，与输入维数没有直接关系，但由于聚类 半径事先确定，这种划分难以根据样本密度自适应地改变子空间的大小，其规 则数目仅与聚类数目有关，不随输入维数的增多而急剧增多，但模糊规则上的 参数个数仍与输入维数成比例关系，因而还不能解决由于输入维数增多而造成 参数急剧增多的困难。 1 2 主要工作 多维系统的输入样本一般存在着很强的相关性，而传统的基于t - s 模型的 建模方法在输入空间划分时并没有考虑到这个情况，没有去除样本的相关性， 这就造成划分模糊空间的低效率、模糊规则和需要辩识参数的增加。为了解决 这个问题，本文在详细介绍传统的基于t - s 模型的建模方法的同时，提出一种 通过最优正交变换( k - l 变换) ( 1 0 】i “】去除训练样本的相关性，迸而将传统的t - s 建模方法加以改进的方法，并经过仿真证明与传统的a n f i s 相比，改进后的方 法在建模方面会取得更好的效果。 1 3 论文结构 第一章绪论，介绍系统建模的发展现状和本文进行的工作。第二章介绍本 文研究基于t s 模糊模型建模所需要的一些基础知识，包括最d x - - 乘法、反传 算法、k - l 变换。第三章详细介绍t - s 模糊模型的结构以及a n f i s 和减法聚类 法的构成、学习方法，在这一章里也介绍了如何通过k - l 变换改进传统的建模 方法。第四章通过仿真实例对各种方法加以比较。第五章是本文的结论部分， 总结论文的工作并指出今后需要进一步研究的问题。 四川大学硕士学位论文 第二章预备知识 基于t - s 模糊模型建模，辨识参数使用的学习方法称为混合学习算法。这 一章的前两节分别介绍了混合学习算法用到的数学基础：递归最小二乘法，梯 度法，自适应网络与反传算法。这一章的最后部分介绍了k - l 交换的相关知识。 2 1 递归最小二乘法【1 2 】【1 3 1 1 1 , 4 1 1 5 】 最小二乘法是功能强大的成熟的数学工具。提出并应用在各个领域中，包 括自适应控制、信号处理和统计，已经有几十年的历史，至今它仍被证明是建 立数学模型最基本的必不可少的工具。最小二乘法为我们提供了在平方误差最 小的意义下实现现形模型与实验数据达到最佳匹配的数学方法，对本质是线形 的一些非线形模型也可以使用最小二乘法。 通过观察输入输出数据对确定未知系统的数学模型的问题，称作系统辩识， 系统辩识通常包括结构辩识和参数辩识这两个过程。在结构辩识过程中，利用 关于目标系统的先验知识确定目标系统的模型，通常这类模型由参数函数 y = ，( “；口) 来表示，其中y 是模型的输出，甜是输入向量，臼是参数向量。在参 数辩识过程中，模型的结构已知，所需要做的就是应用最优化技术确定参数向 量0 = 0 ，以便使产生的模型y = 厂( 甜；p ) 能恰当地对系统做出描述。 2 1 1 最小二乘估计器 在一般的最t j 、- - 乘问题中，线性模型的输出y 是参数化的线性表达式： y = 岛z ( 甜) + 岛五0 ) + + 见矗 。)( 2 1 ) 其中“= h ，郎r 是模型的输入向量，；， 是”的已知函数，b ，已是待 估计的未知参数。使用矩阵表达式上式可以表达为： a o = y ( 2 。2 ) 其中a 是m x n 矩阵： 四川大学硕士学位论文 a 憾剖 b 南= | - l( 2 3 ) i ；( ) ( ) j 口协 偿一， y = 阴 亿s ， 为了计算方便，可以组成联合数据矩阵阻i y 】，其第f 行记为i 矿；mj ，一般情况 下认为( a r ；y ) 是训练数据集的第f 个数据对。 定义e ( 口) _ ， e ( 口) = ( m 一口? 口) 2 = e t f = ( y - a o ) 7 ( y a o ) ( 2 7 ) e ( 仍是二次型，且肴唯一的最小值，搜索到使e ( 回最小的移：各，就称为 a r 一日= a r y ( 2 8 ) 如果一r a 是非奇异的，则刍由下式唯一确定： 0 = ( 一7 一) “a r y( 2 9 ) 2 1 2 l s e 的几何解释 将a 表示为一行n 个m 1 的列向量，如下 则有 a = 【a l 一，( 2 1 0 ) 四川大学硕士学位论文 彳曰= p ，- r ，f 三 = b h ，+ + 以k ， ( 2 j ， 换言之，一口是卅维空间中基向量扛1 ， 的线性组合。由于爿目是在最小二 乘法下对y 的近似，显然彳刍应该等于y 在妇l 一，口。 的张成空间上的投影。 2 1 。3 递归最小二乘估计器 由前面讨论可以知道最小二乘法的估计器表示为： 吼= ( a 7 爿) 。a r y( 2 1 2 ) 为了讨论方便，这里省略了符号“ ”。假定a 和j ，的行维数是k ，在上式中加 了下标k ，表示在估计器占中所用数据对的数目。假设，得到一个新的数据对 ( a t ；y ) 作为数据集中的第 n + 1 项。那么，我们希望找到一种利用已得到的吼， 以最小代价计算吼。的方法，而不是使用所有得到的i + 1 个数据对，重新计算 最d , - - - 乘估计器吼。换言之，我们的任务是找到一种使用数据对0 7 ；y ) 以适 当更新b 求取幺。的方法。这个问题被称为递归最，j i 二乘辩识。 显然巩+ 可以表示为： 删7 i o 二i i 一阱圈 为了简化表示，引入两个n x 蚪矩阵只和b + l ，分别定义为； 只= 0 7 一) 。1 只。= 7 = c 一7 一+ 7 ， 这两个矩阵之间的关系为： 巧= 础一a a 7 使用最，b + ，有： ( 2 1 3 ) ( 2 1 4 ) f 2 1 5 ) ( 2 1 6 ) 四川大学硬士学位论文 j 婊2 t , 4 r y( 2 1 7 ) l 酿“= 只+ 1 0 7 y + a y ) 、7 整理可得： 吼+ 1 = 吼+ 只“a ( y a 7 魄) ( 2 1 8 ) 因此，吼+ 。可以表示为旧估计吼和新数据对0 7 ；y ) 的函数。上式也可以解 释为：新估计器等于旧估计器吼加上一个基于新数据( 口7 ；y ) 的修正项；这个修 正项等于自适应增益向量足+ ，a 与旧估计器所产生预测误差y 一疗以的乘积。 通过前面求得的公式( 2 1 3 ) 求只+ 。时，存在求逆的运算，计算代价很大，因 此需要推导最+ ，的增量公式，由( 2 1 6 ) 式可得： 只+ 。= ( 掣+ d 口7 ) = 只一丽p k a a r p k ( 2 1 9 ) 最后，获得了a o = y 问题( 其中阻i y 】的第_ i 行表示为k ；y j ，1 s k s 棚) 的 递归最小二乘估计器，它可以按下式计算： 一吧一箍氅伍： 【只+ l = 巩+ 最+ 1 + ，( y 一口乙巩) 其中k 在0 到m + 1 之间变化，而且最终l s e b 等于o ，即使用所有历个数据对 的估计器。 ，开始进行( 2 2 0 ) 式的算法之前，需要选择吼和只的初值，一种可以避免确 定这些初值的方法是收集最初的几个数据点，并直接由下式计算或和只 佐糍y 亿2 - ， 【吼= 只彰。 7 其中阮；n 】是由最初的n 个数据对所构成的数据矩阵。随后，可以从第伽+ 1 ) 个 数据对开始实施迭代算法。 2 2 最陡下降法6 1 1 町” 基于梯度的优化技术能够按照目标函数的导数信息确定搜索方向。最陡下 降法是许多基于梯度算法的基础，最陡下降法与误差反传过程相结合，是用于 6 四川大学硕士学位论文 神经元网络学习的主要算法。 2 2 1 下降法 这里将集中讨论定义在h 维输入空间口= h ，岛，吃i r 上实值目标e 和最 小化问题。主要目标是寻找( 可能是局部的) 极小点口= 口。 一般地，一个给定的目标函数e ，可能具有对可调参数口的非线性形式。 由于e 的复杂性，通常求助于迭代算法以有效的搜索输入空间。在迭代下降法 中，下一点由当前点眈。沿方向向量d 前进一步而确定： ，= + 棚( 2 2 2 ) 其中r 是正的步长，控制沿该方向前进多少量。在神经模糊研究中，使用术语 学习速率表示步长i 。为了方便，我们另外使用如下的公式 ： 吼+ 。= 最+ r h 露( 七= 1 , 2 ，3 ，)( 2 2 3 ) 其中k 表示当前迭代次数，或。和q 。表示所产生解的侯选序列颀 中两个相继 的元素。巩的趋势是收敛到一个( 局部) 极小值口。 迭代下降算法分两步计算第k 步r 。吐：首先确定方向d ，随后计算步长，7 。 下一点应满足如下的不等式： e ( 目o ) = e ( e o ，+ 彬) e ( 曰)( 2 2 4 ) 各种下降法间的基本差异在于第一步确定下一次的方向。一旦确定了方向，各 种方法都向着由当前点见。和方向d 所确定直线上的( 局部) 极小点移动。也 就是说，最优步长可以由线性最小化确定： 矿= a r g r a i n 中( r )( 2 2 5 ) 其中： o ( 刁) = e ( 既，+ 彬) 2 2 2 基于梯度的方法 如果直接下降方向d 是在目标函数e 的梯度( g ) 基础上确定的，那么这种 四川大学硕士学位论文 下降法就称为基于梯度的下降法。 可微函数e ：r ”峥r 在0 处的梯度等于e 的一阶求导向量，表示为g ，即 卯) _ ( 唧”竺l a e ( e ) ，可a e ( o ) ，割7 ( ：刀) 为了简便，我们通常省去g ( 口) 中的自变量0 ，只使用g 。 一般地，基于已求得的梯度。下降方向遵守以下可行下降方向的条件： m ，( o ) ：d e ( o f f “。， l p 0( 2 2 8 ) 中( o ) = 妒i l l l 4 0 0 s ( 毒( o - ) ) o 其中孝表示g 与d 之间的夹角，善( 只。) 表示在当前点幺。处g 一与d 之间的夹 角，f 2 2 8 ) 式可通过e 的t a y l o r 级数展开式进行验证： e ( 6 + r i d ) = e ( 只。) + 裙7 d + o ( r i 2 ) ( 2 2 9 ) 当，7 _ 0 时右边第二项将远远大于r i 的第三项及其他高阶项。对于这样一个小 正数坪，当g r d 0 时，不等式( 2 2 4 ) 显然成立。 一类基于梯度的下降法具有如下的基本形式：其中可行的下降方向是通过 乘以g 将梯度偏移来确定( 即偏移后的梯度) ： = 一卵g 窖( 2 3 0 ) 其中叩是正的步长，g 是正定矩阵。当d = 一g 窜，由于9 7 d = 一g r 6 9 “：( 2 4 9 ) 与每个特征值相对应，有一个2 特征向量。其对应关系如下： 特征值丑对应的特征向量为： e= e ，l p f 2 ： 口f 2 以特征向量e 作为k - l 变换的基向量，令其作为k - l 变换核矩阵的行，j ：i ；n 2 个 基向量，构成2 n 2 方阵，称之为k l 变换核矩阵： ie 1 1 e 1 2 p l 2 4 ：卜巳。z l e u h e u 2 2 p 】1 四川大学硕士学位论文 第三章基于t s 模型的建模与仿真 1 9 8 5 年，t a k a g i 和s u g e n o 提出了t - s 模糊模型【l j o t - s 模糊模型的模糊 规则后件是输入变量的线性组合，不需要选择模糊消除器的形式，已在许多实 际问题中得到成功应用。目前，建立t - s 模糊模型已有数种方法，其中较为成 熟的是a n f i s 建模方法和模糊聚类方法。 3 1t s 模糊模型 典型t s 模糊模型的模糊规则为： r 7 ：如果x i 是a ? a n d ，a n dx n 是彰，那么y 。= ( c ) 7 x ( 3 1 ) ，= 1 , 2 ，吖 其中x ：【l ，毫，】re r “，c 7 ：k ，d ，矗j r 月“，卅为变量t 的第，个模 糊区间上的模糊集合。这种模糊规则的模糊前件是模糊的，模糊后件部分是确 定的。对于一个真值输a x ，模型的输出y ( x ) 为各y 的加权平均： m吖 a k ) y a 。( x ) ( c y x ) ，( = 土 一= 上l 矿一 ( 3 2 ) ( 功p b ) 7 ) = 兀( 一) ( 3 3 ) t = l 或者 ) = m i n “( t ) i f = 1 , 2 ，胛 ( 3 4 ) 其中，( 一) 为模糊集合卅的隶属度函数；设规则r 。的模糊子空间上的模糊集 合由直积形式爿k 一；彰表示，则( 薯) 是模糊集合纠x z 4 的隶属 度函数。 t s 模糊模型的模糊规则表示了模糊子空间的划分和子空间上输人输出的 线性关系。建模过程中模糊规则的生成和调整是应用模糊模型的“瓶颈”，通常 无法人为地定出模糊规则，而t s 模型的形式便于应用各种神经网络学习方法 进行参数的优化，从而根据输入一输出样本生成模糊规则。 1 6 四川大学硕士学位论文 3 2a n f i s 3 2 1 a n f i s 结构 j s r j a n g 提出的自适应神经模糊推理系统( a d a p t i v en e t t r a l n e t w o r k b a s e d f u z z y i n t e r f e r e n c es y s t e m ，a n f i s ) 1 6 】是一类从功能上与模糊推理系统等价 的自适应网络，它同时具备了自适应网络对网络结点要求低和模糊推理系统不 依赖精确数学分析的特点。 这里我们介绍基于s u g e n o 模糊模型的a n f i s 结构。s u g e n o 模糊模型【”1 ( 也称作t s k 模糊模型) 由t a k a g i ，s u g e n o 和k a n g 提出，旨在开发从给定的 输入输出数据产生模糊规则的系统化方法。s u g e o n 模型中最典型的模糊规则形 式为： 如果x 是aa n d y 是b 则= = f ( x ，y )( 3 5 ) 其中a 和日是前件中的模糊集合，而z = f ( x ，y ) 是后件中的精确函数。通常 f ( x ，y ) 是输入变量x 和y 的多项式。但是，只要它能在由规则前件指定的模糊 区域中恰当描述模型的输出，则它可以是任意函数。当f ( x ，y ) 是一阶多项式时 所产生的模糊推理系统被称为一阶s u g e n o 模糊模型。 为简单起见这里考虑两输入x 和y ，单输出z 的模糊推理系统，并采用常 用的一阶s u g e o n 模糊模型。模型具有的两条模糊i f - t h e n 规则的普通规律集如 下： 规n - ：如果石是一l a n dy 是且那么= p 1 x + q l y + r l 规则二：如果工是a 2 a n dy 是岛那么 = p 2 x + q 2 y + r 2 ( 3 6 ) 图( 3 1 一a ) 解释了这种s u g e o n 模型的推理机制，该模型相应等效的a n f i s 结 构如图( 3 1 一b ) 所示，该结构共分5 层( 这里我们记层，的第f 个结点为d ，。) 。 四川大学硕士学位论文 6 - p t x + q a 叶f 1 。p 产+ 屯y + f 2 岛f | 帮吲嘲 r b 、 图31 二输入、单输出的a n f i s 结构图 层一，在这一层的每个结点i 是一个有结点函数的自适应结点。 x ( 或y ) 是结点i 的输入，爿( 或b ) 是与该结点有关的语言标识，也就 是所0 】是模糊集爿( a = a 。，a 2 ，马，b ：) 的隶属度，并且他确定了给定输入x ( 或 y ) 满足量a 的程度。 这里用一般钟型函数来表示a 的隶属函数： 1 _ ：) 2 1 ( 3 7 ) 1 + i 坐f i 口，l 式中k ，6 j ，q ) 是参数集，当这些参数的值改变时， 展示了模糊集一的不同隶属函数形式。 0 1 2 心( ，f = 1 ，2 【d 2 。= 抱一：( y ) i = 3 ，4 钟形函数也随之改变，这样 ( 3 8 ) 本层参数称为前提参数。 层二，在这一层的每个结点是一个标以i i 的固定结点，每个结点表示条 规则的激励强度，它的输出是输入信号的积。 弩譬 7 2 叩 ； ； l 四川大学硕士学位论文 0 2 ，= c o , = f l ( x ) - t b , ( y ) ( 3 9 ) 层三，在这一层的每个结点是一个标以n 的固定结点。在第f 个结点计算 第i 条规则的激励强度与所有规则激励强度之和的比值： 0 3 ；叮，：土，i = 1 , 2 ( 3 1 0 ) 。 q + 纰 本层的输出称为归一化激励强度，一般说来，本层的结点函数可以用任意 其他执行模糊“与”的t 范式算予。 层四，在这一层的每个结点i 是一个有结点函数的自适应结点 0 4 ，= q z = q ( 只善+ q y + ) ( 3 1 1 ) 式中研是从层3 传来的归化激励强度。扫，q ，_ 是该结点的参数集，本层的 参数称为结论参数。 层五，这一层的结点是一个标以的固定结点，它计算所有传来信号之和 作为总输出： = q 肛簧 ( 3 1 2 ) 3 3 模糊聚类法龇1 9 1 聚类法不仅广泛应用于数据的组织和分类，而且还应用于数据压缩和模型 构造，这里我们重点介绍会在接下来的仿真中使用的减法聚类法。 聚类将一个数据集划分为若干组，使得组内相似性大于组间相关性。实现 这样一组划分需要一个相似性度量，即取两个相似性度量，返回反映这两个向 量相似性的数值。由于大多数相似性度量对输入向量中元素的值域相当敏感， 因此，每个输入变量都必须归一化，即其值在单位区间0 ，1 l 。 聚类技术与模糊建模一起使用，主要确定模糊i f - - t h e n 规则。为了达到 该目的，基于下列假设的聚类技术才有效： 1 被建模目标系统的相似输入应该产生相似的输出。 2 把这些相似输入一输出对划入训练数据中的各个类。 假设l 说明被建模目标系统是一个光滑的输入输出映射，对于现实世界面 1 9 四川大学硕士学位论文 言，该假设一般为真。假设2 要求数据集与某些特殊的分布类型一致，不过这 个假设并不总是真。因此，应用于模糊建模中的聚类技术具有高度启发性，并 且常发现聚类技术不能满意地适用于某个数据。 减法聚类法，采用数据点作为聚类中心的候选集，此方法的计算量与数据 点的数目成简单的线性关系，与所考虑问题的维数无关。 考虑m 维空间的胛个数据点( ，x ：，) 。不失一般性，假定数据点已归 一化到一个超立方体中。由于每个数据点都是聚类中心的候选者，因此，数据 点x 处的密度指标定义为： d i = 喜吼褂) 这里乞是一个正数。显然，如果一个数据点有多个临近的数据点，则该数据点 具有高密度值。半径，d 定义了改点的一个邻域，半径以外的数据点对该点的密 度指标贡献甚微。 在计算每个数据点密度指标后，选择具有高密度指标的数据点微第一个聚 类中心，令工。为选中的点，见为密度指标。那么每个数据点x 的密度指标可 用公式； r i i 2 、 d i = d f d q e x p l 一褂l ( 3 1 4 ) 修正。其中是一个正数。显然，靠近第一个聚类中心k 的数据点的密度指标 显著减小，这样使得这些点不太可能选为下一个聚类中心。常数r 6 通常大于l ， 以避免出现相聚很近的聚类中心，一般情况下，选择r = 1 5 t 。o 修正了每个数据点的密度指标后，选定下一个聚类中，x c ，再次修正数据 点的所有密度指标。该过程不断重复，直至产生足够多的聚类, 中心。 当减法聚类法应用于一个输入一输出数据集时，每个聚类中心代表一个展 示被建模系统某些特性的原型，这些聚类中心可以合理地用作零阶s u g e n o 模糊 模型中模糊规则的前提的中心。 例如，假定第i 个聚类中心是肘维c 。，则c i 可以分解为两部分向量p 和吼， 这旱只是输入部分，它包含q 的前个元素，而q 是输出部分，包含c ，的后 璺业盔堂堡圭堂垡丝兰 m n 个元素。那么给定一个输入向量x ，它满足规则f 的程度定义为： 舻e d 一渊 均 确定了前提部分我们就可以使用混合算法来辨识和更新模型的参数。 3 4 混合学习算法嘲f 1 5 1 n 8 】 混合学习算法是基于t s 模型的建模的学习方法。t s 模型的输出与网络 的某些参数是线性关系，因此我们可以在前向通道中通过最小二乘法辨识线性 部分的结论参数，在反向通道中使用反传学习算法【1 5 恒新非线性部分的前提参 数。辨识的过程在学习方式上可以分为离线学习和在线学习。 表3 1 混合学习算法结构表 前向通道后向通道 前提参数固定梯度下降 结论参数最小二乘估计固定 信号结点输出误差信号 3 4 1 离线学习 考虑3 2 1 节中提到的两输入单输出的一阶s u g e o n 模糊模型，模型系统的 总输出可以表示为结论参数的线性组合，即： 厂：；+ 等正 ( 3 1 6 ) 国，+ ，1 + ， = q ( p l x + q l y + ) + 口2 ( p 2 x + q 2 y + r o = ( 吼x ) a + ( m l y ) q l + ( l x ) _ + ( 刃2 x ) p 2 + ( m 2 y ) q 2 + ( 叮2 x ) r 2 是结论参数p ，q 。，1 ，p 2 ，q ：和，2 的线性函数。可见，待辨识参数时由线 性参数和非线性参数构成。 考虑t - s 模糊模型的参数集。令s = 整个参数集；s = 前提( 非线性) 参 p q ) ) l 大学硕士学位论文 数集；s ，= 结论( 线性参数集) ，则有： s = s o ( 3 1 7 ) 其中，“固”表示直和；参照( 3 1 6 ) 式有= a ，q l ，r t ，p 2 ，q ：，r 2 。 现在给定s 中元素的值，我们可以通过输入的训练数据得到矩阵方程： a 0 = f( 3 1 8 ) 其中爿是有关系统的输入矩阵；0 是由系统的非线性参数构成的矩阵，参照 ( 3 1 6 ) 式有0 = ( p l ，吼， ，p 2 ，q 2 ，) 2 显然，这是一个标准的最小二乘问题，使惮口一1 1 2 最小化的0 的最优解为 最小二乘估计器日： 0 = ( a 7 4 ) 。a 7 y( 3 1 9 ) 其中爿7 是a 的转置，如果a 7 a 非奇异，( 彳7 爿) - 1 a 7 是彳的伪逆。 如果采用2 1 4 节介绍的递归最小二乘估计器来计算p ，设( 3 1 8 ) 式中定义 的矩阵爿的第i 个行向量为衫，y 的第i 个元素为y j ；则可以按照下式迭代地 计算0 + ： i 谚。= 谚+ # 。q + 1 ( y 二，一口l + l t