（应用数学专业论文）模糊稳健回归分析.pdf

宁夏大学硕士学位论文李德民：模糊稳健回归分析 i 摘要 回归分析在工业、商业、经济、管理、工程技术等领域有着广泛的应用，各种回归分析模型的 研究自然成为众多学者的研究焦点之一，其中将模糊性引入回归模型是一个重要方面，这就是所 谓的模糊回归分析传统的模糊回归方法在求解回归参数时通常忽略了方法的稳健性，未能充分 考虑异常值对参数估计的影响因此，对模糊回归模型稳健性的研究具有十分重要的现实意义 本文首先介绍了模糊线性回归模型的三种情形以及模糊线性回归参数估计的数学规划法：线 性规划法和二次规划法研究了模糊线性回归模型拟合度的一些性质，并通过数值模拟分析了两 种方法的拟合性能 其次我们讨论了回归分析的两种稳健估计：m 估计和r 估计一方面从理论上分析和研究了 两种估计的稳健性以及该方法抗异常值的机制另一方面进行了一些数值模拟和比较研究 最后本文将稳健统计的思想引入到模糊线性回归模型中，提出了一种基于精确输入模糊输 出的模糊稳健回归分析方法，并给出了相应算法的描述该方法能减少或降低异常值对回归系数 估计的影响数值模拟表明方法的稳健性，同时与现有的方法进行了比较分析 关键词：模糊回归；稳健性；m 估计；r - 估计；拟合度 宁夏大学硬士学位论文 李德民：模糊稳健回归分析 n a b s t r a c t r e g r e s s i o na n a l y s i sh a sb e e nw i d e l yu s e di ni n d u s t r y , c o m m e r c e ，e c o n o m i c s ，m a n a g e m e n t ，e n - g i n e e r i n ga n do t h e rf i e l d s t h er e s e a x c ho fav a r i e t yo fr e g r e s s i o na n a l y s i sm o d e l sh a sb e c o m et h e f o c u so ft h es t u d yb ym a n yi n v e s t i g a t o r s o n eo ft h em o s ti m p o r t a n ta s p e c t si sf u z z yl i n e a rr e g r e s s i o n a n a l y s i s ，w h i c hi si n t r o d u c i n gf u z z i n e s si n t or e g r e s s i o nm o d e l s t h et r a d i t i o n a lf u z z yl i n e a rr e g r e s - s i o nm e t h o d sf o rs o l v i n gr e g r e s s i o np a r a m e t e r sf a i l e dt of l l l l yc o n s i d e rt h eo u t l i e ra n di g n o r e dt h e r o b u s t n e s s t h e r e f o r et h er e s e a r c hf o rt h er o b u s t n e s so ft h ef u z z yl i n e a rr e g r e s s i o nm o d e l sh a sv e r y i m p o r t a n tr e a l i s t i cm e a n i n g f i r s to fa l l ，t h i st h e s i ss u m m a r i z e st h et h r e ec a s e so ft h ef u z z yl i n e a rr e g r e s s i o nm o d e l s ，a s w e l la st h em a t h e m a t i c a lp r o g r a m m i n gm e t h o d sf o rp a r a m e t e r se s t i m a t i o n ：l i n e a rp r o g r a m m i n ga n d q u a d r a t i cp r o g r a m m i n g t h e ni td i s c u s s e ss o m ep r o p e r t i e so ft h ef i t n e s sd e g r e eo ft h ef u z z yl i n e a r r e g r e s s i o nm o d e l s t h en u m e r i c a ls i m u l a t i o na n a l y z e st h ef i t t i n gp e r f o r m a n c eo ft w om e t h o d s t h e n ，t h i st h e s i sd i s c u s s e st w ot y p e so fr o b u s te s t i m a t i o nf o rr e g r e s s i o na n a l y s i s ：m - e s t i m a t e s a n dr - e s t i m a t e s t h er o b u s t n e s so ft w oe s t i m a t e sh a sb e e na n a l y z e da n dr e s e a r c h e di nt h e o r y ，a s w e l la st h em e c h a n i s mo fa n t i o u t l i e r s o m en u m e r i c a ls i m u l a t i o n sa r ei l l u s t r a t e dt oc o m p a r et h e r o b u s t n e s so ft w om e t h o d s a tl a s t ，t h i st h e s i si n t r o d u c e st h ei d e a so fr o b u s ts t a t i s t i c si n t ot h ef u z z yl i n e a rr e g r e s s i o nm o d e l s ， p r o p o s e sf u z z yr o b u s tr e g r e s s i o nm e t h o d sb a s e do nc r i s p - i n p u ta n df u z z y - o u t p u t t h e ni tp r o v i d e sa d e s c r i p t i o no fc o r r e s p o n d i n ga l g o r i t h m t h i sm e t h o dc a nr e d u c eo rd e c r e a s et h ei n f l u e n c eo fo u t l i e r f o rt h ee s t i m a t i o no fr e g r e s s i o nc o e f f i c i e n t s t h en u m e r i c a ls i m u l a t i o ns h o w st h a tt h em e t h o di sv e r y r o b u s ta n de f f e c t i v et od e a lw i t ho u t l i e r s k e yw o r d s ：f u z z yr e g r e s s i o n ；r o b u s t n e s s n ；m - e s t i m a t e s ；r - e s t i m a t e s ；f i t t i n gd e g r e e 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特，l , j j j ! l 以标注和致谢的地方外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得宁夏大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示 了谢意。 研究生签名：夸缀尻 时间： a o , f 年t 月加e l 关于论文使用授权的说明 本人完全了解宁夏大学有关保留、使用学位论文的规定，即：学校有权保留送交论 文的复印件和磁盘，允许论文被查阅和借阅，可以采用影印、缩印或扫描等复制手段保 存、汇编学位论文。同意宁夏大学可以用不同方式在不同媒体上发表、传播学位论文的 全部或部分内容。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名：李 磐瓦 时间：声吖年上月2 , 0 日 导师签名： 魏主力 时间：。哆年广月勿日 宁夏大学硕士学位论文 李德民：模糊稳健回归分析 1 第一章引言 回归分析是统计学中应用最广泛的一个分支它的应用遍及工业、农业、经济、保险、生物、医 学、工程技术和社会科学等各领域它是分析数据、寻求变量关系的一种有力工具其中最简单的 是线性回归分析，它的理论已经相当完善【1 】 1 1 研究目的与意义 在经典的回归分析中，观测是精确数据，并且通常假设服从某个概率分布如正态分布然而，在 许多实际问题中，观测本身是模糊的，不能用概率分布来描述( 例如观测是用一些语言来描述：。优 秀”、。很好”、。好”、“一般”等等) 此时，如果还用经典回归分析来处理，我们只能这样做：用l 表 示。优秀”，2 表示“很好”，3 表示。好”，4 表示“一般”但是，用这样过于简单化的数据处理语 言变量，将会遗漏对回归模型而言的重要信息那么如何在这类模糊情形下估计参数成为经典回归 分析所面i 晦的一大挑战对于这类用语言形式描述的信息，z a d e h 的模糊集理论1 2 】对此类语言变 量建模提供了方法 模糊线性回归( f u z z yl i n e a rr e g r e s s i o n ，f l r ) 方法首先由t a n a k a 等人提出【3 j ，其基本思想是 将估计值的总体模糊度最小化，并用线性规划( l i n e a rp r o g r a m m i n g ) 法确定模糊回归系数而s a v i c 和p e d r y c z 4 】对这些方法进行了重新考虑和修订s a v i c 和p e d r y c z 还将l s 估计与线性规划结合起 来，开发了建立模糊回归模型的两步法f 5 】接着t a n a k a 和l e e f 6 】、k a o 同、l e e 和c h e n g 8 1 、w a n g 和t s a u r 0 1 、s o l i m a n 1 0 l 等人在此基础上提出了几个模糊回归的改进版本在这些改进的方法中，最 小化模糊性仍然被用做拟合准则，参数求解仍然采用线性规划法 作为回归分析在模糊情形的扩张，能否将最小二乘估计的概念应用到模糊回归分析中呢? 这个 问题很快成为人们研究的一个焦点y a n g 和l i u t t 、w i i s c h e 和n i i t h e r i t 2 l 、w a n g 和t s a u r 【1 3 1 、y a n g 和l i n 14 】研究了不同的模糊最小二乘法y a n g 和l i u t t l 定义了一个模糊数据和模型之间的相容 性度量，用此度量作为模型拟合准则，根据此方法，数据拟合的目的是建立一个模型使得数据和拟 合模型之间的整体相容性达到最大w i i s c h e 和n 茂t h e r 1 2 又提出了一个模糊最小二乘方法，他把 h a u s d o r f f 度量运用到n 一强截集上得到了一个在模糊数集合上的度量，用该度量确定最4 , - - 乘准 则函数，使其达到最小w a n g 和t s a u r t 3 】以整合最小模糊性准则和经典最小二乘回归为目的提 出了模糊最小二乘回归分析c h a n g 1 5 1 以整合模糊性和随机性为目的，提出了混合( h y b r i d ) 回 归分析模型，利用加权模糊算术( w e i g h t e df u z z ya r i t h m e t i c ) 和最小二乘拟合准则，对三角模糊 回归系数给出了最小二乘估计该方法有以下几个优点：一是当数据的模糊性下降时，他的混合 回归模型接近于经典回归的结果，当所有数据退化为精确数据时，其结果与经典回归一样；二是经 典回归中的可靠性度量是混合方法的可靠性的特殊情形；三是混合回归比其它模糊回归有更好的 预测能力x u 1 6 j 利用模糊数空间上的某种度量距离对正态模糊数回归系数给出了最小二乘估计 魏 1 r l 用非对称指数型模糊数之间的某种度量距离和的最小二乘法研究了模糊多元线性回归模型 n i i t h e r 1 2 1 8 , 1 9 】等人建立了模糊随机变量的线性回归模型并讨论了该模型的最小二乘估计随后， l e e 和c h e l a 8 】以可能性( p o s s i b i l i s t i c ) 理论为基础研究了不同的模糊回归方法c h a n g 1 5 l ，d u r s o 宁夏大学硕士学位论文李德民：模糊稳健回归分析 2 和g a s t a l d i 2 0 ，2 1 1 、h o n g 2 2 1 ，k a o 2 3 ，d i a m o n d 2 4 ，c e l m i n s 2 5 2 6 等人以模糊集理论为基础、结合 最小二乘法提出了模糊最小二乘回归模型m o d a r r e s 和n a s r a b a d i 2 7 ，髂 开发了基于精确输入模 糊输出的数学规划模型，将估计值和观测值的误差最小化s t a h l 2 9 ) 从统计学的高度上讨论了自变 量和回归参数均为模糊数的模糊线性回归模型，并且证明了最小二乘估计量是一个强一致估计量 b a r g i e l a 和p e d r y c z 3 0 j 考虑了基于模糊数的多元回归分析，对其进行了归纳总结这些都完全不同 于以概率论为基础的经典回归分析，所有这些模糊回归模型都是用来处理模糊数据的 由于过失误差、舍入误差等诸多因素的干扰，实际数据中混入一定比例的异常值往往是难以避 免的一旦混入了异常值，那么，这些方法都将面临着严重的挑战，甚至会导致错误的结论因此， 将稳健统计的思想引入到模糊回归模型中是十分必要的例如，w a t a d a 和y a b u u c h i a l ，3 2 ，3 3 】通过 构造一个超椭圆函数，建立了模糊稳健线性回归模型，采用遗传算法求解模糊参数h u a n g 3 4 1 通过 构造一个损失函数将神经网络方法应用的模糊回归中，从而有效的抵制异常点马【3 5 1 将稳健性引 入到线性规划中，通过求解线性规划问题来求解模糊回归参数，他考虑的是基于精确输入精确输 出的模糊多元线性回归模型c h e n 3 6 】讨论了模糊线性回归模型中的异常点检测问题，他根据问题 条件预先设定一个阈值来判断哪些点为异常点o r t i z 和s a r a b i a 3 7 1 介绍了目前异常点检测与稳健 回归的一些方法和应用y a n g 和l i u 3 s 】通过将异常点聚类，开发了模糊线性回归最小二乘法的新 算法，能够抵御异常点对回归参数的影响m a r k 3 9 l 考虑了异常点诊断问题，并通过一些统计方法 分别给出了相应的克服异常点的稳健方法 综上所述，我们可以得出：( i ) 模糊回归方法很多，但是没有形成一个完善的理论及应用体 系；( 2 ) 模糊线性回归模型稳健性的方法和途径很多，但是缺乏稳健统计的一般理论和方法；( 3 ) 在 讨论模糊线性回归模型的稳健性时，大部分研究者仅考虑某种启发式信息，从方法上进行了讨论， 未能从稳健统计的理论高度上进行研究 1 2 模糊数与模糊数空间 1 2 1 模糊数及其基本概念 定义1 1 【2 7 l 设r “表示n 维欧氏空间：e 竹垒 贾：形_ 【o ，1 1 ) ，文e ”被称为模糊数，如果 x 满足下面四个条件： ( 1 ) x 是上半连续函数，即 l i m s u p x ( x ) = x ( ) ，z ，t 冗1 ； ( 2 ) 闭包 z l z r i ，戈( z ) 0 ) 是紧集； ( 3 ) 戈是正规的，即 z r ”：贾( z ) = 1 ) 非毫 ( 4 ) 贾是凸的，即对所有z ，s fer n ，ae 【o ，1 】，有 戈( 妇+ ( 1 一a ) y ) r a i n x ( x ) ，贾( 可) ) 宁夏大学硕士学位论文李德民：模糊稳健回归分析 3 注集合b 的闭包是b 与它的导集口的并集，即 万= b ii v 定义1 2 1 2 7 1 对任意0 日1 ，称瞎】h = 善r l 文( z ) 日) 为模糊数贾的h 一水平集 特别地，若戈e 1 ，则 晖】日= 晖一饵) ，再( 日) 】，s u p p ) 瑟= 【丽o = u 喀】日= 贾一( o ) ，氟( o ) o h i 为戈的紧支撑，其中贾一( 日) ，氟( 日) 表示闭区间暖】日的左右端点 定理1 3 ( 表示定理) 【2 7 i设t i e n i 仉( 舻) 表示舻上非空紧凸集全体，那么有： ( 1 ) 【t 】2 妒。( j 宅露) ，v h ( 0 ，1 】； ( 2 ) m 晚cm 肌，v 0 日l 也1 ； ( 3 ) k 】h = u o o ：l 心1 肌，v l - t k ，k ( o ，1 1 。反之，若 a h ：日d ，d 是( 0 ，1 】的一个稠密子集，满 足( 1 ) ( 2 ) ，那么唯一确定一个模糊数 u e “：【t 】日= u h dh a h ，其中 h a 厅( z ) ：日 a 日( z ) 日，z a h ， l0 ，2 簪a 日 即任意模糊数由它的日一水平集( o 1 则称其为三角模糊数 对三角模糊数戈= ( 仇贾，1 2 ，r 贾) l r ，矿= ( 仇哥，匆，r p ) l r ，t r ，定义线性结构： ( 1 ) ( m 戈，l x ，r 贾) l r + ( m p ，i p ，r p ) l r = ( m 贾+ m p ，l 又+ i p ，r y , + r p ) l r ； ( 2 ) ( ，珏贾，z 童，r 又) 二冗= ( t ，n 文，以贾，t r x ) l r ，t o ； 宁夏大学硕士学位论文李德民：模糊稳健回归分析 4 ( 3 ) t ( m 贾，z 又，r 戈) 二r = ( i t l m 贾，l t i r 贾，l t l l 2 ) l r ，t 0 ； ( 2 ) ( 1 i ) ( 日，z + 暑，) ( u ) + ( 日，z ) + ( “) ( 日，妙) ； z 日秒一 h 器 = h 嵋 h m 日 d 地 口刀 特 宁夏大学硕士学位论文李德民：模糊稳健回归分析 5 【3 ) ( u ) ( 丑，、z ) = a ( t ) ( 日，z ) ，a o ； ( 4 ) i ( t 1 ) 。( 日，z ) 一( u ) ( 日，| ，) l ( s u p 。f 川耳l a l ) l z l ，i ； ( 5 ) 妇s 沪1 ， ) ( 日，z ) 在( o ，1 】上依r 连续 定义1 9 【2 7 1 对任意u ，u e ”，定义距离奶：五_ 点，i + 【0 ，+ ) d 2 ( u ，秽) = ( j 厂1d备(阻】日，m日)dr)墨0 、， = ( n z ll ( 即“( 耻) ) 2 p ( d x ) d r ) 墨， ( 1 2 6 ) p 是单位球面s ”1 上的l e b e s g u e 测度，( t ( s “- 1 ) = 1 ) 定理1 1 0 【2 7 1 ( e n ，如) 是可分的不完备度量空间 1 3本文工作重点与结构安排 论文研究的框架如下： 第一章主要介绍了模糊线性回归分析及其稳健性的研究成果和现状，简要回顾了模糊数的基 本概念和模糊数空间的距离等内容 第二章首先介绍了根据输入向量或输出向量是模糊数还是精确数，模糊线性回归模型可以划 分为三种情形：( 1 ) 精确输入和模糊输出；( 2 ) 精确输出和精确输出；( 3 ) 模糊输入和模糊输出讨论 了模糊线性回归模型参数估计的数学规划法：线性规划法和二次规划法最后针对这些参数估计 方法进行了一些数值模拟和比较分析 第三章主要介绍两种稳健回归方法：m 估计和r 估价，对其思想进行了阐述，同时利用数值 模拟与现有的方法进行了比较研究 第四章将稳健性引入到经典的模糊线性回归方法中，提出一种模糊线性稳健方法，该方法能 有效减少或降低异常值对回归系数估计的影响并进行了一些数值模拟，与现有的方法进行比较 分析 第五章对本文工作进行归纳和总结，得出了一些重要结论，并对未来的研究方向提出了预测 和展望 宁夏大学硕士学位论文李德民：模糊稳健回归分析 6 第二章模糊线性回归分析 本章主要讨论模糊线性回归模型的三种情形，研究了模糊线性回归模型拟合度的一些性质，介 绍了求解模糊参数的数学规划法，并给出了一些数值模拟结果 2 1模糊线性回归模型 本节主要讨论模糊线性回归模型的三种情形及其拟合度的一些性质 2 1 1模糊线性回归模型的三种情形 模糊回归模型可以表示为 y = f ( x ，a ) ，( 2 1 1 ) 其中x 是精确输入( 也可以是模糊输入x ) ，y 是模糊输出( 也可以是精确输出y ) ，a 是模糊回归 函数，f ( ，) 是一个模糊回归参数如果f 是x 的线性函数，则称为模糊线性回归模型；如果f 是 非线性的，则称为模糊非线性回归模型 模糊线性回归模型的形式比较简单，根据输入向量或输出向量是模糊数还是精确数，可以分为 以下三种：( 1 ) 精确输入x 和模糊输出l ，；( 2 ) 精确输出x 和精确输出y ；( 3 ) 模糊输入x 和模糊 输出y 下面我们针对这三种情况，分别建立模糊线性回归模型以下若无特殊说叽总假设所有模糊 数为对称三角模糊数 情形l假定模糊线性回归模型的一个训练数据集为( 墨，y d ；i = 1 ，2 ，l ，其中x i = ( z n ，z n ，z m ) ，k = ( 玑，e d ，可建立如下模糊线性回归模型 霹= 五+ 彳1 黝l + + 彳。z t m = 一4 托，i = 1 ，2 ，n ，( 2 1 2 ) 其中一4 = ( 五，a l ，五。) 是模糊回归系数，记五= ( ，勺) ，j = o ，1 ，2 ，m ，则五的隶属函数 为 酬= l 彳 1 一紫 担m ， 模糊回归系数用向量表示可以记为a = ( a ，c ) ，a = ( a o ，n l ，a m ) t , c = ( c o ，c l ，c m ) 。，应用扩张 原理，估计输出变量y i 的隶属函数可以表示为 岷慨掣 41 工2 ，i、0 t i y 0 o i i 它噩噩其 宁夏大学硕士学位论文李德民：模糊稳健回归分析 7 其中a t x i 是y 的中心，c t | 墨i 是y 的宽度，估计方程为 2 一 y t = a o + a t x i t + + a m z i m = ( a o ，c o ) + ( 口1 ，c 1 ) x i l + + ( a m ，c m ) z l m( 2 1 5 ) = ( a t 五，c 2 i x d ) 情形2假定模糊线性回归模型的一个训练数据集为( x i ，k ) ；t = l ，2 ，n ，其中五= ( z m z n ，z m ) ，k = ( e d ，可建立如下模糊线性回归模型 m = 五+ 五n + + 五二z m = 觚，i = l ，2 ，n ，( 2 1 6 ) 虽然观测输出是精确的，但由于系统结构是模糊的，所以估计输出也是模糊的此时估计输出及估 计方程和第一种情况的估计输出及估计方程相同 情形3假定模糊线性回归模型的一个训练数据集为( 豆，y d ；i = l ，2 ，n ，其中豆= ( x i l ，贾涵，贾i 。) ，戈玎= ( z i j , a i j ) ，霰= ( 批e i ) ，可建立如下模糊线性回归模型 k = 山+ a t x i l + + a 。墨。，i = 1 ，2 ，珏，( 2 1 7 ) 记x i = ( 1 ，戤l ，z i 2 ，z f 。) 。，q i = ( o ，q mc t i 2 ，q i 。) 此时输出的隶属函数可以表示为 ，= l ( 学) 山r 裟? a i 钮如 ， 其中a 。置是k 的中心，c t i 置i + l a t l q i 是y i 的宽庞l x i i = ( 1 ，k l i ，慨2 l ，l x i m f a f = ( 1 0 0 l ，i o l i ，i 。i ) 。，此时估计方程为 y i = 山+ a l x i l + + a m x i m = ( a o ，c o ) + ( 1 1 ，c x ) ( z i i ，口n ) + + ( 口m ，c m ) ( z i m ，口i m )( 2 1 9 ) = ( a t x i ，c t i 置l + i a l q ) ，i = l ，2 ，n 2 1 2 模糊线性回归模型的拟合度 拟合度是反映模糊线性回归模型拟合性能的一个指标，它实际上反映了k 与其估计值k 的 接近程度，即贴近度下面我们先引入两个模糊数贴近度的概念 定义2 1 1 4 0 设模糊数五b e 1 ，模糊数五与豆的贴近度定义为 e o s ( 彳= 百) = s u p m i i l 互 ) ，百( z ) ) ) ( 2 1 1 0 ) 霉r 下面我们给出两个模糊数的贴近度定理 定理2 2 1 4 0 1 若对称三角模糊数互= ( 口，口) ，蜃= ( 6 ，卢) ，则 p 0 s ( 彳= 后) = l ( 端) ( 2 1 1 1 ) 证明我们先找一个特殊点使( 2 1 1 1 ) 式成立令 n 口+ 6 q 2 而，a 十d 宁夏大学硕士学位论文李德民：模糊稳健回归分析8 盈矿) = 百( 矿) = c ( 而a - b ) ， 所以在矿这一点上， p o s ( 彳= 豆) = s u p m i n 确，豆( z ) ) ) = m i n g o z ) ，豆( z ) ) = l ( 崭) 再c 一 ， 、l t 7 对于该定理的证明，我们用反证法，假设 p 0 s ( 彳= 百) l ( q a + - 侈b ) ( 2 1 1 2 ) 由vze 冗一s u p p a ，五 ) = 0 ；vz r s u p p b 一，台0 ) = 0 ，可得 p 。s ( 彳= 百) = 。s u ：p 。 m i n 彳( z ) ，百( z ) ) ) = ；s u p p s j u p n s u p p 豆 m i n 彳( z ) ，秀( z ) ) ) 由于互和豆是r 上的模糊子集且为上半连续函数，所以j z o s u p p a ns u p p b 使得 p o s ( , 4 = 豆) =s u p m i n a ( x ) ，百扛) = r a i n 彳( z o ) ，百( z o ) ) ( 2 1 1 3 ) = e s u p p a n s u p p 昏、 7 从( 2 1 2 ) 和( 2 1 3 ) 得出 工、z o q - - a ) l ( 而a - b ) ，厶( 字) l ( 而a - b ) 又因为l ) 为递减函数，得 垃型 嘲，堕型 0 ，i ；1 ，n 对于模糊线性回归模型( 2 1 6 ) ，可以用下列方法求解回归系数： 墨 一 厅： = s量_ 舀 宁夏大学硕士学位论文 r a i n s = e ( c 2 l 墨i ) 2 ， i = l 8 t a t x t + l 一1 ( 日) c i x , l 玑， a 五一l 一1 c h ) c i 墨is 玑， c t 0 ，i = 1 ，n 李德民：模糊稳健回归分析 1 1 对于模糊线性回归模型( 2 1 7 ) ，可以用以下两种方法求解回归系数： q p l q p 2 m i ns = s t a t x i a o 托 + l 一1 ( 日) 一l 一1 ( 日)c i x “+ c 0 ，t = 1 ，佗 ( 2 2 6 ) 2 a p q t ) 虮+ l - 1 ( n ) e i ， ( 2 2 7 ) a i 。口i ) 玑一l 一1 ( h ) e i ， m i ns = ( c 。i x d + l a l _ e ) 2 ， s t a t x i + l 一1 ( 日) ( c i 墨l + f a i 。伽) 觚+ l - 1 ( h ) e i ， ( 2 2 8 ) a t x d l 一1 ( 日) ( c 2 i x i i + i a l 。口) 玑一l - 1 ( 日) e ， c t 0 ，i = l ，n 。 以上两种方法各有优点：q p l 将线性规划中的目标函数变为模型模糊宽度的平方和，约束条 件和线性规划中的一样该方法能较好的抵制线性规划中模型宽度随数据增多而变大这一趋势 q p 2 的目标函数是估计值的宽度与给定数据的宽度的差的平方和，约束条件仍然和线性规划 一样该方法也能较好的抵制线性规划中模型宽度随数据增多而变大这一趋势，同时也保证了估 计值的宽度与给定数据的宽度的误差平方和最小 2 3 数值模拟 在这一节，我们通过几个具体的例子对上述方法进行一些数值模拟 例1 1 3 5 我们在这里考虑m = 1 ，t l = 5 并且取阈值h = 0 的情形实验数据如下表所示： 在这里，我们分别用线性规划法和二次规划法来估计回归系数的中心值a = ( 口o ，口1 ) 以及宽度 值c = ( c o ，c 1 ) ，使得 2 y = ( 0 4 ) ，c o ) + ( o l ，e t ) z xc ， 。m l12345 z t 11 522 53 7 ( 肌，e i )( 4 1 ，1 4 )( 5 8 ，1 8 ) ( 8 , 2 2 ) ( 1 0 ，2 ) ( 1 4 5 ，2 1 ) 为 图2 1 线性规划 首先，我们用线性规划法来估计回归系数，则由( 2 2 1 ) 可得如下优化问题 ( 2 3 1 ) s t a o + n l + c o + c 1 5 5 ，a o + a l c o c l 2 7 ， n 0 + 1 5 n l + c o + 1 5 c l 7 6 ，a o + 1 5 a l c o 一1 5 c l 4 ，( 2 3 2 ) 知+ 2 a t + c o + 2 c x 1 0 2 ，a o + 2 a l 一匈一2 c x 5 8 ， n o + 2 5 a l + c o + 2 5 c l 1 2 ，a o + 2 5 a t c o 一2 5 c t 8 ， a o + 3 7 a l + c o + 3 7 c x 1 6 6 ，a o + 3 t a t 一向一3 7 c l 1 2 4 ， 得到 y 1 = ( 0 3 5 2 9 ，2 3 1 7 6 ) + ( 3 8 2 3 5 ，- 0 0 5 8 8 ) z 其次，我们用二次规划来估计回归系数，在此仅以q p 2 为例加以说明，则该问题的目标函数 约束条件仍为线性规划的约束条件( 2 3 2 ) 解该优化问题可得 2 y 2 = ( 0 4 6 7 4 ，1 8 6 7 4 ) + ( 3 7 6 6 3 ，o 1 6 6 3 ) x ( 2 3 3 ) q 7o1 工+ 印 5 = 溉 一 。谢 = snm 户 艮 一x 。 i i 五 n蓦 宁夏大学硕士学位论文李德民：模糊稳健回归分析 1 3 图2 2 二次规划 我们将线性规划和二次规划求得的参数估计用下列图表示出来，其中图2 1 线性规划的结果， 图2 2 是二次规划的结果可以看出，线性规划和二次规划所求得的回归系数相差不大，但是二次 规划的参数略优于线性规划求得的参数 例2 3 6 】我们在这里考虑m = 1 ，n = 1 0 并且仍然取阈值日= 0 的情形实验数据如下表所示： ll2 345 678 91 0 z t l234567891 0 ( 玑，e )( 8 0 ，1 8 ) ( 6 4 ，2 2 ) ( 9 5 ，2 6 ) ( 1 3 5 ，2 6 ) ( 1 3 ，2 4 ) ( 1 5 2 ，2 3 ) ( 1 7 ，2 2 ) ( 1 9 3 ，4 8 ) ( 2 0 1 ，1 9 ) ( 2 4 3 ，2 0 ) 我们仍然用线性规划法和二次规划法来估计回归系数的中心值a = ( a o ，g 1 ) 以及宽度值c = ，c 1 ) ，使得 2 y = ( 0 0 ，c o ) + ( n l ，e x ) z 墼坠丝型堂堡堕二丝量型塑丝塑堡分上1 4 得到 为 图2 3 线性规划 首先，我们用线性规划法来估计回归系数，则由( 2 2 1 ) 可得如下优化问题 s t a o + n l + c o + c 1 9 8 ，0 0 + n 1 一c 0 一c l 8 2 ， n 0 + 2 a t + c o + 2 c l 8 6 ，a o + 2 a l c o 一2 c i 4 2 ， n 0 + 3 a i + c o + 3 c i 1 2 1 ，a o + 3 a i c o 一3 c i 6 9 ， n 0 + 4 a i + c o + 4 c i 1 8 1 ，n o + 4 0 , 1 一c o 一4 c l 1 0 9 ， ( 2 3 4 ) 口o + 5 a i + c o + 5 c t 1 5 4 ，a o + 5 a i c o 一5 c l 1 0 6 ，( 2 3 5 ) n o + 6 a i + c o + 6 c i 1 7 5 ，a o + 6 a l 一印一6 c l 1 2 9 ， a o + 7 a i + c o + 7 c i 1 9 2 ，a o + 7 a i c o 一7 c i 1 4 8 ， 口o + 8 口l + c o + 8 c t 2 4 1 ，a o + 8 a i c o 一8 c i 1 4 5 ， n o + 9 a i + c o + 9 c l 2 2 ，a o + 9 a i c o 一9 c l 1 8 2 ， n o + 1 0 a t + c o + 1 0 c l 2 6 3 ，a o + 1 0 a 1 一伽一1 0 c t 2 2 3 ， 2 y i = ( 4 4 3 3 3 ，3 6 0 6 7 ) + ( 1 8 5 8 3 ，0 1 4 1 7 ) z 其次，我们用二次规划来估计回归系数，在此仅以q p 2 为例加以说明，则该问题的目标函数 一e ) 2 ， 约束条件仍为线性规划的约束条件( 2 3 5 ) 解该优化问题可得 o y 2 = ( 4 2 6 1 9 ，3 4 9 5 2 ) + ( 1 8 7 9 8 ，0 1 6 3 1 ) z ( 2 3 6 ) q 5 5 + o1 1 = x m 曲 = snm x m 出 i i 如 盘m 宁黑大学硕士学位论文 李德民：模糊稳健回归分析 1 5 图2 4 二次规划 我们将线性规划和二次规划求得的参数估计用下列图表示出来，其中图2 3 线性规划的结果， 图2 4 是二次规划的结果可以看出，线性规划和二次规划所求得的回归系数相差不大，但是二次 规划的参数略优于线性规划求得的参数 宁夏大学硕士学位论文 李德民：模糊稳健回归分析 1 6 第三章稳健回归分析 在经典的回归分析中，我们经常用最小二乘法来求解回归系数然而，由于过失误差、舍入误 差等诸多因素的干扰，实际数据中混入一定比例的异常值往往是难以避免的因此，将稳健统计的 思想引入到经典回归模型中是十分必要的本章主要介绍两种稳健回归方法，当模型中存在异常点 时，如何减小该点对回归系数估计的影响，并做了一些数值模拟 3 1 异常值 造成最j 、- - 乘估计不好的一个重要原因是数据中混有。异常值”，即该观测值与其它观测值不 是来自同一模型下面我们我们先给出“异常值”的定义 定义3 1 1 4 2 在所获得的统计数据中相对误差较大的观测数据称之为异常值( o u t l i e r ) ，或称 离群值 在生产和生活中，由于人为或随机因素的影响，“异常值”随时都会出现当实际数据中混有 。异常值”时，会使我们对数据的估计产生偏差，甚至得到错误的结论在此，为说明异常值对回 归系数估计的影响，我们来看一个模拟的例子 例3 1 设e 一( o ，0 6 2 ) ，利用计算机生成6 个随机数g l , e 2 ，9 6 ，对给定的x i 值，按如下 模型生成玑： y t _ - 2 - z i 托“_ 1 2 3 ，4 ，5 ， ( 3 1 1 ) i ! 6 = - 2 一x 6 + 1 2 + e 6 ， 数据如下表所列 表3 1 实验数据及残差 l 戤玑 a l y ia 2 y i 1- 4 2 4 8 2 0 92 4 4 230 7 30 4 2- 0 3 3 3 - 20 0 4- 0 2 70 1 2 4一11 4 41 5 9- 0 5 4 5o1 3 2 - 1 3 90 5 5 61 00 0 7 51 1 6 4 由表( 3 1 ) 可知，0 6 ，珈) 与( x 6 ，s 6 ) ，i = 1 ，2 ，5 不是来自同一模型，故属“异常点” 如果不知道表( 3 1 ) 的数据是如何得来的，那么由这6 组数据可求y 关于z 的一元线性回归 方程 爹= 0 0 6 8 3 一o 0 8 1 5 z ( 3 1 2 ) 图3 1 中的l l 即为( 3 1 2 ) 代表的回归直线，各点残差a l y i 也列在表( 3 1 ) 中从( 3 1 2 ) 式可以