（应用数学专业论文）基于模糊点数据的回归分析.pdf

摘要 在经典回归分析理论中，假定训练数据是独立同分布的随机样本，在回归方程 的构建中是同等对待的然而，在许多实际问题中，训练数据的作用是不同的通常 有些训练数据比其它数据可能更为重要，因而不同的训练数据对拟合曲线的贡献应 该不同，我们要求重要的训练数据对曲线拟合做出更大的贡献在本文中，我们实 现这一目标的策略是给每个训练数据赋予一个置信权重，在这样的模糊点数据情形 下，熏新推导了经典的回归方法，其中主要包括最小二乘估计、岭估计、主成分估计 等，并且分析了它们的统计性质，这些性质与经典的线性回归参数估计性质类似 文中的数值例子进一步说明了我们提出的方法的特点：模糊权重越大的数据对拟合 曲线的作用越大，拟合曲线明显地靠近权重大的数据当模糊权重退化为1 时， 我们的方法退化为经典的线性回归方法因此，经典线性回归是我们这里的特殊情 形 另外，我们讨论了基于模糊点数据的线性回归模型用于判别分析的情况以及 l o g i s t i c 回归模型由于在判别分析问题中，各类在所分析的问题中所处地位不 同，有的类可能比其它类更为重要，基于此，我们可以给每一类赋予一个置信权 重，这样就可以根据需要将更为重要的类尽量正确分类，对不太重要的类允许有 些误分数值模拟进一步说明了这点 关键词：模糊点数据；最小二乘i 回归分析；岭回归；主成分回归 a b s t r a c t f o rc l a s s i c a lr e g r e s s i o na n a l y s i s ，a l lt r a i n i n gd a t aa r ea s s u m e dt ob ei n d e p e n d e n ti d e n t k ：a l l y d i s t r i b u t e dr a n d o ms a m p l e sa n da r et r e a t e du n i f o r m l yi nt h ec o n s t r u c t i o no fr e g r e s s i o ne q u a t i o n h o w e v e r ，i nm a n yr e a l - w o r l da p p l i c a t i o n s ，t h ee f f e c t s o ft h et r a i n i n gd a t aa r ed i f f e r e n t i ti s o f t e nt h a ts o m et r a i n i n gd a t am a yb em o r ei m p o r t a n tt h a no t h e r s ，s ot h ed i f f e r e n tt r a i n i n gd a t a s h o u l dm a k ed i f f e r e n tc o n t r i h u t i o n st ot h ef i t t i n gc u r v e w er e q u i r et h a ti m p o r t a n tt r a i n i n gd a t a c a nm a k em u c hc o n t r i b u t i o n st ot h ef i t t i n gc u r v e i nt h i sp a p e r w ea p p l yac o n f i d e n c ew e i g h t t oe a c ht r a i l f i n gd a t aa n dr e f o r m u l a t et h ec l a s s i c a ll i n e a l r e g r e s s i o nm e t h o d s - - t h el e a s ts q u a r e s e s t i m a t o r ，r i d g ee s t i m a t o r ，p r i n c i p a lc o m p o n e n te s t i m a t o ra n ds oo i l m e a n w h i l e ，w ea n a l y z ei t s s t a t i s t i c a lc h a r a c t e r i s t i c sw h i c hs i m i l a rt ot h ep r o p e r t i e so fp a r a m e t e r se s t i m a t o ro ft h ec l a s s i c a l l i n e a rr e g r e s s i o np o u rn u m e r i c a le x a m p l e sa r eu s e dt od e m o n s t r a t eo u rp r o p o s e dm e t h o d t h e b i g g e rt h ec i r c l e sa r e ，t h em o r ei m p o r t a n tt h e ya r et ot h ef i t t i n gc u r v e ，8 0t h e yc a l lm a k en l u c h c o n t r i b u t i o n st ot h ef i t t i n gc u r v e t h ef i t t i n gc u r v ei sa p p a r e n t l yc l o s e rt ot h ed a t aw h i c hh a v e b i g g e rw e i g h t w h e na l lf u z z yw e i g h t sd e g e n e r a t et oo u ep o i n t ，o u rp r o p o s e dm e t h o db e c o m e st h e c l a s s i c a ll i n e a rr e g r e s s i o nm e t h o d t h e r e f o r e ，t h ec l a s s i c a lr n e a rr e g r e s s i o ni ss p e c i a lf o r mo fo n r m e t h o d i na d d i t i o n ，w ed i s c u s sd i s c r i m i n a n ta n a l y s i sw h i c ht h el i n e a rr e g r e s s i o nm o d e lb a s e do i l f u z z yp o i n t sd a t aa r eu s e da n dl o g i s t i cr e g r e s s i o nm o d e l f o rt h ep r o b l e mo fd i s c r i m i n e a l t a n a l y s i s ，e a c hc l a s sh a sd i f f e r e n te f f e c to nt h er e s e a r c h f u lp r o b l e m ，s o n i cc l a s s e sd a t am a yb e m o r ei m p o r t a n tt h a no t h e r s w ea p p l yac o n f i d e n c ew e i g h tt oe a c hc l a s sd a t as u c ht h a tt h e i m p o r t a n td a t am u s tb ec l a s s i f i e dc o r r e c t l ya n dm a yn o tc a r ea b o u ts o m ec l a s s e sd a t aw h e t h e i - o l n o tt h e ya r em i s c l a s s i f i e d t h r e en u m e r i c a le x a m p l e sf u r t h e rs h o wt h ep r o p e r t i e so fo n rm e t h o d k e y w o r d s ：f u z z yp o i n t sd a t a ；l e a s ts q u a r e s ；r e g r e s s i o na n a l y s i s ；r i d g er e g r e s s i o n ；p r i n c i p a l c o m p o n e n tr e g r e s s i o n i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注积致谢的地方外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得宁夏大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示 了谢意。 研究生签名：盘盎丝 时间；垄! 年j l 月二日 关于论文使用授权的说明 本人完全了解宁夏大学有关保留、使用学位论文的规定，即：学校有权保留送交论 文的复印件和磁盘，允许论文被查阅和借阅，可以采用影印、缩印或扫描等复制手段保 夸、汇编学位论文。同意宁夏大学可以用不同方式在不同媒体上发表、传播学位论文的 全部或部分内容。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名：型& 鱼起时间：三堕年垒月。日 导师签名熟至边m 塑年上月上日 第一章引言 回归分析是数理统计学中应用最广泛的一个分支它的应用遍及工业、农业、经济、保 险、生物、医学、工程技术和社会科学等领域，是分析数据。寻求变最关系的一种有力工具 因此，许多年来，对回归分析理论和方法曲研究一直很活跃 1 1回归分析的基本概念 在现实问题中，常常有这样的情况：虽然变量y 与变量x 之间有一定的关系，但这种关 系与通常的蓝数关系不同，变量1 ，的值不能够完全由盖的值所确定。选种关系通常称为相关 关系我f p i - 娶求在已知x 值的条件下，变屋y 取值的不确定性可以通过一定的概率分布击描 述而这个条件分布的数学期望是x 的函数： ，( z ) = e ( y i x = z ) ， 我们把，( z ) 称为y 对x 的回归西数，x 与y 之间的相关关系可以表示为 f l l _ 1 1 其中e 为y 与f ( z ) 的偏差，我们认为它是随机的，总假设e ( 曲= o 如果自变量不止一个，而 是p 个；x l ，x 2 ，墨，此时( 1 1 1 ) 变为 其中，( z i ，z ，) = e ( y i x l = z l ，托= z ，) 称为y 对x l 一，置p 的回归函数 回归萄数托j 可以是线性也可阻是非线性的在理论上，对面归函数是线性的情形有比 较深入和一般性的结果对于线性回归函数，模型( 1 , 1 2 ) 可表示为多元线性回归模型 p y = 8 q + y 。x 。e 、e 、 = 】 其中岛为常数硬凤，佛为回归系数，e 为随机误差在线性回归模型中，需要估计其中 柏束知参数目= ( 岛，岛，- ，岛) ，最基本并且使用最多的方按是最小二乘法这主要是因为它 有趣好的统计性质，如估计的无偏性、方差是最小的等等【l o _ 1 2 模糊画归分析 在经典的回归分析中，观测是确定数据。并且通常假设观测服从某个概率分布，如多数情 况下服从正态分布然而。在许多实际f 可题中，观测在本质上是模糊的，不能用概率分布描述 例如观测是用一些语言来描述：美丽、优秀、好。大约等于5 等等如果还用经典回归分析来 例如观测是用一些语言来描述：美丽、优秀、好。大约等于5 等等如果还用经典回归分析寒 一室曼盔堂塑堂焦造塞壅夔塾! 董士基塑盛夔量嬖里坚盐堑 2 处理，我们只能这样来傲：如用4 表示“优秀”，3 表示c 彳艮好”，2 表示“好”，1 表示“一般” 用这样过于简单化的数据处理语言变量，将会遗漏对回归模型而言的重要信息那么如何在这 类模糊情形下估计参数成为经典回归分析所面临的一大挑战 对于这类用语畜形式描述的数据，z a d e h 的模糊集理论对此类语言变量建模提供了方法 于是t a n a k a 等人于1 9 8 2 年首先提出了模糊线性回归模型，在他的方法中，回归系数是模糊 的，可以表示为有隶属值的区间数由于回归系数是模糊的，所以估计的因变量也是模糊数随 后，l e e 和c h e n 1 l 】以可能性( p o s s i b i l i s t i c ) 理论为基础研究了不同的模糊回归方法c h a n g 2 ， d u r s o 和g a s t a l d i 4 ，h o n g 7 ，k a o f 9 】等人以模糊集理论为基础，结合最小二乘法提出了模糊 最小二乘回归模型这些都完全不同于以概率论为基础的经典回归分析；所有这些模糊回归模 型都是用来处理语言变量这类模糊数据的 最近c h a n g 1 1 对模糊回归分析方法进行了比较，总结了模糊回归的三种方法，即最小化模 糊性准则、最小二乘拟合准则和区闻回归分析方法，同时指出模糊回归与经典回归之间的主要 区别在于模糊回归视残差为模糊变量，而传统回归视残差为随机变量。下厩我们就模糊回归的 发展状况作一简单综述 在最早的模糊线性回归模型中，其目标是最小化输出的模糊性，并用线性规划( 1 i n e a rp r o g t a r n m i n g ) 方法确定模糊回归系数接着有人在此方法基础上用最小模糊性准则提出了几个模 糊回归的改进版本，如k a 0 【8 】，l e e 和c h e n 1 1 ，s o l i m a n 等人 1 4 ，t a n a k a 和l e e 1 5 ，w a n g 和 t s a u r 1 8 等在这些改进的方法中，最小化模糊性仍然被用做拟合准则，求解用的是线性规划 方法 另一方面，由于以上方法没有应用最小二乘的概念，于是将最小二乘准则和模糊回归整合 在一起的思想很快成为人们研究的热点之一w a n g 和t s a u r l l 7 ，w i i n s c h e 和n a t h e r 2 2 ，y a n g 和l i u 2 4 ，y a n g 和l i n 2 5 1 研究了不同的模糊最小二乘方法y a n g 和l i u l 2 4 1 定义了一个模 糊数据和模型之间的相容性度量，用此度量作为模型拟合准则，根据此方法，数据拟台的目的 是建立一个模型使得数据和拟合模型之间的整体相容性得到最大 w i i n s c h e 和n a t h e r 2 2 1 叉 提出了一个模糊最小二乘方法，他把h a u s d o r f fm e t r i c 运用到。一强截集上得到了一个在模糊 数集合上的度量，用该度量确定最小二乘准则函数，使其达到最小 w a n g 和t s a u r 1 7 以整 合最小模糊性准则和经典最小二乘回归为目的提出了模糊最小= 乘回归分析c h a n g 2 1 以整 合模糊性和随机性为目的，提出了混合( h y b r i d ) 回归分析模毽，和用加权模糊算术( w e i g h t e d f u z z ya r i t h m e t i c ) 和最小二乘拟合准则，对三角模糊回归系数给出了最小二乘估计；他的方法 比以上方法有这样几个优点：一是当数据的模糊性下降时，他的混合回归模型接近于经典回归 的结果，当所有数据退化为确定数据时，其结果与经典回归一样；二是经典回归中的可靠性度 量是混合方法的可靠性的特殊情形；三是混合回归比其他模糊回归有更好的预测能力；霹是对 于回归涉及的模糊敬而言，混合模糊最小二乘回归分析和混合可靠性分析是一个完整的方法； 最后，此方法可以推广到非线性模糊回归情形x u 2 3 利用模糊数空间上的某种距离对正态 模糊数回归系数给出了最小二乘估计魏1 1 9 】使用非对稚指数型模糊数之间的某种距离的最小 二乘方法，研究了模糊多元线性回归模型 现有的这些模糊最小二乘回归方法有一个共同的特点，那就是t ( a ) 回归系数是模糊数， 主曼盔堂堕圭堂垡造塞煎煎壑! 董主垫塑基墼塑鲤望坚坌堑 3 结果是估计的因变量的s p r e a d 很大程度上随着自变量个数的增加面变宽( 即使当因变量s p r e a d 下降时，它仍会变宽) ；( b ) 当数据集中有异常值时，这些方法的预测能力下降；( c ) 不能解决非 三角模糊j 【豫测问题。基于此，k a o 和c h y u 【9 1 ，w u 2 ：】以扩张原理为基础，在c h e n k l e i n 3 】的 秩模糊数( r a n k i n gf u z z yn u m b e r s ) 方法结构上，构遣了残差平方和的隶属函数是回归系数的 函数，并通过非线性规划形式使其达到最小他们提出的方法克服了这些方法的缺点，而且更 为重要的一点是，当所有模糊观测值退化为1 时( o n ep o i n t ) ，现有的模糊最小二乘回归方法仍 产生的是模糊回归系数，而他的方法就退化为经典最f b - - - 乘法因而他提出的方法更为台理 在经典回归中，误差被看作是随机变量，由观测的不一致性引起的在模糊回归中，由于 系统的模糊性误差是模糊变量事实上，随机性和模糊性是两种不同的不确定性，共同存在于 回归分析中而经典回归和模糊回归分别只考虑了全部不确定性的一部分；一个完整的网归分 析应该同时包括随机性和模糊性。所以建立个将随机性和模糊性整合在一起的模糊回归分析 是所有研究者的共同愿望，而目前只有c h a n g ( 2 1 做了这方面的工作 l 。3 本文工作要点及安排 本文的出发点不同予以上的所有横糊回归方法，而是从一个新的角度将模糊性引入到回归 模型中考虑到在许多实际问题中，每个数据对总体来说有不同的置信度或意义为此，我们 给拟合回归线的每个数据赋予一个模糊隶属度，使得不同的数据对拟合曲线作出不同的贡献 在这样的的模糊点数据情形下，重新推导了经典的回归方法，其中主要包括最小二乘估计、岭 估计、主成分估计等，并且分析了它们的统计性质，这些性质与经典的线性回归参数估计性质 类似文中的数值例子进一步说明了我们提出的方法的特点：模糊权重越大的数据对拟合曲线 的作用越大，拟合曲线明显地靠近权重大的数据当模糊权重退化为1 时，我们的方法退化为 经典的线性回归方法，因她，经典线性固归是我们这里的特殊情形。受1 1 2 ，l9 的启发，我们将 其称为基于模糊点数据的回归分析 作为我们方法的进一步推广和应用。我们又讨论了基于模糊点数据的线性回归模型用于判 别分析的情况以及l o g i s t i c 回归模型由于在判别分析 6 】问题中。各类在所分析的问题中所处 地位不同，有的类可能比其它类更为重要基于此。我们可以给每一类赋予一个置信权重，这 样就可以根据需要将更为重要的类尽量正确分类，对不太重要的类允许有一些误分。数值模拟 表明，依据我们的方法，重要的类的确被正确分开了这也进一步说明模糊点权重越大的数据 对拟合曲线越重要 由于我们的方法可以进行统计分析。并且得到了较好的统计性质，这样就容易运用到实际 应用中去，这不同予现有的模糊回归分析方法一回归系数是模糊数，几乎没有什么统计性质， 那么在应用中对于所分析的数据难以得到好的解释另外。更为重要的一点是我们的方法将要 分析的数据的先验信息引入到了回归分析中，所以我们建立的模型更接近于实际模型，在实际 应用中也就更合理些 本文从个新的角度将模糊性引入到回归模型中，从而构建了基于模糊点数据的回归模 圭墨奎兰堡圭堂堡篁苎鎏垫垒：苎垂堡塑皇塾塑墅曼坚坌堑 4 型。并分析了它们的参数估计的统计性质，同时将它们应用蓟判别分析同毯中论文的第二章 是预备知识，介绍模糊点数据和一个新的矩阵运算第三章讨论基于模糊点数据的最小二乘回 归，并且分析参数估计的统计性质，第四章研究基于模糊点数据的岭回归和主成分回归第五 章讨论基于模糊点数据的非线性回归及其最优化算法。第六章讨论基于模糊点数据的判别分析 第二章预备知识 在经典的回归分析理论中，所有的数据点在回归方程的构建中是被同等对待的然而，在 许多实际应用中，样本数据的作用是不同的通常有些数据比其它的数据重要得多，我们要求 那些重要的数据对回归拟合曲线作出更多的贡献从这个角度我们引入丁模糊点数据，因此， 在对基于模糊点数据的回归模型做进一步讨论之前，有必要介绍一下模糊点数据之后，为了 和经典回归模型的结果进行比较，我们引入了一个新的矩阵运算 2 1 模糊点数据 假设x 是p 维预报变量，y 是一维响应变量，( x ；，班) 是训练样本这里我们绘每个训练 数据( x i ，y ；) 赋予一个模糊隶属度8 i ( o 0 ，为了消除异方差性，我们可以选择s 产圭为横糊权重，这样就满足了经典最 f i z z , 乘法的假设条件( 同方差) ( 6 ) ( 分类数据) 当回归模型用于判别分析( d i s c r h n i a a n ta n a l y s i s ) 问题时，通常情况下，各 个类在所研究的问题中也许所处的地位不同，我们希望重要的类尽景被正确分类，而对不太重 要的类允许有误分例如，有两类0 2 1 类和地类，我们可以选择模糊隶属度以是类变量鼽的 函数： 轳 也就是说u - 类要尽量被正确分类 总之，s 。的确定依赖于具体的数据特征， 知的 i f 虮5h 2 1 i f 叭= u 2 特征不同其含义就不一样本文总假定乳是已 2 2 一个新的矩阵运算 为了表述方便，也为了我们的结果与经典回归模型的结果的比较，同时为了易于在m a t l a b 软件程序中的实现，我们定义一个新的矩阵运算 定义2 2 - 1 设a = ( o u ) n m b = ( b ) n m 是两个n m 矩阵，i = 1 ，- ，n ，j = i ，r 、眠记 a b = b 1 1 b i m h l b 。 则称“+ ”为两个矩阵元素对元素的乘积运算我们要注意的一点是a ，b 的大小要一致 对于“+ ”运算，我们很容易证明该运算的几个性质 定理2 2 1 设 ，口是n m 阶矩阵，s = ( s l ，s 。) ，则有 ( o ) a + b = b 十a ；( a b ) 。= a 。 b ； ( b ) ( s ，s ) 。m 十( a b ) = ( s ，s ) 。m + a 一( s ，- ，s ) 十b ； ( c ) ，是n n 单位阵，g 为n m 阶矩阵( r a sn ，c 的行的大小要和s 一致) ，( s ，一，s ) n n t * c = ( ( s ，s ) 。一j ) e ； ( d ) j 是n n 单位阵，e ( ( s ，s ) 。一a ) = e ( ( s ，s ) 。一工) a = ( ( s ，一，s ) ，。一j ) e ( a ) ； ( e ) 卢是。，+ 1 ) 1 矩阵，x 是n 0 + 1 ) 阶矩阵，s ( x 3 ) = ( ( s ，s ) n ( p + 1 ) + x ) 卢 这条性质在以后章节都要用到，为了方便，记( s ，s ) 。( 卧1 ) ，x = m 此运算及其性质以后章节都会用到 第三章基于模糊点数据的最小二乘回归 在回归模型中，回归参数岛，口l ，一如是待估计的未知参数，估计回归参数的最基本方法 是最小二乘法这个方法不仅仅在统计学中，就是在数学的其它分支，如运筹学、计算数学、 逼近论和控制论等，都是很重要的求解方法本章第一节我们首先回顾经典线性回归的最小二 乘估计及其性质，在此基础上，我们在第二、三、四节讨论基于模糊点数据的最小二乘估计及 其基本性质在3 5 节我们讨论丁广义最小二乘估计 3 1 最小二乘估计 假设有p 维输入向量x = ( x 1 ，托，砗) ，用下面的模型去预测输出y ： p y = 岛+ f 置卢。+ e ，( 311 ) j l = 1 其中岛，卢l ，席是待估计的未知参数假定我们有了僻，y ) 的一个训练数据集“轧玑) ；i = 1 ，2 ，n ，其中鞋= ( 。m x i 2 ，x i p ) 。它们满足 玑= 岛+ z i l b i + - + 。卸岛+ e ；，i = 1 ，一，n 误差项目，i = 1 ，n 满足g a u s s - m a r k o v 假设 1 6 】 若用矩阵形式表示，则有： y = x f l + e ，e ( e ) = 0 ，c o v ( e ) = i f 2 i 。( 3 12 ) 其中x ，y ，卢，e 分别是； x = 1 o l l 1 x 2 l t l p x 2 p y = ( 1 芦= ( 盆0 e = ( e l 簟。) 岛) e n ) 。 为了用模型( 3 1 2 ) 拟合训练数据。首先要对未知参数卢和a 2 进行估计获得参数卢的估计的 一个最重要方法是最小二乘法 定义3 1 1 1 1 3 1 对于线性模型( 3 ，1 2 ) ，若y 的线性函数尻s 满足 i y x 声l s i l 2 2 1 皆峭湖l 2 则称声l s 为卢的一个最小二乘( l e a s ts q u a r e s ) 估计 定理3 1 1 1 1 3 1 对于线性模型( 3 ，1 2 ) ，若x t x 可逆，则鼠s = ( x t x ) 一1 x 呻为卢的最小 二乘估计 8 无论从理论上还是从应用上讲，最小二乘估计尻s 是最重要的估计，因为它有一些优蔑性 质，比如f 3 l s 是芦的无偏估计；在任意线性函数一卢( 其中c 为n 1 常数向量) 的无偏估计类 中，最f j 、：- 乘估计风s 是唯一具有最小方差的估计等 关于口2 的估计，通常采用a 2 = 警等，其中r s s = y 。( i x ( x x ) 。x 。) y 它也有一 些较好的统计性质，如a z 是d 2 的无偏估计；如果进一步假设误整向量e n ( o ，0 - 2 1 1 、那么 氏s 一( 卢，d 2 ( x 。x ) _ 1 ) ；鼠s 与r s s 相：巨独立等等 3 2 基于模糊点数据的最小二乘回归 假设给定一个有模糊权重的训练点数据集 ( x 1 ，y 1 ，8 1 ) ，( x 2 ，y 2 ，s 2 ) 给定每个训练点( x ：，y ) 舻+ 1 的模糊隶属度氘( 0 一 p x一 。 | i s s rw 童墨奎堂堡圭兰垒墼查 鎏薹垒：苎垂堡塑皇鍪塑竺矍塑垒堑 1 l 所以 e ( 声) = e ( m m ) 一1 m ( s 十y ) = ( m 。m ) 一1 m e ( s y ) = 卢 ( 6 ) 因为 c o v ( s 十y ) = c o v ( e ) = a 2 i ， 所以 c o y ( h ) = c o v ( m 。m ) - 1 m ( s y ) = ( m m ) 。1 m 。c o v ( s 十y ) ( ( m 。m ) - 1 m 。) 。 = a 2 ( m m r l ， 口 这个定理的第一条表明，基于模糊点数据的最小二乘估计声是卢的无偏估计 设c 为( p + 1 ) 1 常数向量，对于线性函数c 。卢，我们称c t 声为一卢的基于模糊点数据的最 小二乘估计从定理3 3 1 容易推出 推论3 3 1 ( a )e ( 一声) = 一卢； ( b ) c o v ( d $ ) = 0 - 2 c t ( m m ) 一1 c 这就是说，对任意线性函数c t 卢，基于模糊点数据的最小二乘估计c 。声是c 卢的无偏估计， 且方差为a 2 c t ( m t m ) 一1 c 我们知道c t 声= 一( m 。m ) 一1 m ( sty ) 是观测值s l y h - ，s h y 。的线 性函数，于是c c 声是犀的一个具有无偏性的线性估计当然我们还可以构造出芦的许多其 它的线性无偏估计，构成c t 卢的线性无偏估计类我们的问题是，基于模糊点数据的最小二乘 估计一声在这个类中有什么特别的优良性呢? 下面的定理回答了这个问题 定理3 3 2 对于基于模糊点数据的线性回归模型( 3 21 ) ，在c 卢的所有线性无偏估计中， 最小= 乘估计c 声是最佳线性无偏估计( b e s tl i n e a ru n b i a s e de s t i m a t o r ) 证明设0 f 饵+ y ) 是c 。芦的任意一个线性无偏估计，于是 芦= e ( n 6 ( s + y ) ) = d 。e ( s y ) = a t m s ， 此式对一切协+ 1 ) x1 向量芦都成立，因而必然有 扩m = c 。f 3 3 1 1 因为v a r ( a ( s + y ) ) = o 。v a r ( s 十y ) n = 口2 酬2 ，对1 2 作分解t 一m ( m 。m ) 一1 c + m ( m 。m ) 一1 c i l 2 a m ( m 2 m ) - 1 c n 2 + i i m ( m 。m ) 。c 【1 2 + 2 d ( m m ) 一1 m ( o m ( m 。m ) 。c ) ( 3 3 2 ) 记( 3 , 32 ) 中第= 项为1 ，利用推论3 3 1 得： e r 2 1 = 口2 c t ( m m ) 1 m m ( m m ) 一1 c = 0 2 c 。( m 。m ) - 1 c = v a r ( c p ) 童茎奎堂堡圭堂堡垒奎 垄堑垒：耋垂堡塑塞墼堡竺呈堡叁堑1 2 再记( 3 , 3 2 ) 中的第三项为2 ，利用( 3 3 1 ) 有： 2 = 2 a 。m ( m m ) 一1 m 。拙一m ( m m ) 1 m 口) = 2 a 。( m ( m 。m ) 一1 m 。o m ( m 2 m ) 一1 m m ( m m ) 一1 m 。o ) = 0 于是从( 3 3 2 ) 式，我们证明了，对一卢的任意一个无偏估计口( s + y ) ， v a r ( a 。( s y ) ) = v a r ( c 西) + i 陋一m ( m 。m ) 一1 c i l 2 兰v a r ( c 。p ) ， ( 333 ) 且等号成立当且仅当 j 一m ( m m ) 一1 c l 2 = 0 ， 等价地， a = m ( m m 1 1 c 于是( 3 3 3 ) 式等号成立当且仅当a t 陋+ y ) = 一声，这就证明了一声是c 。卢的最佳线性无偏估 计 口 我们知道，对于无偏估计，方差愈小愈好，因此该定理说明t 基于模糊点数据的最小二乘估 计c 。声在c c 芦的一切线性无偏估计中是最优的，所以我们称c 声是c 卢的最佳线性无偏估计 在基于模糊点数据的线性回归模型( 3 2 1 ) 中还有一个重要参数一2 ，它是模型误差项的方 差，因而有时称为误差方差口2 反映了模型误差以及观察误差的大小，在回归分析中起着重 要作用现在我们讨论a 2 的估计问题 误差向量e = s + ( y x j b ) ，它是一个不可观测的随机向量用基于模糊点数据的最小二 乘估计后代替其中的芦，得到 6 = s + ( y x 芦) 称为残差向量若用爰表示设计矩阵x 的第行，则上式用分量形式写出来就是 自= 如( 玑一i ：声) ，i = 1 ，- ，n 称为第i 次试验或观测的残差 我们将看成误差向量e 的一个估计，很自然我们用 n w r s s ：如= f 馥 t l 来衡量口2 的大小，这里w r s s 同前面一样是残差平方和，它的大小反映了实际数据与理论模 型( 3 2 1 ) 的偏离程度或着说拟台程度w r s s 愈小，数据与模型拟合得愈好下面的定理给 出了w r s s 的一个有用表达式以及利用w r s s 梅遣的口2 的无偏估计 定理3 3 3 ( a ) w r s $ = ( s y ) ，一m ( m 。m ) “m 。1 ( s y ) ； 童曼奎堂至圭兰堡垒塞 壅薹垒：董耋壅塑查墼塑墅望坚坌堑 1 3 ( 6 ) a 。= 芒i 肇荨是a z 的无偏估计 证明( 。) 因为 n n w r s s = q - 2 = s ；( 虮一i i 声) 2 = 陋+ ( y x 声) l l 。， 所以 s ( y x 声) ：s + y m 声= s + y m ( m m ) 一1 m ( s y ) = 【f m ( m m ) “m q ( s + y ) ， w r s s = 酒+ y ) 。p m 【州m ) 一1 m 。 ( st y ) ( b ) 因为e ( s + y ) = e ( s 十( x z ) ) = m p ， c o v ( s y ) = c o v ( e ) ；口2 i ，由文献【1 6 】的定理2 2 1 ， e ( w r s s ) = e i ( s 十y ) ( j m ( m m ) 一1 m ) ( s - y ) 1 ：芦m ( 卜m ( m m ) 一1 m ) m 口十t r i 0 2 u m ( m 。m ) 。m 嘲 = 0 + 0 - 2 t r ( 一m ( m m ) 一1 m ) = 0 - 2 ( n p 1 ) u 如果假设误差向量e 服从正态分布，即e n ( 0 ，口2 i ) ，那么我们可以得到每和5 2 更多的 重要性质 定理3 3 ，4 对于模糊点数据的线性回归模型( 3 2 1 ) ，若进一步假设误差向量e n ( o ，a 2 i ) ， 则 ( ) 唇一( 卢，口2 ( m m ) 一1 ) ； ( 6 ) 萼攀一砑一，； ( c ) 口与w r s s 相互独立 证明( 。) 在定理的假设下，s + y n ( m 9 ，口2 i ) 注意到声= ( m 。m ) 一1 m ( s + y ) 是 ( s + y ) 的线性变换，故有卢一( 卢，口2 ( m 。m ) 一1 ) ( b ) 根据定义 w r s s = ( s y ) 。( 丁一m ( m m ) 一1 m 1 ( s y ) = ( s y ) h ( s 十y ) ， 这里h = i m ( m m ) _ 1 m 。注意到h m = 0 ，于是 w r s s = ( s 十( x 卢) + e ) h ( s $ ( x 芦) + e ) = e h e 又因为e n ( o ，o - 2 i ) ，丑2 ；h ，根据文献【1 6 1 的定理2 4 4 ，我们只祷证明r a n k ( h ) = n p 一1 事实上， r a n k ( h ) = t r ( k m ( m 。m ) 一1 m ) = n t r ( m ( m m ) 一1 m ) = n p 一1 这就完成了( b ) 的证明 ( c ) 因为卢= ( m m ) 一1 m 。( s + y ) = ( m m ) 一1 m ( s ( x 卢) + e ) = 卢+ ( m 。m ) 一1 m 6 e ，而 w r s s = e h e ，注意到( m 。m ) - 1 m h = o ，由文献【16 的定理2 45 便有( m m ) 。m e 与 w r s s 相互独立因而口与w r s s 相互独立 口 有了以上性质，就可以对模型及其参数作进一步的统计推断( 如回归系数和回归方程的检 验，因变量的预测等) 3 4 基于模糊点数据的约柬最小二乘估计 对于基于模糊点数据的线性回归模型( 3 21 ) ，在对参数向量_ 8 设有附加任何约束条件的情 况下，我们求出了基于模糊点数据的最小二乘估计并讨论了它的基本性质但是，在一些检验 闻题的讨论中或其它一些场合，我们需求带一定线性约束的最小二乘估计 定理3 4 1 假设 a 声= b( 3 4 1 ) 是一个相容线性方程组其中a 为( p + 1 ) 的已知矩阵，且秩为，b 为1 已知向量 对于基于模糊点数据的线性回归模型( 3 21 ) ，满足a 卢= b 的约束最小二乘估计为 声。= 声一( m 。r a ) 一1 a 。( a ( m m ) 一a ) 一1 ( a 序一b ) ， 我们把它称为目的基于模糊点数据的约束最小二乘估计，其中口= ( m 。m ) 。m 。( s + y ) 是无 约束条件下的基于模糊点数据的最小二乘估计 证明( 1 ) 我们用l a g r a n g e 乘子法求模型( 321 ) 满足线性约束( 3 41 ) 的最小二乘估计 记 a = b _ 【三 则线性约束( 3 4 1 ) 可以改写为 卢= 以，i = 1 ，( 3 4 2 ) 我们的闻题是在( 3 4 2 ) 的个条件下求卢使w r s s = ：。s ：( 叭一囊徊) 2 达到最小值为了应 用l a g r a n g e 乘子法，构造辅助函数 f ( 芦， ) = s ：( 执受；芦) 2 + 2 k ( 芦一b ；) ， 其中a = ( a 1 ， ) 。为l a g r a a g e 乘子，对函数f ( 卢，a ) 求对卢的偏导数，令其等于零，得到 筹卅砉s 掩氟卢一霹曲+ 。妻a ；钏， 、l 垂墨奎兰堡圭矍堡堡奎 壅塑垒：苎垂堡塑塞墼塑墼矍堡坌堑1 5 利用前面的记号，写成矩阵形式： m ( s y ) 一a 。a = m 。m 口 所以 反= ( m 。m ) 一1 m 。( s + y ) 一( m m ) 一1 a x 。= 声一( m 。m ) 一1 a 。是，( 3 4 3 ) 代入( 3 4 1 ) 式得 b = a 毋。= a 声一a ( m m ) 一1 a x 。， 等价地， a ( m 。m ) 一1 a 2 文。= ( a 毋b )( 34 4 ) 这是一个关于k 的线性方程组，因为a 的秩为k ，于是a ( m 。m ) 一1 a 。是k 的可逆矩阵， 故( 3 , 4 4 ) 有唯一解 t = ( a ( m m ) 1 a 。) 一1 ( a 西一b ) ( 345 ) 将定代入( 3 a 3 ) 得到 良= 声一( m 。m ) 一1 a ( a ( m m ) 一1 a ) 一1 ( a 声一b ) ( 346 j ( 2 ) 下面我们再证明反确实是线性约束( 3 4 ，1 ) 下卢的最小二乘估计，力此我们只需证明 如下两点： ( n ) a 反= b ； ( b ) 对一切满足a 厣= b 的卢，都有 a 反= a 声一a ( m 。m ) 一1 a ( a 一1 ) ( m m ) a 一1 ( a 口一b ) = a 岔一( 和一b ) = b 逮就证明了( n ) 我们将加权残差平方和：。s i 一爰芦) 2 作分解： s 一卢) 2 = l = 1i = 1 + n s 一嗣届+ i 徊一卢) 2 = s 一蔓：声) 2 i = 1 n s ；( 移一芦) 2 + 2 s ；( 鹫序一霹卢) 。( 玑一爱：声) t = 1 反 x 掣 。 一 2 p x一 弘 。日 b 一 口p a a mmaa 一 吗 m一 d p 1 1 成 为 以 因 昕 圭墨查兰堡圭兰堡垒奎垄堑垒：差垂堡塑塞墼塑塑望坚坌篓 1 6 因为上式第三项 s i ( 声一蔓徊) ( 玑一声) = s ；( 声一卢) i t f 轨一霹声) 2 = 1t = l = ( 声一卢) 2 m 。( s + ( y x f l ) ) = ( 口一p ) 。m ( s y m 3 ) = 0 ， 所以 s 一霹p ) 2 = s 一声) 2 + s i ( 冠声一i 徊) 2 ，= li=l扛：l n， = s ：( 虮一i ：声) 2 + a ；( 声一声。+ 声c p ) i 。霹( 每一声c + 口c p ) = 1t = l nn = d ( y t i ：口) 2 + ( 声一口。) 。s 强( 声一西。) = 1t = 1 n n + ( 反一声) 。；i 淳i ( 反一目) + 2 s ；( 口虚。) 氟霹c 一母) 卢) 2 ( 3 4 7 ) 这里我们利用了应用( 3 4 3 ) 得到： ( 商一声。) 。s 强( 反一月) = ( 声一声。) 。m m ( 声。一p ) t ；1 = ( ( m 。m ) 一1 a x 。) m 。m ( 3 。一口) = 工。a ( 芦。一卢) = 0 这个等式对一切满足a 3 = b 的口成立( 3 , 4 7 ) 式表明：对一切满足a 卢= b 的厚，总有 s 一芦) 22 s 一毫西) 2 + s ：( 声一雳。) 2 ， ( 34 8 ) i