（概率论与数理统计专业论文）线性回归模型中的一类新压缩估计.pdf

摘要 对于线性回归模型y = x + p ，在共线性时回归向量的最小二乘 估计( o l s e ) 的估计效果比较差。对此，文献中提出了很多有偏估计以 改进最小二乘估计，但是这些有偏估计存在一些不尽人意的缺陷。基 于此，本文提出一些新的有偏估计以改进最小二乘估计并解决如下两 个问题：其一是关于文献中的由于要求有偏估计一致优于o l s e 时所 带来计算上的复杂性；其二是文献中的有偏估计不一致优于o l s e 时 其相应的结论不甚明晰。本文提出的有偏估计主要包括独立压缩因子 估计( s i f e ) 、广义s l f e ，并且研究了它们相对于o l s e 的优良性。特别 地，通过对两组著名数据集的数值模拟说明了广义s i f e 的优良性。此 外，本文还给出了其它相关估计，如根方独立压缩因子估计、平方独 立压缩因子估计、交叉独立压缩因子估计、根方交叉独立压缩因子估 计及平方交叉独立压缩因子估计，并且研究了它们相对于o l s e 的优 良性。 关键词：线性回归模型；最小二乘估计( o l s e ) ；共线性；有偏 估计；s t e i n 型估计；双k 类估计；岭回归估计；主成分估计；l i u 估 计；l i u 型估计；独立压缩因子估计 a b s t r a c t f o rt h el i n e a rr e g r e s s i o nm o d e l y = x + p ，w f 砌p 。n ( d ，盯2 厶) t h e o r d i n a 叫1 e a s ts q u a r e se s t i m a t o r ( o l s e )f o r t h er e g r e s s i o nv e c t o r b e c o m e sn o td e s i ra _ b l ea n y1 0 n g e rw h e nm ec o l l i n e 撕t yi sp r e s e n t i nt h i s c a s e ，v a r i o u sb i a s e de s t i m a t o r sw e r ep r o p o s e d ，f o l l o w i n gm a i n l yt w o d i r e c t i o n s ，t oi m p r o v em eo l s ei nm el i t e m t u r e t h et w od i r e c t i o n s c a u s e dt ot w op r o b l e m s ，o n eo fw h i c hi sm a tt h ec a l c u l a t i o n sa r ev e 拶 c o m p l i c a t e df o rs o m eb i a s e de s t i m a t o r su n i f i e ds u p 耐o ro v e rt h eo l s e ， a n dt h eo t h e ri st h a tt h ec o n c l u s i o n sa r en o tv e 巧t r a i l s p a r e l l tf o rs o i n e o t h e rb i a s e de s t i m a t o r sn o tu n i f i e ds u p e i i i o ro v e rt h eo l s e u n d e rt h e c i r c u m s t a n c e s ，w em a k eag r e a te f - f o r ti nt h ep 印e rt op u tf o n v a r ds o m e n e wb i a s e de s t i m a t o r s ，i n c l u d i n gs n k a g e i n d 印e n d e n t f a c t o re s t i m a t o r s ( s i f e s ) a n dg e n e r a l i z e ds i f e ，a i l di n v e s t i g a t et h e i rs u l ) 耐o r i t ) ro v e r 也e o l s e f o rt h eg e n e r a l i z e ds i f e ，w em a k eas i m u l a t i o ns t u d yt oi l l u s t r a t e t h ea d v a n t a g e so fi ta n dt h e n 印p l yt h ee s t i m a t o rt ot 、ow e l l k n o w n d 砷a s e t s m o r e o v e r ，w ep r o p o s eo t h e rr e l a t e de s t i m a t o r ss u c ha s s q u a r e r o o ts i f e s ，s q u a r es i f e s ，c r o s s - s i f e s ，s q u a r e r o o tc r o s s - s i f e s ， a n ds q u a r ec r o s s s i f e s 1 1 1 e i rs u p 嘶o r i t i e so v e rt h eo l s ea r ea l s o s t l 】d i e d k e y w o r d sa n dp h r a s e s ：l i n e a rr e g r e s s i o nm o d e l ；o r d i n a 巧l e a s t s q u a r e se s t i m a t o r ( o l s e ) ；c o l l i n e 撕t y ；b i a s e de s t i m a t o r ；s t e i n - t y p e e s t i m a t o r ；d o u b l e 珏c l a s se s t i m a t o r ；o r d i n a qr i d g er e g r e s s i o ne s t i m a t o r ； p r i n c i p a lc o m p o n e n t se s t i m a t o r ； l i u e s t i m a t o r ； l i u - t y p ee s t i m a t o r ； s h f i n k a g e i n d 印e n d e n t f a c t o re s t i m a t o r 湖南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不合任何其他个人或集体已经发表或撰写过的作品成果。对本文的 研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人 完全意识到本声明的法律结果由本人承担。 学位论文作者签名：黑h 亳硼7 年易月z 日 湖南师范大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 研究生在校攻读学位期间论文工作的知识产权单位属湖南师范大学。 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权湖南师范大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密囱。 ( 请在以上相应方框内打“ ) 作者签名：昊叫韦。 锄摊：叩畸 日期：狮7 年6 月二日 日期：年月 日 线性同门模型中的类新压缩估计 1 引言 考虑线性回归模型y = x + p ，其中y 为刀维正态分布随机向量， 其期望为e ( y ) = 即，协方差矩阵为d ( y ) = 盯2 厶，x 为刀p 阶列满秩回 归矩阵，和盯2 ( o ) 为未知参数。另外，我们假设本文中的n 均满足 刀p + 2 。 众所周知，p 的最小二乘估计( o l s e ) 可表为 勉= ( x x ) 叫石j ， 由g a u s s m 破o v 定理知，最小二乘估计是最佳线性无偏估计 ( b l u e ) ，因而在s t e i n 估计被提出之前，它长期以来被认为是最优 估计。然而，当存在共线性( 即x x 为病态矩阵) 时，最小二乘估计 就显得无能为力了。为了解决共线性的问题，文献中提出了各种有偏 估计，如s t e i n 型估计 2 l 】，双k 类估计【2 6 】，岭回归估计【9 】，主成分 估计【1 6 】，l i u 估计以及l i u 型估计 1 4 ，1 5 】其中l i u 估计在近年来被 广泛研究【1 3 ，1 0 ，2 2 ，1 8 ，2 0 ，2 9 】，也可参阅文献 4 ，5 】。对上面 提到的其它有偏估计可参阅文献 1 ，3 ，6 ，1 2 ，1 7 ，1 9 ，2 7 】然而， 上面提到的这些改进估计似乎都差强人意。一方面，由于主成分估计 和“u 型估计不一致优于最小二乘估计( 对主成分估计，首先要决定 所谓的主成分；而l i u 型估计结果太复杂) ，因而要判定主成分估计 或l i u 型估计是否优于最小二乘估计一般是不太容易确定的) 。另一 方面，不论是s t e i n 型估计还是双k 类估计，其均方误差的计算都相 当复杂，尽管它们一致优于最小二乘估计。 因此，我们力求寻找一种未必一致优于最小二乘估计但在回归向 量的适当拓广区域内局部优于最小二乘估计而且只需简单计算的估 计。本文的另一目的则是在某种意义下改进岭回归估计：岭回归估计 的结果似乎较为令人满意，但是当选择一个很小的正岭参数时仍然有 高校教师在职硕十学位论文 可能会出现病态结果情形，详见 1 5 】。为了克服该缺点，我们将对 给出一种新的估计，使其计算简单，且使的适用范围更广于最小二 乘估计。 本文安排如下：第二章研究了新估计的两种类型及其凸组合形 式，并讨论了其相对于最小二乘估计的优良性；第三章给出了前面提 出的新估计的推广形式，并对两个著名数据进行了数值模拟研究；最 后，提出了一些其它新的估计，并简单讨论了它们的优良性。 线性同” 模型中的一类新压缩估计 2 独立压缩因子估计 最近，d r u i l h e t 和m o m 【6 】发表了题为“s h n n k a g es t r u c t l l r e i n b i a s e dr e g r e s s i o n 的论文，作者在文中详细考察了有偏估计中压缩因 子的几何结构，给出了一些有意义的结果。受该文启发，我们提出了 如下形如最小二乘估计的独立因子与其乘积的两种非线性估计，以及 这两种估计的凸组合形式： 定义2 1 令b 为使得级6 为单位向量的任意向量，其中级= ，一最， 办= 石( 疋x ) 。1x 。三个新的非线性估计定义如下： 夕= 号挚勉， ( 2 ) 细一号挚) 勉= 监铲缸，和 ( 2 2 ) 厉= ( 1 一z ) 矽+ 丑矽，( 2 3 ) 其中o p + 2 ，我们不难发现 孑一0 = 一兰! 竺二旦二兰2 1 竺二旦三! o 3 一p + 1 ) 从这种意义上我们说i i 型s i f e 优于i 型s i f e ，因为前者比后者 涵盖了回归向量的更大范围。然而，这只是一个直观比较。我们仍需 要用均方差( m s e ) 判据进行比较。由2 4 和2 5 式，矽、夕关于的 均方差的区别可表为 畎矽，夕；) 会a f = 踞( 夕，) 一 f 路( 夕，) = 声一声= 苎二醴 一盯：研( x r ) 一1 】) n p 因而我们得到如下定理： 定理2 3 下面论断成立： 1 ) 若刀= p + 2 ，则矽与夕是一致的； 2 ) 若力 p + 2 ，则在均方差( m s e ) 判据下矽优于夕的充要条件 是仃2 研( 工。x ) - 1 1 ； 3 ) 若刀 p + 2 ，则在均方差( m s e ) 判据下夕优于矽的充要条件 是仃2 眯x x ) 一】。 综合定理2 2 ，我们建议在椭圆限制仃2 研( 工功_ 】下采用矽， 在条件盯2 研彳) 1 】 行 甩 高校教师在职硕十学位论文 3 推广的独立压缩因子估计 在本章中，我们将继续研究和扩充这种特殊的压缩估计到与 o l s e 独立的压缩因子中。主要有如下两个方面：其一，直接推广 s i f e s ；其二，在下节中，我们给出一种所谓根方s i f e ( s r s i f e ) 的新 估计，该估计与s i f e 密切相关，且在均方差( m s e ) 判据下能通过 扩大回归向量的范围而改善s i f e s 。 3 1 推广的独立压缩因子估计相对于最小二乘估计( o l s e ) 的优良 性 由定义2 1 中提到获得b 的方法，我们令a 、b 分别为f p 和砟一f 列矩阵，其列为p 的最后刀一p 列，p + 1 f 豫。不失一般性，我们假 设 么= 【p p i ，只) 和 b = ( 只+ l ，见) 则彳彳= 一p ，召口= o p ，因而朋和b b 均为对称和幂等矩阵，其 秩分别为f p 和万一f ，且朋肋= o 现记 “= j ，州y ，和v = j ，船y 。 则“一z 2 ( f p ) ，y z 2 ( 万一d ，且u 、v 是相互独立的。类似的我们有 如下定义： 定义3 1 设砧、y 如上定义，三个推广的估计分别定义如下： 压= 熹勉，皮= 熹缸，和废g = ( 1 一五) 皮+ 矾 “+ ，“十1 ， 其中o 1 0 而，则可认为x 是病态的。首先，由m a t l a b 得图1 图l 对均方差( 缸，) ，( 如，) 及其差的模拟结果( 目，5 ) 由图1 我们可以发现在均方差( m s e ) 判据下g s i f e 对于o l s e 有显著改善。到现在为止，我们似乎可以应用g s i f e 解决实际问题了。 然而，我们还需要对如下问题给出合理解释：对于一个实际问题，回 归向量和方差仃2 还是未知的。这通常意味着有偏估计( 不管一致优 于o l s e 与否) 的均方差包含了未知参数，甚至我们不能确定o l s e 和有偏估计哪个具有更小的均方差，以及在某些条件下有偏估计相对 线性同门模型中的一类新压缩估计 o l s e 改善的标准是什么。在这种意义下，传统的方法是分别用和仃2 的如下估计替代它们： 色惦= ( x x ) 一x y ，和= ( y x 如s ) ( ) ，一x 应凇) ( 矗一p ) 然而，当x x 为病态时，缸是不理想的，因而参数的替代选择 在实际问题中是不被接受的，同时我们也不能容忍一会说该估计很差 一会又说其是可以经常应用的很好估计这样一个自相矛盾的方法。在 这种情况下，我们建议替换任意一个有偏估计，比如用尾替换勉。 我们也应该注意到尽管存在共线性吃仍可看作是一种好的替换，因 为其值 吆刊 实际上不受x x 为病态与否所影响。根据这种思路，我们认为使 用 篚：( j ，帅“p ) 替代c r 2 会导致一些不正确的解释，因为龟是盯2 的最小规范二 次无偏估计( m i n q u e ) ，而箧只是在吃的表示中由厦替换红得 出的。另一方面，我们认为模拟研究首先使我们清楚的认识到勉勉 和以及忍厦和之间的区别，然后再作进一步决策。事实上， 由图2 很容易看出的f 忍厦一纠的5 0 个模拟值的和等于l2 2 5 2 3 0 0 l ( 唧，l4 5 6 8 3 0 01 ) ，远远小于l 勉勉一夕纠的5 0 个模拟值的和 1 1 2 1 2 2 3 0 0i ( 坨甲，i1 1 6 5 4 3 0 01 ) 。此时，我们再次确信若替换，尾 比勉更合适。在此之前，我们已经给出了g s i f e 对于o l s e 的优良 性，也解释了为什么用厦、代替勉、替换和仃2 的原因。 为了避免作出错误决策，我们用m a t l a b 重复运行过多次。对每次的 模拟结果，“i 尾厦一l 的模拟值的和远远小于i 勉彪s 一i 的模拟值 的和这个结论都是正确的。 3 2 2 在国家研究与发展支出数据集上的应用 高校教师在职硕士学位论文 基于前面章节所作模拟研究，我们应用g s i f e 的结果于数据集： 国家研究与发展支出占国民生产总值的百分比( 1 9 7 2 1 9 8 6 ) ，并且借 助e m s e 的两种类型给出了g s i f e 对于o l s e 的优良性。该数据集 被许多学者广泛应用，如g 1 1 j b e r 8 】，a k d e n i z 和e r o l 2 最近，y a n g 和z h a n g 2 9 】使用该数据集说明了他们的结果。该数据集见表2 从表 2 中我们可以看出美国所占百分比y 与其它四个独立变量：法国、西 德、日本和前苏联所占百分比五，五，五，五之间的关系。 图2 对，夕0 勉及矽t g 厦的模拟结果( 刨，5 ) 表2 ：国家研究与发展支出占国民生产总值的百分比( 1 9 7 2 1 9 8 6 ) 1 4 线性同! j 1 模型中的一类新压缩估计 y e a r y lx lx 1 2x i ，x 1 4 1 9 7 22 31 92 21 93 7 1 9 7 52 21 82 22 o3 8 1 9 7 92 21 82 42 13 6 1 9 8 02 31 82 42 23 8 1 9 8 l 2 4 2 o2 5 2 33 8 1 9 8 2 2 5 2 12 6 2 43 7 1 9 8 3 2 6 2 1 2 62 6 3 8 1 9 8 42 62 22 62 64 0 1 9 8 52 72 32 82 83 7 1 9 8 62 。72 32 72 83 8 由m a t l a b ，我们得到g s i f e 和o l s e s ( 仁6 ，7 ，8 ，9 ) 分别为 他= 露) - o 6 9 2 l o 6 2 5 8 - o 1 1 5 4 o 2 8 6 6 0 0 2 5 6 0 6 4 8 0 o 5 8 6 0 o 1 0 8 0 0 2 6 8 3 0 0 2 4 0 ，犀) _ 0 4 4 4 3 o 4 0 1 7 o 0 7 4 1 o 1 8 4 0 0 0 1 6 5 ，露= 0 4 6 3 7 o 4 1 9 3 o 0 7 7 3 o 1 9 2 0 o 0 1 7 2 ，魇) - o 4 9 4 l o 4 4 6 8 0 0 8 2 4 0 2 0 4 6 0 0 1 8 3 如果我们用瓦和分别代替和仃2 ，则e m s e ( 勉，) = o 9 5 6 6 ，e m s e ( 犀，) 等于o 7 4 4 9 ，0 6 3 3 0 ，o 6 3 0 9 ，o 7 3 8 8 ，f = l ， 2 ，3 ，4 。从这种意义上说，改善不是很显著的。然而正如前面所讨论 的，如果我们用尾和分别代替和矿2 ，则e m s e ( 魇，) 分 别等于o 3 5 5 2 ，o 4 0 4 6 ，o 。5 2 2 6 ，和o 7 2 8 6 。可以看出改善是显著的。 3 2 3 在波特兰水泥数据集上的应用。 波特兰水泥数据集最初被w o o d s ，s t e i n o u r 和s t a r k e 【2 5 】提出以 来，已经被许多学者广泛研究【1 1 】最近，y a n g 和x u 2 8 】通过增加 随机线性约束应用该数据集验证了他们的理论结果。该数据集来源于 一次热量试验研究，即在含有各种成分的波特兰水泥在淬火过程中的 高校教师在职硕士学位论文 热量和水泥生产过程中炉渣的四种主要成分在各种比例下的热量研 究。该数据集涉及到每克水泥所含热量的卡路里y 和它四种主要成分 之间的关系，其四种成分为：铝酸三钙五，硅酸三钙五，铝铁酸四 钙五和硅酸二钙五，观测结果如下： j ，= 7 8 5 7 4 3 1 0 4 3 8 7 6 9 5 9 1 0 9 2 1 0 2 7 7 2 5 9 3 1 1 1 5 9 8 3 8 1 1 3 3 1 0 9 4 ，x = 由m a t l a b ，我们得到o l s e 和g s i f e s( 仁6 ，7 ，1 2 ) p 呲= 醋= 6 2 4 0 5 4 1 5 5 1 l o 5 1 0 2 o 1 0 1 9 o 1 4 4 1 1 2 6 9 3 o 0 3 1 5 o o 1 0 4 0 0 0 2 l o 0 0 2 9 ，雳= ，魇) _ 1 0 3 5 4 0 0 2 5 7 0 0 0 8 5 o o o l 7 一o 0 0 2 4 4 3 5 3 0 8 1 0 8 2 0 o 3 5 5 9 o 0 7 7 l o 1 0 0 5 ，魇) _ ，魇) - 1 2 4 4 9 o 0 3 0 9 o 0 1 0 2 o 0 0 2 0 o 0 0 2 9 4 4 3 8 3 9 1 1 0 3 2 o 3 6 2 8 0 0 7 2 5 o 1 0 2 5 五( 3 ) 一 p g 一 ，犀) - 分别为 1 2 4 5 3 o 0 3 l o 0 0 1 0 2 0 0 0 2 0 0 0 0 2 9 6 1 6 5 2 6 1 5 3 2 4 0 5 0 4 0 o 1 0 0 7 0 1 4 2 3 如果我们用勉和巍分别代替和仃2 ，则e m s e ( 勉，) = 4 9 1 2 1 ，e m s e ( 膨，) 等于3 2 5 3 2 ，2 8 2 9 5 ，2 6 2 6 o ，2 6 4 2 8 ， 2 8 7 9 8 ，3 3 3 7 o ，4 0 1 4 4 ，净l ，2 ，7 。从这种意义上说，改善不 是很显著的。然而正如前面所讨论的，如果我们用皮分别代替p 和 盯2 ，则e m s e ( 犀，) 分别等于1 8 5 o ，4 9 2 1 ，9 2 1 7 ，1 4 7 4 1 ，2 5 0 4 6 ， o 2 0 7 3 2 ；4 2 6 4 2 2 6 s 2 4 3 2 t 4 2 2 3 l l 6 ：2 8 8 6 9趁掩4筋9 8 6 9 6 l 2 5 1 1 4 7 o 6 8 2 2 5 3 5 5 7 3 5 4 4 6 6 7 n 7 n 3 1 2 殂m 线性同门模型中的一类新压缩估计 1 4 4 4 ，4 0 l o 9 。这些值显示了在均方差意义下g s i f e 能对o l s e 大大 改善。然而，如果用o l s e 解决传统回归问题，我们建膨，因为它有 更小的均方差，且每一部分均不会远离。 高校教师在职硕士学位论文 4 根方独立压缩因子估计 忍= t 一一m t 一后胁 疋= ( ，一再乎卜( t 一焉 勉 脚( 瓦，) = 吐( 瓦一) ( 风一) = 脚( k ，) + 西， ( 4 1 ) 忍= s ( 忍一勉) ( 豇一勉) 化 ( 良一缸) ( 缸一) = s ( 删_ m h 后妒巾砂1 妒( 钳张厮端= 揣， 其中r ( 丫) 为伽马函数。因而，我们有 风= 孚胛一( 2 瓦一字妒驴p 硝1 线性同归模型中的一类新压缩估计 如2 护 ( x x ) 1 ，其中 缸全( 2 瓦一等) 停 现在，一个重要的问题是对不同的g = 刀一p ，瓦值的变化趋势。 图3 显示了瓦单调递减趋于l + 。 类似地，我们计算疋相对于夕的均方差，然后讨论i i 型s r s i f e 脚( 忍，) = 占 ( 凡一) ( 瓦一) = 脚( 勉，) + 瓦， 氏= 吐( 凡一缸) ( 础一缸) + 2 占 ( 良一勉) ( 豇一) = 占( 甜( 州m h 焉妒巾硝1 ) 扣( 辩礁厮将= 蒜， 因而有 高校教师在职硕十学位论文 砧= 一c 2 瓦一荆办 ( 挪) i ) 则有如下定理： 定理4 1 在均方差( m s e ) 判据下尾优于勉的充要条件是 缸仃2 f r l ( x x ) 一l ，其中 孑般垒2 ( 刀一p ) 毒娘一1 图4 显示缸单调递增，且若n p 能达到3 4 l ，缸能达到2 8 5 3 3 当刀一p 等于3 4 2 时，瓦的值突然转为一1 。然而刀一p 为如此大的情况 在实际问题中是不会出现的。这样，回归向量的范围被疋大大的扩大 了。这真是一个令人振奋的结论。 图4n - p 增大时瓦的变化曲线 4 3s r slf e s 与slf e s 的比较 在这部分，为了比较凡与夕的优劣，我们比较它们与的均方差。 我们当然希望该估计能优于任意一种s i f e ，但不幸的是，结果不很 令人满意。事实上 w ( 忍，矽；) 垒脚( 忍，) 一嬲( 矽，) = 瓦一声 2 耥那一卜喘铲h c 删。 由图5 ，我们发现回归向量的范围小于f ，i ( x z ) 。1i ，除非 刀。：p + 2 。此外，曲线是单调递减趋于o + 的。因而有下面定理成立。 线性回归模型中的一类新压缩估计 在实际问题中当刀一p 的值不是太大时用i 型s r s i f e 替代i 型s i f e 似乎是可以接受的。 定理4 3 下面论断成立 1 ) 凡优于夕的充要条件是气矽仃2 护 ( x x ) _ ， 其中 幻= 卜喘皆煽； 2 ) 夕优于艮的充要条件是气，仃2 打 ( z x ) - 1 图5n p 增大时j 厅五的变化曲线 一 p s i ，p 类似地，我们有 w ( 疋，夕；夕) 垒脚( 良，) 一脚( 夕，) = 如一声 = 翥豸那一 2 瓦一揣卜陋计1 图6 n p 增大时d 厅a 的变化曲线 p s r p 由图6 ，有回归向量的范围也小于5 吐( 工x ) 一 ，除非 刀= p + 2 。然而，曲线是先递减后递增趋于1 - 。这个结论可归纳为下 高校教师在职硕士学位论文 回足理： 定理4 4 下面论断成立 1 ) 忍优于夕的充要条件是气，庐盯2 驴 ( x x ) 一 ，其中 = 2 瓦一错 篙； 2 ) 夕优于瓦的充要条件是气，矽盯2 护 ( x x ) 一 现在，另一个问题是比较i i 型s r s i f e 与两种类型s i f e s 的均方 差，以便作进一步决策。因为定理4 2 的结论非常令人满意，我们当 然也希望该估计在某些条件下能优于任意一种s i f e 。 通过直接计算有 w ( 疋，矽；) 全脚( 忍，) 一脚( 矽，) = 以一声 一篇那一 2 鑫一锅h ( 埘1 叁d 芯，矽即一d 2 ，声仃2 仃l ( 妇) 1j 图7 显示了系数唆，夕和曜声的值。于是我们得到下面定理。但似 乎我们不能获得所期望的结果。 图7 n 。p 增大时嚷。声，曜，夕及吃。矽变化曲线 线性同门模型中的一类新压缩估计 定理4 5f 向论断成立 1 ) 当n = p + 2 时，忍优于矽的充要条件是p 1 1 8 5 9 c r 2 妒 ( x x ) _ ； 2 ) 当刀 p + 2 时，忍优于矽的充要条件是吃声盯2 护 ( x x ) 。1 ， 舯堍斗错菇 耩 类似地，我们有 w ( 忍，夕；) 全脚( 良，) 一脚( 夕，) = 氏一声 2 耥那一【2 鑫一耥卜弦硝1 由图8 ，尽管忍不一致优于夕，但明显有很大改善。该结果也可 归纳为如下定理： 定理4 6 厥优于夕的充要条件是吃2 扩 ( x x ) 一 ，其中 吃斗2 一篇 屉聚斋 图8 n p 增大时d i ；a 的变化曲线 ，馥p 4 4 两种类型s r sif e s 的比较 现在我们希望能确定凡和忍中哪个改善更大，或者找到一种条 件，使得在该条件下哪个估计更优。于是我们有 w ( 忍，良；) 垒脚( 瓦，) 一脚( 忍，) = 氏一础 高校教师在职硕十学伊论文 。字那一( 2 & 峨一孚卜p 砂1 g g l 、j 因而我们得到下面定理和图9 ： 定理4 7 下面论断成立 1 ) 如优于风的充要条件是吃，压仃2 驴 ( x x ) 一 ，其中 = ( 2 瓦峨一字) 停； 2 ) 疋优于良的充要条件是如盯2 护 ( x x ) 一 图9n p 增大时d ；二的变化曲线 一 p s i p s i 2 4 线性同! j 1 模型中的一类新乐缩估计 5 平方独立压缩因子估计 在本章，我们给出了两种新的估计，即所谓平方独立压缩因子估 计( s s i f e s ) ，并且简单讨论了它们相对o l s e 的优良性，也比较了 它们与s i f e s 和s r s i f e s 的优劣。首先，我们给出如下定义： 定义5 1 我们分别称 卟( 訾) 2 勉= 1 - ( 剖瓦和 斗( 警) 2 魅= 1 _ ( 剐勉 为i 型平方独立压缩因子估计( s s i f e ) 和i i 型s s i f e 。 5 1i 型s sif e 相对于0 l s e 的优良性 首先我们计算厦瑟s 与卢的均方差： 彪姬( 孱，) = 吐( 厦一) ( 厦一) = 肱距( 勉，) + 压， ( 5 1 ) 其中 厦= s ( 磊一勉) ( 孱一勉) 伽 ( 厦一缸) ( 勉一) = 占 ( 踟m 删即叫蝴卜) - 1 ) 由式( 3 2 ) 我们有 南舾( 譬，三) 孝+ 7 7l2 2 因而我们得到 掣垒f 峰) i = 文字习一心嘲”) 翻一百而而蕊 矽全f 嘲 - 文字玑型岫! 翻一和) g 高饺教师在职硕十学位论文 厦= 毒”一( 2 每一岔”) 盯2 护 ( x x ) 一 基于上面结果，我们有如下定理： 定理5 1 在均方差( m s e ) 判据下矽优于勉的充要条件是 s 远仃2 护 ( x x ) 。1 ，其中 张张n 小譬黯 图1 0 为丑的曲线，说明了远是单调递减趋于l + 的。类似有 w ( 虞，夕；) 叁彪：姬( 厦，) 一彪姬( 夕，) = 孱一声 = 百兰溉一百主子苗踹 盯2 驴 ( z x ) 叫 ) 会即一p ( x x ) 一 ， w ( 屋，分；) 全脚( 孱，) 一脚( 夕，) = 磊一声 = 皇毛i 芋豸未赭一旦j ( ： 筝等专耕 盯2 护 ( y x ) 一 叁嚷! 伊 办p x ) 1 ， w ( 孱，疋；) 垒脚( 厦，) 一地( 艮，) = 磊一砧 = p 一字卜一陋越一2 科字妒护p 硝1 全程屉一嫒k p x ) 一1 ， w ( 孱，忍；) 皇脚( 厦，) 一脚( 良，) = 压一如 = p 护一p 堪一2 聃跏2 护p 叁略：压一k 盯2 护 ( x - x ) 一 2 6 线性同 模型中的一类新压缩估计 图l on 巾增大时哝的变化曲线 图1 l 显示了i 型s s i f e 对任意一种s i f e 的改善程度。在此， 我们不再对这个微不足道的结论进行总结，但是在实际问题中只需把 s i f e 替换成i 型s s i f e 即可。 5 2i i 型s s i f e 相对于o l s e 的优良性 首先我们计算虞与的均方差，希望i i 型s s i f e 也是一个好的 估计。众与声的均方差可表为 旌g ( 众，) = g ( 众一) ( 虞一) = m 姬( 红，) + 忽， ( 5 2 ) 其中 众= g ( 众一缸) ( 众一勉) 亿 ( 众一勉) ( 勉一声) = 占嗡弘咖州杪和弘啦州 又由式( 3 2 ) 我们有 南一船( 三，孚) j孝+ 刁l 22 掣皇心 - 辎：耐 l 2 2 ? 脚卜辎= 南 高校教师在职硕十学位论文 因而我们得到 忽= 黜一( 2 丞孙一剐p 护 ( x x ) 一 ) 图1 1n p 增大时，曜嚷! 声，d 2 。声d 塞：夕( 第一行) ；嘤d 篡：声，嘤，夕嚷_ ( 第二行) ；嚷晟，嚷，嚷良嚷乞；( 第三行) 嘤如，嚷么，嚷磊嚷么( 第 四行) 的变化曲线 基于上面讨论我们有如下定理： 定理5 2 在均方差( m s e ) 判据下众优于勉的充要条件是 五盯2 护l ( x x ) 。1l ， 其中 之全2 驯社l ：堑丛等业 图1 2 显示0 ，单调递增可以充分大。因此，i i 型s s i f e 能大大 扩大回归向量的范围，从这种意义上说，它对o l s e 有了巨大改善。 类似地有 线性同| 门模型中的一类新压缩估计 图1 2 ：n - p 增大时以的变化曲线 w ( 众，房夕) 会彪姬( 戽，) 一彪昭( 夕，) = 众一声 = 二气舌芒葛专；群夕一二鱼 孝姜蓦苌群，护 ( r 砷。1 垒一移m 脚幔 w ( 忽，夕；) 皇肱姬( 众，)