（概率论与数理统计专业论文）广义线性模型的罚估计.pdf

摘要 奉文从广义线性模型的似然函数出发提出了广义线性模型的新估计l 1 罚估计和尬罚估计， 给出盟罚估计的迭代求法。和n 罚估计( 即套索估计) 五l 标准路径算法。并进步给出广义线 性分组模型的工l 罚估计及其l 1 的标准路径算法，线性模型和广义线性模璺的多重罚估计及其性 质 本文共分为五章，第章对广义线性模型及其二1 标准路径算法，线性模型的l a 算法，线性 分组模型作简单介绍第二章具体介绍广义线性模型的z o 罚估计的定义，求法及性质第三章介 绍广义线性模型的五1 罚估计及l 1 标准菇径算法和它们的的某些优良性质第四章给出广义线性 分组模型的二1 标准路径剪法第五章介绍线性模型和广义线性模型的多重罚估计以及线性模型多 重罚估计的算例及结果 关键词：罚估计，广义线性模型，分组线性模型，似然函数，变量选择 a b s t r a c t w ed e v e l o p e dl 1p e n a 尬o de s t i m a t i o na n dl 2p 矗l i z e de s t i m a t i o nf o rg e n e r a l i z e dl i n e a rm o d - e l sf r o mt h el i k e l i h o o df u n c t i o n p r o p o d8 ni t e r a t i v ea l g o r i t h mo fl 1p e n a l i z e de s t i m a t i o na n dl 1 r e g u l a r i z a t i o np a t ha l g o r i t h m , a n dt h e ng a v el 1p e n a l i z e de s t h n a _ t i o nf o rg e n e r a l i z e dl i n e a rm o d e l s w i t hg r o u p e dv a r i a b l e s , f i n a l l yw ep r o p o s e dm u l t i - p e n a l i z e de s t i m a t i o no fl i n e a rm o d e l sa n dg e n e r a l i z e d l i n e a rm o d e l s ，a n da l s og a v et h e i rp r o p e r t y t h ep a p e ri n c l u d e df i v ec h a p t e r s t h ef i r s tc h a p t e rw es i m p l yi n t r o d u c e dg e n e r a l i z o dl i n e a rm o d e l s a n di t sl 1s t a n d a r dp a t ha l g o r i t h m , t h el a r sa l g o r i t h mf o rl i n e a rm o d e l s 1 i n e a rm o d e l s 训t hg r o u p e d v a r i a b l e s t h es e c o n dc h a p t e rw eg a v et h ed e f i n i t i o na n ds o r e l ep r o p e r t yo fl 2p e n a l i z e de s t i m a t i o n f o rg e n e r a l i z e dl i n e a rm o d e l s t h et h i r dc h a p t e r 帆s p e c i a l i z e dl 1p e n a l i z e de s t i m a t i o na n ds o l n eg o o d p r o p e r t i e s o f i t s l l r e g u l a r i z a t i e n p a t h a l g o r i t h m f o r g e n e r a l i z e d l i n e a r m o d e l s t h e f o u r t h c h a p t e r w e p r o p o s e dl 1r e g u l s r i z a t i o np a t ha l g o r i t h mf o rg e n e r a l i z e dl i n e a rm o d e l sw i t hg r o u p e dv a r i a b l e s t h e f i f t hc h a p t e rw ed e v e l o p e dm u l t i - p e n a l i z e de s t i m a t i o no fl i n e a rm o d e l sa n dg e n e r a l i z e d1 i n e a rm o d - e l s ，a n da 1 8 0g a v et h e i rp r o p e r t ya n daa l g o r i t h mw h i c h 硼s i m i l a rt ol a e sa l g o r i t h m k e y w o r d f f i p e n a l i z e de s t i m a t i o n ，g e n e r a l i z e dl i n e a rm o d e l s ，l i n e a rm o d e l sw i t hg r o u p e dv a r i a b l e s 。 l i k e l i h o o df u n c t i o n ，v a r i a b l es e l e c t i o n 一学位论文独创性声明 东南大学学位论文 独创性声明及使用授权的说明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果尽我 所知，除了文中特别加以标明和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料与我一同工作的同志 对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意 二、关于学位论文使用授权的说明 签 耐晰率夕 东南大学，中国科学技术信息研究所，国家图书馆有权保留本人所透交学位论文的复印件和电 子文档，可以采用影印、缩印或其他复制手段保存论文本人电子文档的内容和纸质论文的内容相 一致酴在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部 分内窖论文的公布( 包括刊登) 授权东南大学研究生院办理 签 嗍导臌巾厶：毕。夕 第一章引言 1 1 背景介绍 般而育，评价个模型的好坏主要根据两个方面即预测精度和因子解释对于线性模型， 我们通常所用的最小二乘估计虽然计算简单，易于理解，但是在这两个方面的效果都不是很理想 因而有人提出了岭估计( l 2 罚估计) ，它减小了模型的预测误差，在一定程度上提高了模型的估计 性能坦9 6 年t i b s h i r a n d ，r 提出了跏f e 鼯i o s h r j 丑k a g ea n ds e l e c t i c mv i at h e 工棚! 也就是所谓 的二1 罚估计，它可以通过丕圃的罚，对预覆i 精度进行调整由于蛉估计关于最小二乘估计是线性 的( 假定设计阵已进行标准化) ，所以岭估计的讦算还是比较方便的而对于l 1 罚估计。它没有类 似的性质，但是可以证明它是分段线性的2 0 0 4 年e r f o n 等人提出工k ! 鹱算法，它撅大地简化了 这类计算问题 从上各种方法均是在线性模型下得到的2 0 0 6 年蛐g 趟笺提出了广义线性模型( 见文献 1 1 1 ) 的l l 罚估计，并给出l l l 标准路径算法= 一 一一一 1 2 线性模型的l m s 算法 文献【1 2 l 中关于l a h 算法的描述 设线性模型 掣= x 口十ef ( e ) = 0o o v ( e ) = 仃2 j( 1 1 ) 其中x 为n m 的设计阵，f 为f l 维结果向量，口为m 维回归系数向量，且x ，f 均已经过中心标 准亿，同时假定自变置z l ，现，z 。线性无关记参= x 声，a 为 l ，2 ，m 的个子集， 定义 鼠= ( 一，毋q ，) j e ( 酊= 4 1 ) 令 g a = x a x a，如= ( 1 蛎1 i a ) 一 其中l 表示每个元素均为1 的向量。维数为川，即a 集合中元素的个数 令 u = a a l 9 j l l , 4i i a = x ， 可以得蓟l ( x a ) 且“ 与x a 中的每个列向量夹角相等即有 蜀锄= 山k ， * h = 1 可以以豇o = 0 为初始值，以m 记为当前f 的l m 估计，则当前的残差与x 的相关性向量为 e = x 0 一纵) 令0 一m 对 i 白i ) 表示当前的最大绝对相关健，a = d ：i 白l = 白表示当前的更新集( 即处于选中 状态的回归因子组成的集合) ，对巧a ，毋垒确m 白) ，令内积向量a = x 口 ，则l a r s 算法的下 1 第一章引言 步为 口 = 口 + 和 其中= m i 嚷 妥乌，j 鲁 ，m i n + 表示在正元素中取小值 2 定理1 2 1 设当前的更新集为 ，夸瓢j = ( ，) j ，亍州= l ，一x 声附( 声嘲表示 上口件算法进行了七步之后得列的p 的估计，则$ a w a 处于x a s 对 i 耐的回归方向上其中 s a ；d i a g ( ，s i g n 值) ，) j 证明t 乳的记法同上，则 以致= 霸s x a ，s 声皇阻s x a ，s ) 一1 戤s r 心= ( 戤s 取，s ) 一1 0 $ a i a ( 1 2 ) 又胁+ = 加+ 亏u = 卢 + x a w a 髓x $ 8 + ；x a s 鑫 + 气x a 再由氟与乳s 问的关系可得以+ ；以+ 甄钆，即乳蚍= 口，再由( 1 2 ) 式可知乳蚍处 于乳s 对封q 的回归方向上 1 3 加权的l a r s 算法 文献n 2 】具体介绍了线性模型的l a z s 算法，它基于下面的模型描述功日算法的 可= x 卢+ ee ( e ) = o c 仇，( e ) ；0 2 ， 且x ，g 均已经过中心标准化 下面讨论的加权l a 算法加权l a r s 算法主要是基于以下模型： ，= x 卢+ ee ( e ) = 0 c o ，( e ) = 矿( 1 3 ) 假定量r ( x e 一1 x ) = m ，1 e l x = o ，1 e 一 可= 0 ( 这可以通过对原模型进行变换得到) 为正定 阵 令口= e - 女v ，戈= 一幻f ，e = e - e 从面有t 分= 贾卢+ 5e 忙) = 0c 鲫( ) = 矿， 由上面的假定可知该模型是中心标准化的 对模翌( 1 3 ) 运用文献【1 2 l 的l a r s 算法 ( 1 4 ) 第一章引言 定义x a = ( ，毋，) ， ( q j = - ! - 1 ) 令 3 g a = 霸e 一1 乳a = ( 1 颤1 l ) 一j蝴= 仰j 1 1 a 似= 艺一 x a w a( 1 5 ) 可l ：l 以硒= 0 为初始值，以4 记为当前f 酶l 8 r s 估计，则当前的相关系效向量为 e = x e 一1 ( 一口 ) 同时令0 = m 崎 b 仔表示当前的最大绝对相关系数，a = u ：i 白l = d ，表示当前的更新集。对 巧a ，彤= 硝弘缟) ( s i g n 为符号西数) ，令内积向量a = x 一j 姒，则l a 目算法的下一步为 口 。= a a + ；沁a 其中；噼 。f 貉，盟a a + a j l 简单介绍一下加权l a r s 与加权最小二乘估计之间的关系 假定l 8 的第k - 1 步后得到p 的估计为缸一1 ，当前的更新集为血， 舢，x a 。，乳。，血的定义类似 ( 1 5 ) ，蚍= a a 孽 - 。i l - ，饥= k = e 一 。蚍 ，q = m 哟吲 定理1 3 1 = m 嗉 。f - 生a a k - - l o r s ，砉暑苦) ，在d = m a 叼 i 白1 ) 的条件下，有老 假设上述结论不成立，即假设惫 从而有 岳 0 ，又由于符合l a t e 算法的辛 0 ，所以a a 。一q 0 与a 血+ 勺 0 同时成立 由惫 o 得 白a a o 叼 ( 1 7 ) 这与式( 1 6 ) 矛盾，从而假设不成立即有惫2 成立 定理1 3 2 夸缸= e - j x a 。( 霸。e x a 。) 一1 霸。一1 玑印缸为当设计阵为x a t 时可的工s 估计，则m 处于风一i ，饥之间 参一章引言 4 证明；由e - 风l ( e 一 x a 。) ，有e - x a 。a a 。( 霸。e 一1 x 札) 一1 张z 一1 口h 1 = 风一1 缸= m l + e 2 l 扎。( 戤。e 一1 巍。) 一1 霸。( p - f c j , 一1 ) ：晒+ 堕堕燮坚罨譬型划 ( 1 8 ) 、 = f u k - - 1 + 鱼a a s “t 又惫 定理得证 类似于文献【1 2 】，下面讨论u k 的夹角问题 ( 砭。一1 。) a a 。酊1 1 a = 如。1 山 即( z i x a 。) ，一 以。a a 。西1 l k = a 。1 a ；从面有与一j 乳。空同列向量夹角相等 1 4 线性分组模型及其l a r s 算法 当解释因子呈现组效应时，可以得到比较特别的线性模型，其中最常见的是多因子方差分析模 型。单向分类模型及两向分类模型均是其特倒同样上述模型也可以通过分组模型来分析 线性分组模型的定义 y = 玛岛+ ( 1 9 ) j 茸l y 为nx 1 向量，一心( o ，口2 f ) ，岛为力维的回归系效向量，局为毋所对应的n 。巧设计阵 o = 1 ，) ，且假设x ；玛；0 = 1 ，刀 文献【1 4 l 中关于线性分组模型套索估计的描述如下 给定 彤，d l k 为d d 的非负定阵，记i i x = ( 矿k 口) 设施，k ，为正定阵，则套索解为 33 伊一= 哪呼尹1一玛甜+ a 鳓 ( 1 1 0 ) 一 j = lj = i 线性分组模型的l a p s 算法 1 令口f o j = 0 ，女= l ，r o l = y 2 求当前的最大相关集 a 1 - 似l 掣产= 唧警学 第一章 i 言5 s 求当前的调整方向，设，为p = 扛- 如维向量，= ( 髦：) ，札由x 中的a 列组成且 钆：= 0 及 寺 。= ( 霸。x a ) 一磁。r l k i i t 对任意j 成，j 为a h 中盼任元素，计算满足如下条件的q 0 ，l j 。 羔坐：! 二兰兰型：；咝：坐：! 二兰坐贮 5 若屯 1 ，以，令o = m 嘞e 雒( 唧) = + 。并令a k + 1 = a u d + ) ，否则令口= 1 6 令声问= 声陋一l i + 研， 阔= y x 台，七= 詹+ 1 。重复步骤3 直至o = 1 证明 又令 定理1 , 4 1x 廓明在x 卢降一l l 与l ，在x a 。的投影之间 所以有 x = x ( 伊一3 i + 昕) = x j g * - l l + ( 粥泓妒”) =x p 伽一u + ( 。鼍。t 一1 智p x 序一”) =x p * - l ，+ ( 烈以0 r 1 霸j ) 一( 州砭以j ：霸加 尹虬( 军) = ( 等1 1 ) x 眇一q = 以。声” ( 霸。x a 。) “霸工伊一” = ( 以如- ) 一1 磁。( 扎。扎；) 西i 一” = ( ，。) ( 等”) = 嚣1 1 ( 1 n ) 第一章引言 从而 胪刮i k - - ： l _ a 删+ ( 烈砥节) = x o d ) 声降一1 j - i - a x a 。( 酸。x a 。) 一1 霸。f = ( 1 一口) x 伊一1 i + n 。( x 。甄。) 一1 戤。掣 又0 o 记z 2 所= f ( 口，) 一 声 伊= a r g 呼一岛( a ，所 对上式关于卢求导得 ( 2 1 ) 氅笋；。( 所一掷 ( 2 ，2 ) 卯 、7 p 一， 5 ( 口) 的定义同( 1 1 8 ) 由于一铲= j ( 国( f ( 口) 表示p 的信息阵) ，故，( 口) 0 ，从而有一s 铲 0 ， 所以f ( 卢，y ) 为凹函数，又一 a p 为凹函数，由此可知声“”存在且唯一 上面的似然方程也可以写成矩阵形式，( 2 2 ) 可写成 兰唔笋纠w m m 口 ( 2 3 ) 其中m 是n 维向量，它的各元素分别为舭一以) d i l ( 卢) “= 1 ，呐，z 的定义同1 5 节。w 的 定义同( 1 2 3 ) 2 2 解的迭代求法 设从某初始值出发。已经k 步算到伊咖啪，用牛顿法求下步的声州 ( k + 1 1 ，令 矿曲c ( 1 ) 皇虚“州) + q ( a ，所皇8 ( 所一a 口 f ( 口) 皇z w z 对口( a ，声) 在口= 矿曲c ( 耐处t l e y l o r 展开，有 q ( x ，所q ( 矿嘶“砷) + 旦至；参盟l 声州，啦，一矿协e ( 姊) 警= 警一ma 啻a 学 由( 2 8 ) 式有 丝凳地。= 警i 灿。一m1 话? 一l 声h 4 ，“町= 否西广l 印。“) 一 1 1 ( 2 4 ) ( 2 5 ) ( 2 6 ) ( 2 7 ) ( 2 8 ) ( 2 9 ) 第二幸广义线性模型的工2 罚估计( 岭估计) 由( 2 5 ) ，( 2 7 ) ，( 2 9 ) ，并用一f ( 伊曲“姊) 近似取代秽i 声喇雌叭得 = ( f ( 声惝。( ) + a a ) 一1 口( 伊7 曲( ) 从而有 争r 曲c ( + 1 ) ；j 多曲。( 埘+ f ( ( 矿句( ) + x a ) 一1 q ( 伊，7 却。( )( 2 1 0 ) 定理2 2 1 记 蠡( 所= 声+ f 1 妒) 恤一埘( 所) 地( p ) = d ；( 所a p ) 则 nn 伊昀“。+ 1 ) 兰( 伽i 垆) + a a ) 一1 毗( 所蟊盈b 筇州州埘 ( 2 1 1 ) =l=l 证明；将蟊) ，姚( 卢) 代入( ：l 毗归) 以+ a ) - l 乏跫l 挑) 蟊毛得。 nn ( 挑+ m ) - 1 地) 姚 i = 1i = 1 n” = ( 毗( 刃盈+ m ) 4 砷) 毛( 移+ 巧1 ( 口) 恤一m ( 例 i = 1 = l nnn = ( 桃( 聊魂+ m ) - 1 ( 妣( ) 训驴+ 郎一 邯+ 挑( 卢，d f l ( 卢) ( 鼽一肼( 回) 嗣) i = 1t = l- = l “ = 卢+ ( 桃( 所矗+ a ) 一1 扣( 口) 一 a 所 i = 1 n = 卢+ ( 毗( 所矗彳+ a a ) 一1 q ( 卢) # 1 用声州卵( ) 代替口，有( ：l 毗( 口) 麓+ a ) 一1 ：1 毗( p ) 蟊z i 口：寿附一”= 伊协。埘+ ( ：l 坝( 卢) 魂+ x a ) - 1 q ( a ，刃1 口f f i & - , m m ，即伊嘶“k + d 根据( 2 1 1 ) ，把声岫6 ( h 1 ) 作为岭估计k + 1 步迭代值。用修正的牛顿法，即用虏脚( k + 1 ) = 扩试州+ 1 ，依次取7 = 1 ，0 9 ，0 5 ，( ) 2 ，( ) 3 ，直到个伊曲。( 。+ 1 ) 满足0 口( 伊曲。( h l ) 0 0 ，使当n 充分大时，& c 矿，其中矗表示：l 的最小特征根 若a 1 ， 2 成立。则当n 充分大时，以概率1 ，存在岛的极大似然估计( m l e ) ，而岛的任一较 大似然估计风均为似然方程8 。c o ) = 0 的根，且都具有强相合性，即 具体证明见文献1 2 1 风_ 岛 口j 定理2 3 1 记口辩。为广义线性模型的某一岭估计，桩大似然估计良是岛的强相合估计， 则口磐8 为压缩估计 第二章广义线性模型的如罚估计( 岭估计) 1 4 证明：晟为极大似然估计，则s ( 彘) * 0 ，又声泞。为 对应的岭估计，所以口( 反磐) z0 ，令 磊= 嘎磐。+ ( 1 一r ) 反，则 0 一 一 = q ( p 辫。) 口( 良) + o ( 尻) ( 反磐一良) 。( a ) 一 a 磊+ ( s 7 ( 尻) 一a a ) ( 口黧。一以) ( s 7 ( 磊) 一a ) 口o 。一。( 磊) 反 从而可得 声磐。= 卜一愉) + 刈- 1 - s ( 磊) 擒 又由磊为岛的强相合估计，知声辩。为压缩估计 ( 2 ，1 4 ) 定理2 3 2 设氟表示卢的桩大似然估计估计，口紫。表示p 的岭估计，当口磐。在良的附 近时有 声学* 【f ( 磊) + 冽一1 f ( 磊) 觑 ( 2 1 5 ) 证明。将f ( 卢) 在口= 良处进行t a y l o r 展开有 zs 佤) + 等( 口一反) 从而当s ( 赢字) 在良附近时有 s ( 觥。) za 繇) + 曼铲( 错。一色) 又s ( 风) zo ，。( 口赂。) 一a a 口警zo ，且以一f ( 反) 近似取代! 笋所以有 a a 欲磐z f 佤) ( 璐。一反) 即有 声2 z ( f ( 磊) + x a ) - 1 f ( 良) 磊 定理2 3 3 若良是岛的强相合估计，且f ( z o ) 与a 可以同时对角化，则存在a 使l h 丑 l - 。m 鲴( 口2 磐) 达到最小 证明t m s e ( 声2 ) = e 【( 口鬈”一岛) ( 卢鬈妒一岛) 】 ( 2 1 6 ) 第二章广义线性模型的l 2 罚估计( 蛉估计) 其中厌a 蛐, n 。z ( f ( 良) + a a ) 一1 f ( 良) 反设圣= ( l ，如) 为使f ( b o ) 与a 同时对角化的正交阵 即有， 圣7 肿皇k = d l a g ( 硒，b ) 垂f ( 岛) 圣a f f i a = d _ f a g ( a x ，) 考虑到磊一岛如砷及f ( 回各元素的连续性，由文献【1 】知，一定条侔下有 f ( 颤) 一f ( 岛) = f ( 风) o - ( 1 ) “( 1 ) 是个p 阶方阵，d 一0 于是有 圣f ( 良砷z d i a g ( a t ，) ( n o 。) 口；警。* ( f ( 反) + a a ) - 1 f ( 反) 尻 = 壬【圣7 f ( 磊) 圣+ 垂a 圣】1 圣f ( 反) 雪母7 氏 = 圣睁f ( 反净+ 硼一1 雪7 f ( 良) 蛋雪反 = 圣l a + a 嗣一1 a 圣7 & 即口警。= 圣出叼( 石睾嫱，去) 雪7 良 叶) 记 成= m ( 反一岛) ，口= 岛 = 圣出d 9 石幸而，瓦 ) 雷( 良一岛) + 圣出卵焉 一，瓦 一1 ) 岛 = 垂咖( 意，采p 一) 母7 佛一岛) + 圣细( 意，番) 啪( n 一* ) e i ( 口磐。一岛) ( 菇一岛) 1 、2l o 柏嘣咖( 南，百署碲) 明 + f 拭酬毋岛，者备 伽愀叼( 熹，志删垂蜘( 丽- a k x ，丽- a k ，, 川伽叫( 2 1 n 第二章广义线性模型的如罚估计( 蛉估计) 对上式求极限后最后一碘等于0 即 。! 翳e 【( 霹窘。一岛) ( 口2 磐一岛) 】 ；。e 硝戚叼( 高，虿南) 疋l + e 拭蚓忒岛，若铬川 又 e 限硝1 = 圣f 【( 反一岛) ( 尻一岛) ，】圣 = 由7 v a t ( 良) 圣 = 矾一嘉) 。圣 砷f ( 五) 一1 圣 咖( 击，i 1 ) ( n - - o o ) 所以 同理可得 e ( 层2 ) = 瓦1 a = l ，p ) e 孵咖丙，两岛) 矧 p 1 2 2 萎e 眩2 南1 = 耋斋薪 t n 一* ， e 喊咖c 群岳，若备川 稚撕t 孝岛，若舳 = 砉毋备熙 拦e f ( 口譬磐岛) 7 ( 声2 一岛) 】 = 砉两b ( 知埘砖姥) 皇，口f f 舶 ( 2 1 8 ) ( 2 1 9 ) 第二章广义线性模型的z 口罚估计( 蛉估计) 1 7 要使加( a ) 达最小，即要使广i f s e ( ) = 0 ，又 s e ( a ) ：! ! ! ：丝f 苎! ! 1 2 ：= ! ! 生! ：壁丝2 f ! ! ! 垒2 垒 鲁队+ 地p ；! i ! 堡f ! 生堕二1 2 ( 2 - 2 s ) 鲁( + a ) 3 ：! ! ：兰堕堕二塑 鲁 ( - i - 地) 3 若a = 0 ，则s p ( ) m 8 】【赤。则s f ( a ) 0 又s e ( a ) 关于 连续，即存在知 0 ，使，0 ( ) = 0 所以沁为极小值点 定理证毕 注：实际中a i ，不可知可以用日( 如) 的特征根近似代簪( 如为极大似然估计的迭代终止 值) 第三章广义线性模型的l 1 罚估计 3 1 广义线性模型l l 标准路径算法 广义线性模型套索估计的定义 g ( 卢) 皇一( 玑一( 所+ 6 ( 口( 卢) ) ) = 1 z = ( 1 ，以，t 动= 瓴l j f ，荪) ) 卢= ( a o ，卢l ，昂) p t 垒蚓 a r g 乎g s u b j e c t t o t ( 所t ( 3 1 ) ( 3 2 ) ( 3 3 ) 定理3 1 1 隆索估计一定条件下的存在性) 若g ( 刃是凸函数，且，s n ，刘僻剀式的解矿存在，且0 矿1 1 1 = 证明：令p ( 所= g ( 卢) ，g ( 回= t r ( 4 ) 则( 3 3 ) 式等价于， a r g 些p ( 口) 9 ( 3 4 ) s u b j e c t 幻g ( 所0 因p ( 口) 连续，且口的可行域是有界的，满足( 3 4 ) 式的口存在，又tse j _ - ll 岛l l ，所有临界值 都在可行域的外面取得。所以( 3 4 ) 式的解在边界处取得 记套索估计为口“”，着t 二- l 岛 f l i ，则多“”= 缸l 所以下面只讨论t s 譬，i 岛 f i 的情 形 定理3 1 2 掇小化同题 a r g r a j i n 工l ( 卢，a ) 。g ( 所一x ( t t ( 卢) ) ( 3 5 ) 知 a r g “争工2 ( 卢，) = g ( 卢) + 口( 所 ( 3 6 ) 对于给定的t 必存在对应的1 ，使得工l ，a ) 与岛，们取得桩小值时的卢相同 1 8 第三章广义线性模型的l 1 罚估计 旦掣= 嘲+ 踯) 鼍掣叫萨t 使工垆，达到极小的口。 ( 由3 1 1 知这样的卢，a 存在) 满足 i t ( 所= t io ( 所+ 时( 所= o 求使( 3 6 ) 达到极小的口等价于以下方程的解 笔铲胡+ 毋( 刃= o ( 3 ” ( 3 8 ) 由此可知7 与t 之同存在某种不依赖于芦的函数关系，即给定t ，记j 为使( 3 7 ) 式成立的 ，则当 1 = i 时，l ， ) 与工，们达到极小的芦相同 定理3 1 3 套索解的局部唯一性) 记m 一戚凹( a 产( p ) ( 辫) l ，2 ( 口) ( 器) n ) ，若z z o ，( 所 0 ，且饭定在某个区域m ( 卢) 不 琏卢变化。则g ( 卢) 严凸。从而解唯一 证明t 刚= 笔笋= - - z 1 w 功劬叫象 ( 3 1 9 ) 其中w 的记怯同( 1 船) ，另记 。 ， j 、 器皇l ( 韶) l ； 用 皇叫 - - z 蚴劬刊象 ( 3 1 0 ) = - z m ( y p ) 等f f i - z m ( 一和= w z ( 3 | 1 1 ) 根据彬) 0 ，z 0 。可知z w z 0 。所以g ( 口) 严凸，又因为后面所加的压缩函数t 是凸 的所以套索解对应的目标函数是严凸的从而套索解唯一 第三章广义线性模型的自罚估计 m e = e 陋( z 口) 一 ( z p ) 】p l ( z 口) 一h ( z z ) 】( 3 1 2 ) 郫。硎：r 1 ( 磊声) 一 ( 盔印 朦甜暖卜， ( 砭卢) 矗 邶：三翟嚣嚣篡1 c s = e 【够一国7 科0 一所】 p e = e l y 一 ( z 向】，【( y 一 ( z 口) 】 = e l y h ( z o ) + h ( z p ) 一h ( z 声) j 【y 一 ( z 卢) + ( z 卢) 一 ( z p ) 】 = e r 一 ( z ( 刃】【( y 一 ( z ( 卢) 】+ e h ( z b ) 一 ( z 声) j 陋( 硐一 ( z 声) 】 ，、 + e l y 一 ( z 口) j ，限( z 卢) 一 ( z 向】+ e 限( z 国一 ( z 自】，i v 一 ( z 国1 婶1 4 j c v = 寺珊t ，叫”( 训 第三章广义线性模型的l 罚估计 的选择： 给定由调整参数a 标引的模型，( ) 的集合，用- k ( z ，a ) 表示对应的拟合函数( 它是用删除 第k 部分后的数据计算得的) 更4 对于上述模型集。定义 r e v ( a ) = 寺二( 矾，产啪他，) t 1 1 函数c y ( a ) 提供检验预测误差的个估计。并且可以通过上式寻找极小化它的调整参数 2 a t c i c 标准。 a ( o p t t r e a l ) = a r w n i n a ( 笋+ 等毋( 蝴 其中矿模型的误差方差 = 2 时，为a i c 标准，u h = t o g ( n ) 为b i c 标准 彤( ) 的估计，彤( a ) = i a c a ) i i a ( a ) i 表示a 所对应的更新集中所含元素个数 工1 标准路径算法的性质 文献 1 5 1 给出了类似于l a r 8 算法的1 标准路径算法，它在计算广义线性回归中有很好效果 由它与l a r s 算法之间的异同，得到以下性质 记 a = d ：岛( t ) 0 ) 且记r 为非空集a 所对应的坐标t 上开区间。满足当t 在i 内变化时，集合a 保持不变 下面讨论当t 从0 到最大有效值变化时，庐( t ) 的变化规律 定理3 1 4 若w a o i a g ( ! l p ) 舞关于卢的一阶导已与卢无关，呀= 戚卵( 岛) 。歹a ，s _ 是 对角元素为句的对角阵z = ( ，勺，) j e ，且z j 足列满秩则广义线性模型的套索估计在 t r 内关于t 是近似线性的 证明t 在t r 内讨论口的性质，记此时的口皇以 令g ( 以) = 一：l 慨口( 卢) + 咿( 卢) ) ) t ( 以) = j i 岛j 则广义线性模型的套索估计表达形 式为 8 r g n 皿g ( 缪 p “巧耐幻t ( 芦 ) s t 根据定理3 1 2 知上述极小化问题等价于 峨毋啪m 莓岛 对上式关于卢求导得 一盈肼凹。一p ) 亮+ 乳1 一= o 第三章广义线性模型的二i 罚估计 设，t l ，如t , ) t l ，知为t l , t 2 所对应的a 值，对w 肼叼扫一p ) 舞在卢= 良( k ) 处进行西l y l 展 开 2 - t o 为w a d i a g ( y p ) 甏在口一良( k ) 处的一阶导则 一乃瓦( 颤( t ) 一颤( t 仇) ) + 以1 0 将t l 亡2 ，a 1 a 2 分别代、t 式得 一易t 形a c t l ) 一以( t o ) ) + l 以1 0 一以五( 氟0 2 ) 一颤( t o ) ) + k 如1 0 上面两式相减得 一z - 疋( 以( 幻) 一以( t 1 ) ) + ( k a 1 ) s a l = 0 又畋( 六( t 2 ) 一颤( t - ) ) = 屯一t t ，其中s a 为i a i ( j l 表示集合a 中元素的个数) 维向量，且 毛= 毹g n ( 岛) ，j a ( 乃正) ( 以t o ) o 一髓( t 1 ) ) = ( 乃t o ) 协2 一a 1 ) s a l ( 3 1 5 ) 又乃足列满秩所以 以一以( 1 ) = k z 。 t 。) ( 戤疋) j - l ( 反正) ( 沁一a 。) 8 a 1 畋( 以( 如) 一以( h ) ) = 。【( 么t o ) 么疋】- 1 ( 么足) 骱2 一 。) s 1 如一t 1 = 8 二【( 易t o ) ( 露正) 】“( 反正) ( a ：一h ) s a r a 、 ( 3 1 6 ) ；( a 2 一a 1 ) # f ( 么t o ) ( 么t o ) i - 1 ( 乙疋) 乳l 皇一a 1 ) m 其中m = s 二【( 戤露) ( 乃l ) 】- 1 ( 乃瓦) 乳l 将( 3 1 6 ) 代入( 3 1 5 ) 式得 六他) 一以( m = 【( 么正) ，( 霉) l - 1 ( 盈正) 甄1 - 等 ( 3 1 ” 令t 2 = t ，t l _ t o ，则 以( t ) = 良( 如) + 【( 易正) ( 乃疋) 1 1 ( 以疋) 甄1 一! 生 又m = 畋【( 乃正) ( 乃正) 】- 1 ( 乃正) 乳1 ，从而口( t ) 为关于t 的线性函数命题得证 引理3 1 1 设白= ：；历叼妇一豇) 韶l 卢i “。则有毹卵( 岛) = 耐卵( 白) ，j a 第三章广义线性模型的厶罚估计 证明； 一z a w a d 细( 一p ) 器b 矾+ 溉1 = o 戤历凹扫一p ) 意j 口：敷= 甄1 上式左边= 0 1 ，右边= 沁 9 n ( 房) 1 a 所以 戚9 n ( 白) # 硝g n ( 岛) f 毒时有 i 白i = 陋i ( 峨，j a 且 j ) 注t 对于一般的广义线性模型，w a d i a g ( $ t p ) 韶关于p 的一阶导正与口无关。是不满足的，因 此只能通过适当细分t 坐标，在其上的小开区间近似地有声( t ) 关于t 线性由于a 与t 之问的对 应关系，也可以细分a 坐标，在其上的小开区问内近似地有卢( ”关于 线性这也是文献 8 1 提 出的。l 1r e g u l a r i z a t i o np a t ha | g o t i t h m6 ) rg l m 。的主要思想 令a k = 一a b l ，文献 8 1 在介绍 的选择中。提到一种更有效的选择的策略它是在任 意更新集中固定w 的前提下讨论的这种方法能找到改变更新集的最小k 引理3 , 1 2 记口为当前修正步得到的f 的估计。 劓 l 白l = i o ； 恃f 0 表示步长的减少，易知 c ( 脚= e h a v j a ，b ( 吣i = 一h v j ，b ( ) i = i 白一 q i 葵求h ，使更新集发生变化，则h 满足i 白一 q l = 一h ，从而得th = r n i n + 。 c 考，等) 第三章广义线性模型的l 1 罚估计 定理3 1 5 令 扩= 伊+ n ( z a w a z a 广蛳( ；) 其中 ：m i 。嘉， 等，酱) ，e = w a d i 凹( y p ) 舞b 卸。，a = z w a z a ( z a 惦v z a ) 。1 硝卵( ；) 则伊+ 能改变当前的更新集 证明；假定型垫萨z 计算弓矸， d 细( f 二- p ) 象i ，