充分降维理论和方法的拓展研究

1、充分降维理论和方法的拓展研究【摘要工这篇论文致力于对充分降维领域中一些理论的深入研究以 及方法上的延伸。在充分降维领域中有两个重要的话题。第一个是估 计中心(均值)降维空间的基方向。而经典降维方法基方向样本估计的 大样本性质至今仍不明了。为了进一步了解这些常用降维方法特别是 其方向估计的理论性质，在这篇论文中我们首先研究了这些方法的核 矩阵以及基方向样本估计的二阶渐近性质。我们推导了四种常见的降 维方法，包括切片逆回归(SlicedInverseRegression,SIR,Li, 1991),切片平 均方差估计(Sliced AverageVarianceEstimation,Cookand

2、 Weisberg, 1991), 海赛主方向(PrincipalHessianDirection,Li, 1992)和方向回归 (DirectionalRegression,LiandWang,2007),zt；们样本估计的二阶渐近展 开式。利用这些降维方法的二阶渐近展式，我们可以进一步考虑纠正 其O(n-l)偏差以提高估计的精度。从已经得到的二阶渐近展式中，我 们可以求出降维方法方向估计二阶偏差的显示表达式,继而可以很容 易得到二阶偏差的相合样本估计。我们随后提出一种一般的降维方法 的偏差纠正策略，其思想很简单：即是将某一种降维方法基方向的样 本估计减去其二阶偏差的样本估计。并且我们证明了

3、经过偏差纠正后, 这些降维方法方向估计的偏差被缩小到O(n-2)。充分降维领域中的另 一个重要的问题是决定中心(均值)降维子空间的结构维数。常用的选 取结构维数的方法都有其局限性。序贯检验法依赖于检验的显著性水 平。重抽样方法的运算量过大。Zhu,MiaoandPeng(2006)提出的BIC 准则虽然可以相合的估计结构维数，但如何基于数据选取最优的惩罚 函数是一个难题。更重要的是，一般充分降维的过程分为两步,首先是 决定维数,然后再选取相应的基方向。论文的第二部分基于对降维方 法核矩阵样本特征值的压缩估计提出一种稀疏谱分解方法用以决定 结构维数。该方法的主要思路是通过建立矩阵谱分解与最小二乘

4、之间 的联系，然后利用Zou(2006)所提出的自适应性最小绝对缩减和变量选 择算子得到样本特征值的稀疏估计。和以往降维方法的两步估计不同, 稀疏谱分解方法可以同时估计结构维数和中心(均值)降维子空间的 基方向。同时我们还证明了稀疏谱分解方法具有Oracle性质。木文 的第三部分是将非参数方法B样条用以估计降维方法SIR和SAVE 的核矩阵。和己有的切片方法以及核估计方法相比,B样条方法估计 精度更高并且也同样计算简单。另外我们修正了 Zhu,MiaoandPeng(2006)所提出的BIC准则。修正的目的是为了平衡 BIC准则中的主项与惩罚项，使得其数量级大致相仿。这种修正的BIC 准则在估

5、计结构维数方面的精度较之传统方法也有所提高。对于半参 数模型的降维一般有两个出发点：一是找出模型中可能存在的变量的 线性组合，二是选择模型中的重要变量。其中第一点就是充分降维的 概念。而第二点是当前统计学界非常热门的话题：变量选择。本文的 第四部分提出一种同时进行充分降维和变量选择的新方法。受到 CandesandTao(2007)一文的启发，我们借鉴 DantzigSelector 对 SIR 方法 进行了 el规范化。这种新方法的本质是在从SIR的谱分解形式中求 解基方向与极小化基方向el模长之间的一种折中方案。我们所提出 的这种新的充分降维与变量选择相结合的方法，在样本量n小于变量个易发

6、去冏二% - www.yii3D 论文发表专家维数P的情形下仍然行之有效。当变量维数P固定时，我们得到了这 种新方法的相合性和渐近正态性。当变量维数p和n以一定形式趋向 于无穷时（需要指出的是pn的情形只是这种形式的特殊情形），我们得 到了这种方法估计的误差上界。最后我们基于方向回归提出一种不基 于模型假设的变量显著性检验。我们推导了在原假设下所提出的统计 量的渐近分布。另外基于统计量的渐近性质，我们提出了两种非常简 单的不基于模型假设的变量选择方法。这两种新方法不同于当前流行 的变量选择方法比如最小绝对缩减和变量选择算子 （LeastAbsoluteShrinkageandSelection

7、Operator,LASSO,Tibshirani,1996） 的地方在于：不依赖模型假设而且也不是惩罚似然的思路。并且我们 证明了在一定条件下这两种新的变量选择方法可以几乎以趋向于I 的概率选对重要变量。通过大量的模拟实验我们比较了本文中提出的 各方法和一些已有的方法,进而验证了这些新方法的有效性。另外我 们还将这些方法用于分析各种实际数据，比如棒球击打手的年薪数据, 贝类生物horsemussel数据，淋巴癌数据以及波士顿房价数据，说明了 这些方法的应用价值所在。【关键词工B样条偏差纠正谱分解二阶渐 近性结构维数稀疏性充分降维变量选择【学位授予单位】：华东师范大学【学位级别】：博士【学位授

8、予年份工2010【分类号】：0211.67【目录工摘要U/3ABSTRACT（英文摘要）1316主要符号对照表 16-17第一章引言17-301.1高维数据17-181.2充分降维18-191.3 估计中心降维子空间的经典方法19-221.4估计均值中心降维子空间 的经典方法22-231.5结构维数的估计23-251.6充分降维领域的最 新热点25-281.7本篇论文的框架28-30第二章经典充分降维方法的 高阶渐近展开以及偏差纠正30-602.1引言30-31 2.2渐近展开的一 般形式31-432.3降维方法的偏差纠正43-442.4模拟研究44-462.5 本章结语46-492.6本章附

9、录49-60第三章决定结构维数的稀疏谱分 解方法60-753.1引言60-61 3.2稀疏谱分解估计方法61-643.3理论 性质64-653.4模拟实验与实际应用65-673.5本章结语67-683.6本 章附录68-75第四章充分降维方法的样条估计75-994.1引言 75-764.2核矩阵(?)_(SIR)样条逼进的渐近性质76-784.3核矩阵 (?)_(SAVE)样条逼近的收敛性78-794.4估计结构维数的修正BIC方 法79-804.5模拟研究与实例说明80-834.6本章结语83-844.7本章 附录84-99第五章小n大p情形下的充分降维与变量选择99-1185.1 本章引言99-1005.2DantzigSelector型的逆回归标准化方法 100-1045.3理论性质104-1065.4模拟实验与实际应用106-1105.5 本章结语110-1115.6本章附录111-118第六章基于方向回归的变量 显著性检验以及变量选择118-1366.1引言118-1196.2检验统计量的 提出119-1216.3基于检验统计量的变量选择方法121-1246.4模拟实 验124