北大应用多元统计分析课件第三章.ppt

1 应用多元统计分析 第三章多元正态总体参数的假设检验 一 2 3 1几个重要统计量的分布一 正态变量二次型的分布二 威沙特分布三 霍特林T2分布四 威尔克斯统计量 3 2单总体均值向量的检验及置信域 3 3多总体均值向量的检验 第三章多元正态总体参数的假设检验目录 一 3 一元统计中 参数 2的检验涉及到一个总体 二个总体 乃至多个总体的检验问题 推广到p元统计分析中 类似地对参数向量 和参数矩阵 涉及到的检验也有一个总体 二个总体 乃至多个总体的检验问题 第三章多元正态总体参数的假设检验 4 在一元统计中 用于检验 2的抽样分布有 2分布 t分布 F分布等 它们都是由来自总体N 2 的样本导出的检验统计量 推广到多元统计分析后 也有相应于以上三个常用分布的统计量 Wishart HotellingT2 Wilks 统计量 讨论这些统计量的分布是多元统计分析所涉及的假设检验问题的基础 第三章多元正态总体参数的假设检验 5 设Xi N1 i 2 i 1 n 且相互独立 记 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 分量独立的正态变量二次型 一般情况 i 0 2 1时 结论1 6 结论2当 i 0 i 1 n 2 1时 X X的分布常称为非中心 2分布 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 分量独立的正态变量二次型 定义3 1 1设n维随机向量X Nn In 0 则称随机变量 X X为服从n个自由度 非中心参数 的 2分布 记为 7 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 分量独立的正态变量二次型 则 结论3设X Nn 0 2In A为n阶对称方阵 rk A r 则二次型X AX 2 2 r A2 A A为对称幂等阵 特例 当A In时 8 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 非中心t分布和F分布 定义3 1 2 定义3 1 3 9 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 非中心t分布的应用 一元统计中 关于一个正态总体N 2 的均值检验中 检验H0 0时 检验统计量 否定域为 T 其中 满足 P T 显著性水平 10 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 非中心t分布的应用 当否定H0时 可能犯第一类错误 且 第一类错误的概率 P 以真当假 P T 0 显著性水平 当H0相容时 可能犯第二类错误 且 第二类错误的概率 P 以假当真 P T 1 0 此时检验统计量T t n 1 利用非中心t分布可以计算第二类错误 的值 11 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wishart分布 威沙特分布 Wishart分布是一元统计中 2分布的推广 多元正态总体Np 中 常用样本均值向量X作为 的估计 样本协差阵S A n 1 作为 的估计 由第二章的定理2 5 2已给出了X Np n S 一元统计中 用样本方差作为 2的估计 而且知道 12 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wishart分布 威沙特分布 推广到p元正态总体 样本协差阵S A n 1 及随机矩阵A 离差阵 的分布是什么 设X 1 n 为来自Np 0 的随机样本 考虑随机矩阵 的分布 当p 1时 13 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wishart分布 威沙特分布 推广到p维正态总体时 随机矩阵W的分布是什么 定义3 1 4设X Np 0 1 n 相互独立 则称随机矩阵的分布为Wishart分布 威沙特分布 记为W Wp n 显然p 1时 即 14 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wishart分布 威沙特分布 一般地 设X Np 1 n 相互独立 记 则称W X X服从非中心参数为 的非中心Wishart分布 记为W Wp n 其中 15 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wishart分布 威沙特分布 当X Np 1 n 相互独立时 非中心参数 这里 其中p为随机矩阵W的阶数 n为自由度 一元统计中的 2对应p元统计中的协差阵 16 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wishart分布的性质 性质1设X Np 1 n 相互独立 则样本离差阵A服从Wishart分布 即 证明根据第二章 2 5的定理2 5 2知 而Z Np 0 1 n 1 相互独立 由定义3 1 4可知A Wp n 1 17 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wishart分布的性质 由于Wishart分布是 2分布的推广 它具有 2分布的一些性质 性质2关于自由度n具有可加性 设Wi Wp ni i 1 k 相互独立 则 性质3设p阶随机阵W Wp n C是m p常数阵 则m阶随机阵CWC 也服从Wishart分布 即 CWC Wm n C C 18 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wishart分布的性质 证明 其中Z Np 0 1 n 相互独立 令Y CZ 则Y Nm 0 C C 故 由定义3 1 4有 19 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wishart分布的性质 aW Wp n a a 0 为常数 在性质3中只须取C a1 2Ip 即得此结论 特例 设l l1 lp 则l Wl W1 n l l 即 2 2 n 其中 2 l l 在性质3中只须取C l 即得此结论 思考 试问随机阵W的对角元素Wii的分布 20 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wishart分布的性质 性质4分块Wishart矩阵的分布 设X Np 0 1 n 相互独立 其中 又已知随机矩阵 则 习题3 4 21 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wishart分布的性质 性质5设随机矩阵W Wp n 则E W n 证明 由定义3 1 4 知 其中Z Np 0 1 n 相互独立 则 22 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 HotellingT2分布 一元统计中 若X N 0 1 2 n X与 相互独立 则随机变量 下面把的分布推广到p元总体 设总体X Np 0 随机阵W Wp n 我们来讨论T2 nX W 1X的分布 23 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 HotellingT2分布 定义3 1 5设X Np 0 随机阵W Wp n 0 n p 且X与W相互独立 则称统计量T2 nX W 1X为HotellingT2统计量 其分布称为服从n个自由度的T2分布 记为T2 T2 p n 更一般地 若X Np 0 则称T2的分布为非中心HotellingT2分布 记为T2 T2 p n 24 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 HotellingT2分布的性质 性质1设X Np 1 n 是来自p元总体Np 的随机样本 X和A分别为总体Np 的样本均值向量和离差阵 则统计量 事实上 因 25 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 HotellingT2分布的性质 而A Wp n 1 且A与X相互独立 由定义3 1 5知 26 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 HotellingT2分布的性质 性质2T2与F分布的关系 设T2 T2 p n 则 在一元统计中 27 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 HotellingT2分布的性质 当p 1时 一维总体X N 0 2 所以注意 因 这是性质2的特例 即p 1时 T2 F 1 n 28 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 HotellingT2分布的性质 一般地 性质2的严格证明见参考文献 2 其中 X 1X 2 p 0 还可以证明 2 n p 1 且 与 独立 29 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 HotellingT2分布的性质 性质3设X Np 随机阵W Wp n 0 n p 且X与W相互独立 T2 nX W 1X为非中心HotellingT2统计量 T2 T2 p n 则 其中非中心参数 30 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 HotellingT2分布的性质 或性质3设X Np 1 n 是来自p元总体Np 的随机样本 X和A分别为样本均值向量和离差阵 记 31 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 HotellingT2分布的性质 一元统计中 p 1时 t统计量与参数 2无关 类似地有以下性质 性质4T2统计量的分布只与p n有关 而与 无关 即 32 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 HotellingT2分布的性质 事实上 因X Np 0 0 W Wp n 则 1 2X Np 0 Ip 因此 33 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wilks 分布的定义 一元统计中 设 2 m 2 n 且相互独立 则 在总体N 1 2 x 和N 2 2 y 方差齐性检验中 设X i i 1 m 为来自总体N 1 2 x 的样本 Y j j 1 n 为来自总体N 2 2 y 的样本 取 2 x 和 2 y 的估计量 样本方差 分别为 34 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wilks 分布的定义 检验统计量 p元总体Np 中 协差阵 的估计量为A n 1 或A n 在检验H0 1 2时 如何用一个数值来描述估计矩阵的离散程度呢 一般可用矩阵的行列式 迹或特征值等数量指标来描述总体的分散程度 35 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wilks 分布的定义 定义3 1 6设X Np 则称协差阵的行列式 为X的广义方差 若X 1 n 为p元总体X的随机样本 A为样本离差阵 有了广义方差的概念后 在多元统计的协差阵齐次检验中 类似一元统计 可考虑两个广义方差之比构成的统计量 Wilks统计量的分布 36 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wilks 分布的定义 定义3 1 7设A1 Wp n1 A2 Wp n2 0 n1 p 且A1与A2独立 则称广义方差之比 为Wilks 或 统计量 其分布称为Wilks 威尔克斯 分布 记为 p n1 n2 或 p n1 n2 37 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wilks 统计量的性质 在实际应用中 常把 统计量化为T2统计量 进而化为F统计量 利用我们熟悉的F统计量来解决多元统计分析中有关检验的问题 结论1当n2 1时 设n1 n p 则 注意 在这里记号 p n 1 有两重含义 统计量 也是随机变量 其分布是参数为p n 1的威尔克斯分布 38 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wilks 统计量的性质 或 证明设X 1 n n 1 相互独立同Np 0 分布 显然有 39 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wilks 统计量的性质 由定义3 1 7 知 40 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wilks 统计量的性质 利用分块矩阵求行列式的公式 见附录的推论4 1 41 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wilks 统计量的性质 所以 结论2当n2 2时 设n1 n p 则 42 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wilks 统计量的性质 结论3当p 1时 则 因p 1时 1 n1 n2 就是 n1 2 n2 2 利用贝塔分布与F分布的关系 即有以上结论 43 第三章多元正态总体参数的假设检验 3 1几个重要统计量的分布 Wilks 统计量的性质 结论4当p 2时 则 结论5当n2 2 p 2时 可用 2统计量或F统计量近似 Box 1949 给出以下结论 设 p n n2 则当n 时 rln 2 pn2 其中r n p n2 1 2 二个重要结论不要求 44 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 在多元统计分析中 考虑的总体是p维正态总体Np 关于均值向量的检验问题经常是需要的 p元正态随机向量的每一个分量都是一元正态变量 关于均值向量的检验问题能否化为p个一元正态的均值检验问题呢 显然这是不完全的 因为p个分量之间往往有互相依赖的关系 分开作检验 往往得不出正确的结论 但我们可以构造出类似于一元统计中的统计量 用来对均值向量进行检验 45 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 关于均值向量的检验包括 一个p元正态总体Np 检验H0 0 二个p元正态总体Np 1 1 和Np 2 2 检验H0 1 2 k个p元正态总体Np i i 1 k 当协差阵相等时检验k个均值向量是否全相等 即多元方差分析 46 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 设总体X Np 随机样本X 1 n 检验H0 0 0为已知向量 H1 0 1 当 0已知时均值向量的检验 利用二次型分布的结论 2 结论1 知 47 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 取检验统计量为 按传统的检验方法 对给定的显著水平 查 2分布临界值表得 48 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 由样本值x 1 n 计算X及T20值 若T20 则否定H0 否则H0相容 利用统计软件 如SAS系统 还可以通过计算显著性概率值 p值 给出检验结果 且由此得出的结论更丰富 假设在H0成立情况下 随机变量T20 2 p 由样本值计算得到T20的值为d 可以计算以下概率值 p P T20 d 常称此概率值为显著性概率值 或简称为p值 49 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 对给定的显著性水平 当p值 时 即d值大 X与 偏差大 则在显著性水平 下否定假设H0 在这种情况下 可能犯 以真当假 的第一类错误 且 就是犯第一类错误的概率 当p值 时 即d值小 X与 偏差小 则在显著性水平 下H0相容 在这种情况下 可能犯 以假当真 的第二类错误 且犯第二类错误的概率 为 P T20 当 1 0 其中检验统计量T20 2 p 非中心参数 n 1 0 0 1 1 0 50 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 p值的直观含义可以这样看 检验统计量T20的大小反映X与 0的偏差大小 当H0成立时T20值应较小 现在由观测数据计算T20值为d 当H0成立时统计量T20 2 p 由 2分布可以计算该统计量 d的概率值 即p值 比如p值 0 02 0 05 表示在 0的假设下 观测数据中极少会出现T20的值大于等于d值的情况 故在0 05的水平下有足够的证据否定原假设 即认为 与 0有显著地差异 51 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 又比如当p值 0 22 0 05时 表示在 0的假设下 观测数据中经常会出现T20的值大于等于d值的情况 故在0 05的水平下没有足够的证据否定原假设 即认为 与 0没有显著地差异 52 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 2 当 未知时均值向量的检验当p 1时 一元统计 取检验统计量为 或等价地取检验统计量 53 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 推广到多元 考虑统计量 因 离差阵 54 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 由定义3 1 5可知 利用T2与F分布的关系 检验统计量取为 55 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 例3 2 1 例3 2 1人的出汗多少与人体内钠和钾的含量有一定的关系 今测量了20名健康成年女性的出汗量 X1 钠的含量 X2 和钾的含量 X3 数据见表3 1 试检验H0 0 4 50 10 H1 0 56 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 例3 2 1 解记随机向量X X1 X2 X3 假定X N3 检验H0 0 H1 0 取检验统计量为 由样本值计算得 57 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 例3 2 1 58 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 例3 2 1 对给定 0 05 按传统的检验方法 可查F分布临界值表得 F3 17 0 05 3 2 比较由样本值计算得到的F值及临界值 因F值 2 9045 3 2 故H0相容 利用统计软件进行检验时 首先计算p值 此时检验统计量F F 3 17 p P F 2 9045 0 06493 因p值 0 06493 0 05 故H0相容 在这种情况下 可能犯第二类错误 且第二类错误的概率为 P F 3 2 X 0 3616 假定总体均值 1 0 取 1 X 59 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 例3 2 1 prociml n 20 p 3 m0 45010 used321 使用SAS数据集d321中的3个变量 xa x1x2x3 readallvarxaintox 把d321中三个变量的所有观测数据读入矩阵X ln 20 1 行向量ln由20个均为1的元素组成 x0 ln x n 计算样本均值行向量X xm x0 m0 以上计算结果可以用SAS IML计算 SAS程序如下 假设表3 1的数据已生成名为d321的SAS数据集 yydy321a sas 60 第三章多元正态总体参数的假设检验 3 2单总体均值向量的检验 例3 2 1 mm i 20 j 20 20 1 n 计算矩阵 In J