非参数统计-2016

1、华中农业大学数学建模基地非参数统计非参数统计华中农业大学数学建模基地华中农业大学数学建模基地参数检验 parametric test 如 t 检验： F 检验:0:171.2Hcm012:kH一. 问题的提出 非参数检验(nonparametric test)对数据的总体分布类型不作严格假定，又称任意分布检验(distribution-free test)， 它直接对总体分布的位置作假设检验。 缺点：缺点：方法比较粗糙，对于符合参数检验条件者，采用方法比较粗糙，对于符合参数检验条件者，采用非参数检验非参数检验会损失部分信息，其检验效能较低会损失部分信息，其检验效能较低；样本含；样本含量较大时，

2、两者结论常相同量较大时，两者结论常相同应用非参数检验的情况1.不满足正态和方差齐性条件不满足正态和方差齐性条件的小样本资料；的小样本资料；2.总体总体分布类型不明分布类型不明的小样本资料；的小样本资料；3.一端或二端是不确定数值（如一端或二端是不确定数值（如0.002、65等）等）的资料的资料；4.单向有序列联表单向有序列联表资料；资料；5. 各种资料的各种资料的初步分析初步分析。无效无效有效有效显效显效实验组 61935对照组 142024秩次(rank)将数值变量值从小到大，或等级变量值从弱到强所排列的序号。例例1 11只大鼠存活天数：只大鼠存活天数：存活天数存活天数 4，10，7，50，

3、3，15，2，9，13，60，60秩次 3 6 4 9 2 8 1 5 7 10 11 10.5 10.5例例2 7名名 肺炎病人的治疗结果：肺炎病人的治疗结果：危险程度危险程度 治愈治愈 治愈治愈 死亡死亡 无效无效 治愈治愈 有效有效 治愈治愈秩次 1 2 7 6 3 5 4平均秩次平均秩次 2.5 2.5 7 6 2.5 5 2.5本次介绍的非参数的假设检验方法 主要基于秩次秩次秩次相同(tie)取平均秩次！二. 基本思想(4)由样本值计算由样本值计算T的值，若的值，若T W，则拒绝，则拒绝H0 否则否则, ,接受接受H0 0(1)根据实际问题提出原假设根据实际问题提出原假设H0和备择假

4、设和备择假设H1(2)选取适当的统计量选取适当的统计量T,并在并在H0成立条件下确定成立条件下确定出出T的分布的分布(3)确定拒绝域确定拒绝域W,使使PT W|H0真真=三. 基本步骤华中农业大学数学建模基地华中农业大学数学建模基地四. 非参数检验的方法介绍1. 两组样本数据的检验两组样本数据的检验 1.1 两个两个相关样本相关样本检验检验 1.2 两个两个独立样本独立样本检验检验2.多组样本数据的检验多组样本数据的检验 2.1 多组个独立样本独立样本检验 2.2 多组个相关样本相关样本检验3.相关性指标与检验相关性指标与检验 1.1 两个相关样本检验配对样本比较的Wilcoxon符号秩检验

5、（Wilcoxon signed-rank test）1配对样本差值的中位数与0的比较2单个样本中位数和总体中位数比较 表 12份血清两法测血清谷-丙转氨酶（nmol S-1/L）的比较 （1）配对样本差值的中位数与配对样本差值的中位数与0的比较的比较1. 建立检验假设，确定检验水平2. 求检验统计量T值 省略所有差值为0的对子数检验步骤 按差值的绝对值从小到大编秩，相同秩（ties）则取平均秩 任取正秩和或负秩和为任取正秩和或负秩和为T，本例取，本例取T=11.5。3. 确定P值，作出推断结论 (1)当n50时，查T界值表 判断原则判断原则: T 在范围之外，Pn=12, =0.10 :13

6、-53 =0.05 :10-56T=11.5(2)若当n50，超出附表9范围，可用正态近似法作z检验。 3(1)/4z()(1)(21)2448jjTn nttn nn注：注：tj(j=1,2,L)为第j个相同秩次的个数data d1; input id x1 x2 ; d=x1-x2; cards; 1 60 80 2 142152 3 195243 4 80 82 5 242240 6 220220 7 190205 8 25 38 9 212243 10 38 44 11236200 12 95100;proc univariate;var d; run;SAS 程序Univariate

7、 ProcedureVariable=D1 Tests for Location: Mu0=0 Test -Statistic- -p Value- Students t t 1.60232 Pr |t| 0.1374 Sign M 3.5 Pr = |M| 0.0654 SAS 输出结果（2）单个样本中位数和总体中位数比较11n，单侧0.05的T范围为13-53；T=1.5 在此范围之外， P |t| 0.0072Sign M 4.5 Pr = |M| 0.0117 SAS 输出结果1.2 两个独立样本检验Wilcoxon秩和检验 Wilcoxon rank sum test 1区间（计量）

8、数据的两样本比较 2有序（等级）数据的两样本比较1区间（定量）数据的两样本比较 符合参数条件时，采用两样本均数的t检验表15.1 不同作业的两组工人的血铅值 例数较小者为n1、T1检验步骤求检验统计量T 值 把两样本数据混合从小到大编秩，遇数据相等者取平均秩； 以样本例数小者为1n，其秩和（1T）为T，若两样本例数相等，可任取一样本的秩和（1T或2T）为T，本例T=93.5。 H0：两组总体分布位置相同； H1 ：分布位置不相同；0.05确定P值，作出推断下结论 1. 查表法 (样本含量较小，根据T查P值) 2. 较大作正态近似性检验 1312312(1)/2()(1)112(1,2,)jjj

9、Tn Nzttn n NNNtjjNnn为第 个相同秩次的个数Ldata a; input y g; cards;515161719112 113 115 118 121 117 218 220 225 234 243 22;proc npar1way wilcoxon; class g; var y; run;SAS 程序 The NPAR1WAY Procedure Wilcoxon Scores (Rank Sums) for Variable y Classified by Variable g Sum of Expected Std Dev Mean g N Scores Under

10、 H0 Under H0 Score - 1 10 59.50 90.0 10.234386 5.950000 2 7 93.50 63.0 10.234386 13.357143 Average scores were used for ties. Wilcoxon Two-Sample Test Statistic 93.5000 Normal Approximation Z 2.9313 One-Sided Pr Z 0.0017 Two-Sided Pr |Z| 0.0034 t Approximation One-Sided Pr Z 0.0049 Two-Sided Pr |Z|

11、0.0098 Z includes a continuity correction of 0.5. Kruskal-Wallis Test Chi-Square 8.8813 DF 1 Pr Chi-Square 0.0029SAS 输出结果 2 单项有序列联表数据的两样本比较 名义数据的两样本比较，采用率或构成比的卡方 检验常错误采用 卡方检验 表 吸烟与不吸烟工人的HbCO(%)含量的比较 注：HbCO：一氧化碳血红蛋白，一氧化碳血红蛋白，HbCO不具有与氧气进行有效交换的功能，会导致携带氧气能力下降0H：吸烟工人和不吸烟工人的 HbCO 含量总体分布位置相同 1H：吸烟工人的 HbCO

12、含量高于不吸烟工人的 HbCO 含量 0.05 先确定各等级的合计人数、秩范围和平均秩，见表8-6的（4）栏、（5）栏和（6）栏，再计算两样本各等级的秩和，见（7）栏和（8）栏； 本例T=1917； 3191739 (79 1)/23.702339 40 (79 1)52230(1)127979Z查附表得单侧0.0005P ，按0.05水准拒绝0H，接受1H，可认为吸烟工人的 HbCO（%）含量高于不吸烟工人的 HbCO（%）含量。 139n ，240n ，394079N 计算Z值333333()(33)(3131)(2727)(1414)(44) 52230jjttdata a; input

13、 y g FREQ; cards;1112183116411051412222233211424520;proc npar1way wilcoxon; class g; FREQ FREQ； var y; run;SAS 程序 The NPAR1WAY Procedure Wilcoxon Scores (Rank Sums) for Variable y Classified by Variable g Sum of Expected Std Dev Mean g N Scores Under H0 Under H0 Score - 1 39 1917.0 1560.0 96.426663

14、49.153846 2 40 1243.0 1600.0 96.426663 31.075000 Average scores were used for ties. Wilcoxon Two-Sample Test Statistic 1917.0000 Normal Approximation Z 3.6971 One-Sided Pr Z 0.0001 Two-Sided Pr |Z| 0.0002 t Approximation One-Sided Pr Z 0.0002 Two-Sided Pr |Z| 0.0004 Z includes a continuity correctio

15、n of 0.5. Kruskal-Wallis Test Chi-Square 13.7070 DF 1 Pr Chi-Square 0.0002SAS 输出结果2.1 多组个独立样本检验完全随机设计多个样本比较的Kruskal-Wallis H检验 1区间（计量）数据的样本比较 2有序（等级）数据的样本比较（1）区间（定量）数据的多个样本比较 Kruskal-Wallis H检验H0 :多个总体分布位置相同; H1 :多个总体分布位置。 如果满足参数条件，这类资料一般作完全随机设计ANOVA确定确定P值，作出推断结论值，作出推断结论 1. 当3g , 5in 时，查H界值表 2. 若3g

16、且最小ni大于5时，H或CH近似服从1g的2分布，查2界值表。 本例15N ，1235nnn，查附表得0.01P ，按0.05水准拒绝0H，接受1H，可认为三种药物杀灭钉螺的效果不同。 data a; input y g; cards;32.5135.5140.5146 149 116 220.5222.5229 236 26.5 39 312.5318 324 3;proc npar1way wilcoxon; class g; var y; run;SAS 程序 The NPAR1WAY Procedure Wilcoxon Scores (Rank Sums) for Variable

17、y Classified by Variable g Sum of Expected Std Dev Mean g N Scores Under H0 Under H0 Score - 1 5 63.0 40.0 8.164966 12.60 2 5 38.0 40.0 8.164966 7.60 3 5 19.0 40.0 8.164966 3.80 Kruskal-Wallis Test Chi-Square 9.7400 DF 2 Pr Chi-Square 0.0077SAS 输出结果（2）单项有序列联表数据的样本比较这种数据常被错误采用卡方检验0H：四种疾病患者痰液内嗜酸性白细胞总体

18、分布位置相同 1H：四种疾病患者痰液内嗜酸性白细胞总体分布位置不全相同 0.05 如表 8-11 第栏（支气管扩张组）的秩和1R是用第栏各等级的 频 数 与 第 （ 8 ） 栏 平 均 秩 相 乘 再 求 和 ， 即10(6)2(21)9(40.5)6(55.5)739.5R ，仿此得表8 11iR下部 行。 222212739.5436.5409.5244.5()3(60 1)14.2860(60 1)17151711H data a; input y g FREQ; cards;1102123194161232253254221352373334321432453434 4 0;proc

19、npar1way wilcoxon; class g; FREQ FREQ; var y; run; SAS 程序 The NPAR1WAY Procedure Wilcoxon Scores (Rank Sums) for Variable y Classified by Variable g Sum of Expected Std Dev Mean g N Scores Under H0 Under H0 Score - 1 17 739.50 518.50 58.490529 43.500000 2 15 436.50 457.50 56.205491 29.100000 3 17 40

20、9.50 518.50 58.490529 24.088235 4 11 244.50 335.50 50.225150 22.227273 Average scores were used for ties. Kruskal-Wallis Test Chi-Square 15.5058 DF 3 Pr Chi-Square 0.0014SAS 输出结果2.2 多组相关样本检验随机区组设计随机区组设计多个样本比较的Friedman M检验 在每个配伍组内编秩次2222()(1) /4iiMRRRb k k222222(111623.529.5 )84 (41) /4199.5M data a;

21、 input block group y ; cards;118.4129.62111.62212.7319.4329.1419.8428.7518.3528618.6629.8718.9729817.8828.2139.81411.72311.824123310.4349.8439.94412538.6548.6639.66410.67310.67411.4838.58410.8;Proc freq; tables block*group*y / noprint cmh2 scores=rank;run; SAS 程序 The FREQ Procedure Summary Statistic

22、s for group by y Controlling for blockCochran-Mantel-Haenszel Statistics (Based on Rank Scores)Statistic Alternative Hypothesis DF Value Prob 1 Nonzero Correlation 1 15.0722 0.0001 Total Sample Size = 32SAS 输出结果3. 等级相关应用：两个样本的相关分析当两个变量不服从正态分布时，可以采用等级相关分析。Pearson相关系数的估计和检验 1）估计相关系数，估计公式：其中，xi和yi是服从正态

23、分布的两个随机变量， 分别是这两个随机变量的均值。 y x 80 307 75 259 90 341 70 237 75 254 105 416 70 267 85 320 88 374 78 316回忆：2、 计算估计值r 的标准误3、 的假设检验 H0: =0 vs H1: 04、统计推断结论：查=n-2 的 t-分布表。的估计公式：当两个随机变量xi和yi不服从正态分布或分布未知时，用下面公式估计相关系数，这就是Spearman相关系数。其中si和ti分别是xi和yi的秩次， 分别是si和ti的均值。Spearman 相关系数的估计和检验与计算Pearson相关系数的区别：采用秩次代替原

24、变量Spearman相关系数的另一计算公式：其中，d= s-t 16122nndrs相同秩次较多时YXYXsTnnTnndTTnnr26/ )(26/ )()(6/ )(3323TX(或TY)(t3t)/12，t为X(或Y)中相同秩次的个数。 【例15.6】 某地作肝癌病因研究，调查了10个不同地区肝癌死亡率(1/10万)与某种食物中黄曲霉素相对含量，见表15.16第(2)、(4)栏。试作等级相关分析 。注：在湿热地区食品中出现黄曲霉毒素的机率最高。存在于土壤、动植物、各种坚果中，是霉菌毒素中毒性最大、对人类健康危害极为突出的一类霉菌毒素。食品中所污染的主要是黄曲霉毒素B1，其毒性一般认为有三种临床特征；急性中毒、慢性中毒和致癌性1. 建立检验假设，确定检验水准H0: 不同地区肝癌死亡率与黄曲霉素相对含量不相关。H1：不同地