Wk2-BB-A-12 Non parametric statistcs-N（课堂PPT）

1、非参数统计非参数统计-1北京扬智嘉信管理技术有限公司版权所有非参数统计非参数统计-2北京扬智嘉信管理技术有限公司版权所有当前位置当前位置定义定义测量测量分析分析改善改善控制控制步骤步骤 7- 收集相关数据收集相关数据步骤步骤 8- 分析对应数据分析对应数据步骤步骤 9-选择关键少数选择关键少数q Multi Variq 中心极限内定理中心极限内定理q 假设检验假设检验q 置信区间置信区间q 方差分析方差分析, T-检验检验q 卡方卡方q 相关，回归相关，回归q非参数检验非参数检验非参数统计非参数统计-3北京扬智嘉信管理技术有限公司版权所有q 非参数非参数(Non-parametric)检验的定

2、义检验的定义q 参数统计学和非参数统计学的比较参数统计学和非参数统计学的比较q 单样本单样本里数据正态里数据正态/非正态时的分析方法非正态时的分析方法q 双样本双样本里数据正态里数据正态/非正态时的分析方法非正态时的分析方法q 3+ 样本样本里数据正态里数据正态/非正态时的分析方法非正态时的分析方法非参数统计非参数统计-4北京扬智嘉信管理技术有限公司版权所有q 对非参数统计概念介绍对非参数统计概念介绍q 对参数统计和非参数统计差异点概念说明对参数统计和非参数统计差异点概念说明 q 非参数统计的种类非参数统计的种类q 非参数统计的理论性说明非参数统计的理论性说明q 通过通过MINITAB实习来理

3、解非参数统计实习来理解非参数统计非参数统计非参数统计-5北京扬智嘉信管理技术有限公司版权所有q 以前我们做的一切分析都是基于假设总体的分布是已知的以前我们做的一切分析都是基于假设总体的分布是已知的q 即即,在总体具备正态性的条件下进行了在总体具备正态性的条件下进行了 t-检验检验, F-检验等检验等.q 但是但是, 现实中往往不能事前知道分布的状态，如果实际分布和假现实中往往不能事前知道分布的状态，如果实际分布和假设的分布有差异，则根据参数统计分析就可能提供了错误的情报设的分布有差异，则根据参数统计分析就可能提供了错误的情报.q 因此我们把事前不对总体的分布函数作任何假设，而进行的统计因此我们

4、把事前不对总体的分布函数作任何假设，而进行的统计推测的方法称之为推测的方法称之为非参数非参数(non-parametric) 统计统计. 非参数统计非参数统计-6北京扬智嘉信管理技术有限公司版权所有参数统计非参数统计总体具备某确定的分布.(正态, 二项, 对数正态, 指数)没有对总体概率分布作假设.(distribution-free methods)结果值通常是计量型数据结果值可以是计数型数据样本数量要多. (n 25)样本数量可少. (n 25)转换为正态分布使用转换为正态分布使用 Z 检验检验非参数检验非参数检验1-样本样本 Wilcoxon Signed-Rank 例例: (Ho: M

5、edian =25)SPC ChartI-MR有无证据证明某些数据不是来自同一个总体有无证据证明某些数据不是来自同一个总体或工程或工程?描述统计和描述统计和正态正态 检验检验研究研究散布散布Descriptive Stats在假设的置信区间内吗在假设的置信区间内吗 ?该检验只适用于数据服从正态分布的情况该检验只适用于数据服从正态分布的情况数据服从正态分布吗数据服从正态分布吗?P-值值 ( 值值If P 值小拒绝值小拒绝, Ho .正态正态非正态非正态均值检验均值检验单样本单样本 T-检验检验单样本单样本 Z-检验检验例例: (Ho: Mean =25.00)Z- or T-检验检验 (if n

6、25)变换为正态分布使用变换为正态分布使用 Z 检验检验非参数检验非参数检验1-样本样本 Wilcoxon Signed-Rank 例例: (Ho: Median =25)P 值值 0 = 0.5 = PDi S 二项分布二项分布 B(n, 0.5)ZSnn22非参数统计非参数统计-18北京扬智嘉信管理技术有限公司版权所有 假设假设 H0: 中位数中位数 = 假设的中位数假设的中位数 H1: 中位数中位数 假设的中位数假设的中位数 WILCOXON符号检验是符号加顺序的检验法符号检验是符号加顺序的检验法. (1) 假设的中位数相比基准的中位数要大，则标记为假设的中位数相比基准的中位数要大，则标

7、记为 (+)，否则为，否则为 (-).和中位数相同排除和中位数相同排除分析分析. (2) 根据比中位数大多少来排序根据比中位数大多少来排序. (3) 符号顺序检验统计量符号顺序检验统计量 T+ = 正的正的 Di有关和有关和 (4) Ho下可以近似使用正态下可以近似使用正态. (n大大 近似是近似是N(0,1)的正态分布的正态分布.) 假设总体是非正态分布时，它比假设总体是非正态分布时，它比 T-检验检验有着更强大的检验功效有着更强大的检验功效 (置信区间变窄置信区间变窄) . 但假如总体是正态分布时，但假如总体是正态分布时， T-检验检验 则是更强健的方法则是更强健的方法. (置信区间变宽置

8、信区间变宽) ZTn nn nn() /()()141 2124非参数统计非参数统计-19北京扬智嘉信管理技术有限公司版权所有Wilcoxon Signed Rank 检验检验检验检验 of median = 25.00 versus median 25.00 N for Wilcoxon Estimated N 检验检验 Statistic P MedianBob 41 41 347.0 0.862 24.81我们作如何决定我们作如何决定 ?非参数统计非参数统计-20北京扬智嘉信管理技术有限公司版权所有Wilcoxon Signed Rank CI: Bob Estimated Achiev

9、ed N Median Confidence Confidence IntervalBob 41 24.81 95.0 (24.53, 25.14)非参数统计非参数统计-21北京扬智嘉信管理技术有限公司版权所有MinitabSPC ChartI-MR描述统计描述统计和正态检验和正态检验描述统计描述统计是否在假设的置信区间内是否在假设的置信区间内 ?该检验只适用于数据是正态分布该检验只适用于数据是正态分布.一个水平的一个水平的 X变数的检变数的检验验稳定性检验稳定性检验(可能的话可能的话)研究形态研究形态研究中心研究中心研究散布研究散布有无证据证明某些数据不是来自同一个总体有无证据证明某些数据不

10、是来自同一个总体或工程或工程?数据服从正态分布吗数据服从正态分布吗?P-值值 (25 方差分析方差分析 or T(or 转换)Or Mann-Whitney(Median A = Median B)2 样本 T-检验 with Assume Equal s1-Way 方差分析 Ho: A= BXIf N25 2 样本样本 T(or 转换)Or Mann-Whitney(Median A = Median B)2 样本 T-检验 with Assume Equal s1 Way 方差分析 Ho: A= BP-值值 (.05) ,2 总体的中心不同总体的中心不同.NormalNon-Normal堆

11、叠数据和等方堆叠数据和等方差检验差检验Levenes 检验检验 Ho: 2A= 2BBartlett 检验检验 (F-检验检验)Ho: 2A= 2B正态正态非正态非正态Small P-值值 (.05) Variances Not Equal2 水平的比较水平的比较SPC ChartI-MR描述统计和描述统计和正态检验正态检验稳定性检验稳定性检验(有可能有可能)形态研究形态研究研究散布研究散布研究中心研究中心Minitab关注事项关注事项有无证据证明某些数据不是来自同一个总体有无证据证明某些数据不是来自同一个总体或工程或工程?数据服从正态分布吗数据服从正态分布吗?P-值值 (25 方差分析方差分

12、析 or T(or 转换)Or Mann-Whitney(Median A = Median B)2 样本 T-检验 with Assume Equal s1-Way 方差分析 Ho: A= BXIf N25 2 样本样本 T(or 转换)Or Mann-Whitney(Median A = Median B)2 样本 T-检验 with Assume Equal s1 Way 方差分析 Ho: A= BP-值值 (.05) 2 总体中心不同总体中心不同.NormalNon-Normal堆叠数据和等方堆叠数据和等方差检验差检验Levenes 检验检验 Ho: s2A= s2BBartlett

13、检验检验 (F-检验检验)Ho: s2A= s2B正态正态非正态非正态Small P-值值 (.05) Variances Not Equal2 水平的比较水平的比较SPC ChartI-MR描述统计和描述统计和正态检验正态检验稳定性检验稳定性检验(有可能有可能)研究形态研究形态研究散布研究散布研究中心研究中心Minitab关注事项关注事项有无证据证明某些数据不是来自同一个总体有无证据证明某些数据不是来自同一个总体或工程或工程?数据服从正态分布吗数据服从正态分布吗?P-值值 ( 0 (Y比比 X概率性大概率性大) 不对两总体是否具有正态分布作假设，根据样本推测比较两总体的平均不对两总体是否具有

14、正态分布作假设，根据样本推测比较两总体的平均 -参数型参数型: paired t-检验检验, -非参数型非参数型: Wilcoxon signed rank 检验检验 根据两个独立的样本根据两个独立的样本. (1) 两个样本和在一起最小值开始排序两个样本和在一起最小值开始排序. (2) n1 n2 = 求第二个样本的顺序和求第二个样本的顺序和(W) n1 求第一个样本的顺序和求第一个样本的顺序和(W) (3) 计算检验统计量计算检验统计量 U : U = W n2(n2 +1)/2, W= 混合样本里混合样本里 n单样本单样本的顺序和的顺序和 (4) 最小样本的样本数足够大时，可以使用正态分布

15、最小样本的样本数足够大时，可以使用正态分布. Ho真时真时 近似近似N(0,1)的标准正态分布的标准正态分布.ZWnnnn nnn212121 212112()()非参数统计非参数统计-29北京扬智嘉信管理技术有限公司版权所有Mann-Whitney 检验和置信区间检验和置信区间: Bob, Jane N 中位数中位数Bob 100 24.869Jane 100 25.546ETA1-ETA2 的点估计为的点估计为 -0.662ETA1-ETA2 的的 95.0 置信区间为置信区间为 (-0.927,-0.377)W = 8195.0在在 0.0000 上，上，ETA1 = ETA2 与与 E

16、TA1 ETA2 的检验结果显著的检验结果显著我们怎样判定我们怎样判定 ?非参数统计非参数统计-30北京扬智嘉信管理技术有限公司版权所有3 3 或更多的或更多的样本样本数据数据正态正态/ /非正态时的分析方法非正态时的分析方法非参数统计非参数统计-31北京扬智嘉信管理技术有限公司版权所有 等方差等方差 异方差异方差1 Way 方差分析方差分析 Ho: A= B =cP-值值 (25 or transformed)Kruskal-Wallis / Moods Median(Med A = Med B = Med C)1 Way 方差分析方差分析 (See MBB)Kruskal-Wallis /

17、 Moods Medians(Med A = Med B = Med C)Kruskal-Wallis / Moods Median(Med A = Med B = Med C)NormalNon-Normal堆叠数据和等方堆叠数据和等方差检验差检验Levenes 检验检验 Ho: 2A= 2BBartlett 检验检验 (F-检验检验)Ho: 2A= 2B正态正态非正态非正态P-值值 (.05) 方差不同方差不同.SPC ChartI-MR描述统计和正态描述统计和正态检验检验Minitab关注事项关注事项3 水平的比较水平的比较稳定性检验稳定性检验(有可能有可能)研究形态研究形态研究散布研究

18、散布研究中心研究中心有无证据证明某些数据不是来自同一个总体有无证据证明某些数据不是来自同一个总体或工程或工程?数据服从正态分布吗数据服从正态分布吗?P-值值 (.05)的数据不具有正态性的数据不具有正态性注意这受样本数量影响显著注意这受样本数量影响显著.非参数统计非参数统计-32北京扬智嘉信管理技术有限公司版权所有q 其他测试不要忘了适用于下列假设其他测试不要忘了适用于下列假设. - 异方差异方差 - 数据非正态分布数据非正态分布q 对中位数的检验对中位数的检验 - Moods 中位数测试中位数测试 对多重分布中位数同质性的检验对多重分布中位数同质性的检验 假设各分布有相同的形态假设各分布有相

19、同的形态 对多分布比对多分布比 Kruskal-Wallis强健程度要小强健程度要小 - Kruskal-Wallis 中位数测试中位数测试 这是跟这是跟Moods Median 检验检验相同的基本假设相同的基本假设 但对多分布强健而对异常点强健程度要小但对多分布强健而对异常点强健程度要小非参数统计非参数统计-33北京扬智嘉信管理技术有限公司版权所有 假设设定假设设定 H0: the population medians are all equal H1: the medians are not all equal 检验顺序检验顺序 (1) 结合结合 K 个样本从小的开始赋予优先次序个样本从小

20、的开始赋予优先次序 (2) 求各样本的顺序和求各样本的顺序和 (3) 求检验统计量求检验统计量 H (n = n1+n2+n3+n4+ - - - + nk) (4) 拒绝域拒绝域 : Hn nRnniiik1213121()()H 2,磊蜡档= K -1自由度非参数统计非参数统计-34北京扬智嘉信管理技术有限公司版权所有Ho:Median Bob = Median Jane = Median WaltHa:Median Bob = Median Jane = Median Walt非参数统计非参数统计-35北京扬智嘉信管理技术有限公司版权所有Kruskal-Wallis 检验检验: Stac

21、k 与与 Group 在在 Stack 上的上的 Kruskal-Wallis 检验检验Group N 中位数中位数 平均秩平均秩 Z1 30 25.07 26.6 -4.842 30 25.50 39.3 -1.603 30 27.16 70.6 6.45整体整体 90 45.5H = 45.05 DF = 2 P = 0.000我们怎样判定我们怎样判定 ?非参数统计非参数统计-36北京扬智嘉信管理技术有限公司版权所有Ho:Median Bob = Median Jane = Median WaltHa:Median Bob = Median Jane = Median Walt非参数统计非

22、参数统计-37北京扬智嘉信管理技术有限公司版权所有Mood 中位数检验中位数检验: Stack 与与 Group Stack 的的 Mood 中位数检验中位数检验卡方卡方 = 31.20 DF = 2 P = 0.000 单组单组 95.0% 置信区间置信区间Group N 中位数中位数 Q3-Q1 -+-+-+-1 24 6 25.07 1.39 (-*-)2 18 12 25.50 1.38 (-*-)3 3 27 27.16 1.31 (-*-) -+-+-+- 25.0 26.0 27.0整体中位数整体中位数 = 25.82我们怎样判定我们怎样判定 ?非参数统计非参数统计-38北京扬智

23、嘉信管理技术有限公司版权所有假设检验假设检验Contingency TableBartletts 检验检验Chi-SquaredOne Way方差分析方差分析单样本单样本 TOr单样本单样本 Z2 样本样本 T(Equal Var.)2 样本样本 T(Unequal Var.)Levenes 检验检验Ho: Data is Normal, Ha: Data is NOT NormalMinitab : StatBasic StatNormality 检验Ho: 1 = 2 = 3 = Ha: at least is differentMinitab: Stat方差分析检验 for Equal

24、Variance For only two s, this is same as F-检验 F=(S1)2/(S2)2 If F calcF table, reject null.Ho: 1 = targetHa: 1 targetMinitab:StatBasic StatisticsDisplay Desc. find x-barCalcRandom DataNormal w/ x-bar and target Stack data w/ subscriptStat方差分析检验 for Equal VarianceHo: 1 = 2Ha: 1 2Minitab:StatBasic Statistics2 样本 t check Assume Equal sHo: 1 = 2 = 3 = Ha: at least one is differentMinitab:Stat方差分析One-way6Ho: M1 = M targetHa: M1 M targetMinitab:StatNonparametric单样本-Sign(OR)StatNonparametric单样本-Wilc