数理统计CH假设检验.ppt

2019/6/22,王玉顺：数理统计05_假设检验,1,第五章 假设检验 Hypothesis Testing (Significance Test),假设检验是数理统计学中最重要的问题之一，与参数估计并称为数理统计学的两类基本问题。,2019/6/22,王玉顺：数理统计05_假设检验,2,本章内容,5 假设检验,5.1 假设检验原理 5.2 正态总体均值Z检验 5.3 正态总体均值t 检验 5.4 正态总体方差2 检验 5.5 正态总体均值差t 检验 5.6 正态总体方差比F检验 5.7 分布拟合2检验,2019/6/22,王玉顺：数理统计05_假设检验,3,本章重点,5 假设检验,正态总体均值t 检验 正态总体方差2 检验 正态总体均值差t 检验 正态总体方差比F检验 分布拟合2检验,2019/6/22,王玉顺：数理统计05_假设检验,4,5.7 分布拟合2检验 Chi-square test on goodness of fit,5 假设检验,2019/6/22,王玉顺：数理统计05_假设检验,5,本章内容,5.7.1 分布拟合检验原理 5.7.2 离散样本分布拟合检验 5.7.3 连续样本分布拟合检验,5.7 分布拟合2检验,2019/6/22,王玉顺：数理统计05_假设检验,6,什么是分布拟合检验？,若不知道总体X服从什么分布，可从总体X中抽取一个样本x1,x2,xn，做样本的频数统计，根据直观印象或经验假定X服从某种已知分布，再由样本提供的信息对这一假设进行检验，称作分布拟合检验，或称拟合优度检验(significance testing on goodness of fit)或适合性检验。,5.7 分布拟合2检验,2019/6/22,王玉顺：数理统计05_假设检验,7,5.7.1 分布拟合检验原理 Chi-square test mechanism,5.7 分布拟合2检验,2019/6/22,王玉顺：数理统计05_假设检验,8,(1)关于分布的统计假设,5.7.1 分布拟合检验原理,对总体X概率分布的推测可归结为下面的统计假设：,F0(x)和f0(x)称作拟合函数,问题：总体X的概率分布未知，其分布函数记作F(x)，概率密度记作f(x)。若假定总体X服从某已知的概率分布F0(x)及f0(x)，试由样本x1,x2,xn提供的信息对此假设作出检验,2019/6/22,王玉顺：数理统计05_假设检验,9,(2)KPearson定理,组观测频数nj 组期望频数npj 组概率pj 组序号j 组数m 样本容量n,5.7.1 分布拟合检验原理,1900年，K Pearson提出了一个检验分布假设的统计量，用于描述假定的分布函数F0(x)拟合样本的优度，即下面的2统计量：,2019/6/22,王玉顺：数理统计05_假设检验,10,(2)KPearson定理,H0:f(x)=f0(x) H1:f(x)f0(x),拟合总误差的量度,5.7.1 分布拟合检验原理,2019/6/22,王玉顺：数理统计05_假设检验,11,Pearson定理：零假设H0下，不论总体X服从什么分布，Pearson 2统计量在n趋于无限大时服从自由度m-r-1的2分布。 根据大数定律，只要n充分大(50)，就可利用自由度m-r-1的Pearson 2统计量检验用F0(x)或f0(x)拟合样本分布的优度。其中，m为样本频数分布的分组数，r为确定F0(x)或f0(x)所需估计的参数个数，n为样本容量。,H0:f(x)=f0(x) H1:f(x)f0(x),(2)KPearson定理,5.7.1 分布拟合检验原理,2019/6/22,王玉顺：数理统计05_假设检验,12,统计假设中指定的已知函数F0(x)或f0(x)称作拟合函数(fit function)； 进行分布拟合检验，首先要确定拟合函数F0(x)或f0(x)，即它的分布类型和分布参数； 对样本进行频数统计，根据对频数分布柱形图或直方图的直观印象、或以往经验、或类似问题的研究结论，先确定拟合函数F0(x)或f0(x)的分布类型，再用样本数据估计拟合函数F0(x)或f0(x)中的参数。,(3)确定拟合函数,H0:f(x)=f0(x) H1:f(x)f0(x),5.7.1 分布拟合检验原理,2019/6/22,王玉顺：数理统计05_假设检验,13,(4)组概率的计算,连续变量样本 组概率计算,H0:f(x)=f0(x) H1:f(x)f0(x),5.7.1 分布拟合检验原理,2019/6/22,王玉顺：数理统计05_假设检验,14,(4)组概率的计算,离散变量样本 组概率计算,H0:f(x)=f0(x) H1:f(x)f0(x),5.7.1 分布拟合检验原理,2019/6/22,王玉顺：数理统计05_假设检验,15,(5)KPearson 2统计量的计算,KPearson 2统计量的算法公式(数据处理),5.7.1 分布拟合检验原理,2019/6/22,王玉顺：数理统计05_假设检验,16,f(x)偏离f0(x)愈大，表征拟合总偏差的Pearson 2统计量的值就愈大，当值大到显著不合理的程度(p)，就否定f(x)=f0(x)的假设，故采用如下所示的右方2检验：,H0:f(x)=f0(x) H1:f(x)f0(x),(6)2分布拟合检验,p否定H0 p接受H0,5.7.1 分布拟合检验原理,2019/6/22,王玉顺：数理统计05_假设检验,17,(6)2分布拟合检验,决策规则 p否定H0 p接受H0,H0:f(x)=f0(x) H1:f(x)f0(x),右侧2检验,5.7.1 分布拟合检验原理,2019/6/22,王玉顺：数理统计05_假设检验,18,(6)2分布拟合检验,H0:f(x)=f0(x) H1:f(x)f0(x),Pearson 2统计量的值在拒绝域内就拒绝H0,右侧2检验,5.7.1 分布拟合检验原理,2019/6/22,王玉顺：数理统计05_假设检验,19,5.7.2 离散样本分布拟合检验 Chi-square test based discrete samples,5.7 分布拟合2检验,2019/6/22,王玉顺：数理统计05_假设检验,20,问题：一枚骰子掷60次，观测到的骰子点数分布如下表，试检验这枚骰子是否公正,(1)案例资料,5.7.2 离散样本分布拟合检验,2019/6/22,王玉顺：数理统计05_假设检验,21,步骤1：确定H0下的拟合函数pj,步骤2：将问题表述为下面的统计假设,H0：pj=1/6，j=1,2,3,4,5,6 H1：pj不全相等,检验步骤,5.7.2 离散样本分布拟合检验,(2)问题的右侧2检验,期望频数,2019/6/22,王玉顺：数理统计05_假设检验,22,步骤3：计算H0下2统计量的观察值,5.7.2 离散样本分布拟合检验,(2)问题的右侧2检验,2019/6/22,王玉顺：数理统计05_假设检验,23,H0:pj=1/6,j=1,2,6 H1:pj不全相等,观察拟合优度,5.7.2 离散样本分布拟合检验,(2)问题的右侧2检验,2019/6/22,王玉顺：数理统计05_假设检验,24,步骤4：计算零假设H0下发生抽样观测事件的概率p,步骤5：决策，p=0.01130.05否定H0，0.05水平上认定这枚骰子有缺限，不公正。,5.7.2 离散样本分布拟合检验,(2)问题的右侧2检验,2019/6/22,王玉顺：数理统计05_假设检验,25,H0:pj=1/6，j=16 H1:pj不全相等,因p值0.0113小于0.05，故否定H0， 0.05水平上认定骰子有缺限不公正,步骤5：做出决策,5.7.2 离散样本分布拟合检验,(2)问题的右侧2检验,2019/6/22,王玉顺：数理统计05_假设检验,26,H0:pj=1/6，j=16 H1:pj不全相等,因2值14.8在拒绝域内，故0.05水平上否定H0，认定骰子有缺限不公正,步骤5：,5.7.2 离散样本分布拟合检验,(2)问题的右侧2检验,2019/6/22,王玉顺：数理统计05_假设检验,27,5.7.3 连续样本分布拟合检验 Chi-square test based continuous samples,5.7 分布拟合2检验,2019/6/22,王玉顺：数理统计05_假设检验,28,问题：为搞清产品的重量(kg)分布，某企业质检部门抽样检测了将要出厂的49台电冰箱的重量，试依据样本检验电冰箱的重量是否服从正态分布。样本数据、格式化分组及频率分布等详见后续的表格。,问题分析：检验电冰箱重量是否为正态分布，可归结为检验样本频率分布与正态概率密度的拟合优度(逼近程度的显著性)。,(1)案例资料,5.7.3 连续样本分布拟合检验,2019/6/22,王玉顺：数理统计05_假设检验,29,61.5 49.0 47.1 59.0 51.2 42.2 53.7 55.6 45.2 48.6 50.7 54.1 40.3 57.1 61.6 51.6 50.1 54.1 38.8 47.1 55.3 60.7 50.7 42.8 50.8 43.6 50.0 53.1 51.7 49.8 52.6 45.8 42.5 46.7 55.9 47.0 51.7 51.1 61.0 46.0 48.3 43.8 46.7 55.5 47.9 43.9 52.6 51.5 63.0,电冰箱重量检测样本(参见实验1),5.7.3 连续样本分布拟合检验,(1)案例资料,2019/6/22,王玉顺：数理统计05_假设检验,30,(2)问题的右侧2检验,电冰箱重量的频数频率分布表,步骤1：样本的数据分组和频数分布统计,5.7.3 连续样本分布拟合检验,2019/6/22,王玉顺：数理统计05_假设检验,31,步骤2：将问题表述为下面的统计假设,H0:总体X是正态分布 H1:总体X是非正态分布,或,5.7.3 连续样本分布拟合检验,(2)问题的右侧2检验,2019/6/22,王玉顺：数理统计05_假设检验,32,步骤3：确定H0下拟合函数F0(x)的表达式,5.7.3 连续样本分布拟合检验,(2)问题的右侧2检验,2019/6/22,王玉顺：数理统计05_假设检验,33,步骤3：确定H0下拟合函数F0(x)的表达式,用极大似然估计或无偏估计确定参数和2,步骤4：计算H0下样本分组的组概率pj,5.7.3 连续样本分布拟合检验,(2)问题的右侧2检验,2019/6/22,王玉顺：数理统计05_假设检验,34,电冰箱重量频数分布表和组概率计算,步骤4：计算H0下样本分组的组概率pj,5.7.3 连续样本分布拟合检验,(2)问题的右侧2检验,2019/6/22,王玉顺：数理统计05_假设检验,35,步骤5：计算H0下Pearson 2统计量的观察值,5.7.3 连续样本分布拟合检验,(2)问题的右侧2检验,2019/6/22,王玉顺：数理统计05_假设检验,36,步骤6：计算零假设H0下发生抽样观测事件的概率p,5.7.3 连续样本分布拟合检验,(2)问题的右侧2检验,2019/6/22,王玉顺：数理统计05_假设检验,37,p值愈大就拟合的愈好，或拟合优度愈高,5.7.3 连续样本分布拟合检验,(2)问题的右侧2检验,2019/6/22,王玉顺：数理统计05_假设检验,38,因p值0.8114大于0.05，故0.05水平上不能否定H0，认定电冰箱重量服从正态分布,步骤7：做出决策,5.7.3 连续样本分布拟合检验,(2)问题的右侧2检验,2019/6/22,王玉顺：数理统计05_假设检验,39,步骤7：做出决策,因2统计量值1.5852不在拒绝域内，故0.05水平上不能否定H0，认定电冰箱重量服从正态分布,5.7.3 连续样本分布拟合检验,(2)问题的右侧2检验,2019/6/22,王玉顺：数理统计05_假设检验,40,电冰箱的制造重量服从正态分布符合一般常识。但如果存在下述问题，也可能做出否定H0的结论：(1)电冰箱组件加工重量不稳定，波动较大；(2)重量检测过程中存在较大的人为误差和仪器误差；(3)存在异常数据记录或错误记录；(4)电冰箱重量本身分散性较大，样本容量较小，统计量计算又有缺限，检验不出服从何分布，存在所谓的被误差淹没的问题。,(3)进一步的讨论,5.7.3 连续样本分布拟合检验,2019/6/22,王玉顺：数理统计05_假设检验,41,5.7.4 注意事项 Notices,5.7 分布拟合2检验,2019/6/22,王玉顺：数理统计05_假设检验,42,2统计量自由度的计算公式为df=m-r-1，其中m是分组数，r是确定拟合函数时需要估计的分布参数的个数。若没有用样本数据估计分布参数，则r=0,5.7.4 注意事项,(1)自由度df的计算,2019/6/22,王玉顺：数理统计05_假设检验,43,因为Pearson 2统计量是近似服从自由度为m-r-1的2分布，故样本容量n不能选的太小，样本容量n愈大则所计算的p值愈精确，决策结论愈可靠。,5.7.4 注意事项,(2)样本容量n的选择,2019/6/22,王玉顺：数理统计05_假设检验,44,样本分组有相当大的任意性，它对检验结果有很大影响。 若分组数过小或组区间分割过宽，局部统计结果就会太粗，呈现的分布特征较弱，不利于鉴别频数分布与假设分布的差别； 若分组数过大或组区间分割过窄，组频数的统计结果就会不稳定，未能充分呈现频数分布的统计特征。,(3)样本的合理分组,5.7.4 注意事项,2019/6/22,王玉顺：数理统计05_假设检验,45,若分组合理情况下仍存在概率过小的组，则该组的期望频数也小，从而使该组的频率偏差nj/n-pj在Pearson 2统计量中的权数n/pj反而很大，导致该局部的统计量值过分大，它对Pearson 2统计量总值的影响份额与它自身的重要性不相称； 需按npj5规则合并相邻组区间，并重新计算抽样观测事件的概率，以使检验更可靠。,(4)期望频数过小问题,5.7.4 注意事项,2019/6/22,王玉顺：数理统计05_假设检验,46,电冰箱重量频数分布表和组概率计算,按npj5规则合并相邻组区间重算统计量值,5.7.4 注意事项,(5)样本并组后的分布拟合检验,2019/6/22,王玉顺：数理统计05_假设检验,47,电冰箱重量频数分布表和组概率计算,5.7.4 注意事项,按npj5规则合并相邻组区间重算统计量值,(5)样本并组后的分布拟合检验,2019/6/22,王玉顺：数理统计05_假设检验,48,电冰箱重量频数分布表和组概率计算,5.7.4 注意事项,按npj5规则合并相邻组区间重算统计量值,(5)样本并组后的分布拟合检验,2019/6/22,王玉顺：数理统计05_假设检验,49,计算H0下Pearson 2统计量的观察值,5.7.4 注意事项,(5)样本并组后的分布拟合检验,2019/6/22,王玉顺：数理统计05_假设检验,50,计算零假设H0下发生抽样观测事件的概率p,5.7.4 注意事项,(5)样本并组后的分布拟合检验,2019/6/22,王玉顺：数理统计05_假设检验,51,确定H0下右方2检验的拒绝域,5.7.4 注意事项,(5)样本并组后的分布拟合检验,2019/6/22,王玉顺：数理统计05_假设检验,52,决策和结论,因2统计量的观察值0.588975.991不在拒绝域内，故0.05水平上不能否定H0，认定电冰箱重量服从正态分布。,因p值0.7449大于0.05，故0.05水平上不能否定H0，认定电冰箱重量服从正态分布。,5.7.4 注意事项,(5)样本并组后的分布拟合检验,2019/6/22,王玉顺：数理统计05_假设检验,53,本章小结 summary,5 假设检验,2019/6/22,王玉顺：数理统计05_假设检验,54,5 假设检验,(1)均值Z检验,适用于检验 方差已知单正态总体的均值假设,2019/6/22,王玉顺：数理统计05_假设检验,55,p否定H0 p接受H0,决策规则,5 假设检验,(1)均值Z检验,2019/6/22,王玉顺：数理统计05_假设检验,56,5 假设检验,(1)均值Z检验,2019/6/22,王玉顺：数理统计05_假设检验,57,5 假设检验,(2)均值差Z检验,适用于检验 方差已知两正态总体均值差假设,2019/6/22,王玉顺：数理统计05_假设检验,58,p否定H0 p接受H0,决策规则,(2)均值差Z检验,5 假设检验,2019/6/22,王玉顺：数理统计05_假设检验,59,5 假设检验,(2)均值差Z检验,2019/6/22,王玉顺：数理统计05_假设检验,60,5 假设检验,(3)均值t检验,适用于检验 方差未知单正态总体的均值假设,2019/6/22,王玉顺：数理统计05_假设检验,61,(3)均值t检验,p否定H0 p接受H0,决策规则,5 假设检验,2019/6/22,王玉顺：数理统计05_假设检验,62,(3)均值t检验,5 假设检验,2019/6/22,王玉顺：数理统计