独立性检验的基本思想及其初步应用

1、独立性检验的基本思想独立性检验的基本思想及其初步应用及其初步应用定量变量定量变量的取值一定是实数，它们的取值大小有特定的取值一定是实数，它们的取值大小有特定的含义，不同取值之间的运算也有特定的含义的含义，不同取值之间的运算也有特定的含义. .如身高、体重、考试成绩、温度等等如身高、体重、考试成绩、温度等等.变量变量定量变量定量变量分类变量分类变量例如身高、体重、考试成绩等，张明的身高是例如身高、体重、考试成绩等，张明的身高是180cm180cm，李立的身高是李立的身高是175cm175cm，说明张明比李立高，说明张明比李立高180-175=5180-175=5（cmcm）. .两个定量变量的相

2、关关系分析：回归分析（画散点图、两个定量变量的相关关系分析：回归分析（画散点图、相关系数相关系数r、相关指数、相关指数R2、残差分析）、残差分析）对于性别变量，其取值为男和女两种，这种变量的不对于性别变量，其取值为男和女两种，这种变量的不同同“值值”表示个体所属的不同类别，像这样的变量称表示个体所属的不同类别，像这样的变量称为为分类变量分类变量. .在日常生活中，主要考虑在日常生活中，主要考虑分类变量之间是否有关系分类变量之间是否有关系：如是否吸烟、宗教信仰、是否患肺癌、国籍等等如是否吸烟、宗教信仰、是否患肺癌、国籍等等. .例如，吸烟是否与患肺癌有关系？例如，吸烟是否与患肺癌有关系？ 性别是

3、否对于喜欢数学课程有影响？等等性别是否对于喜欢数学课程有影响？等等. .分类变量也称为属性变量或定性变量，它们的取值一分类变量也称为属性变量或定性变量，它们的取值一定是离散的，而且不同的取值仅表示个体所属的类别，定是离散的，而且不同的取值仅表示个体所属的类别，如性别变量，只取男、女两个值，商品的等级变量只如性别变量，只取男、女两个值，商品的等级变量只取一级、二级、三级等等取一级、二级、三级等等. .有时也可以把分类变量的不同取值用数字来表示，但有时也可以把分类变量的不同取值用数字来表示，但这时的数字除了分类以外没有其他的含义，这时的数字除了分类以外没有其他的含义，例如用例如用0 0表示表示“男

4、男”，1 1表示表示“女女”，性别变量就变成，性别变量就变成取值为取值为0 0和和1 1的随机变量，但是这些数字没有其他的含的随机变量，但是这些数字没有其他的含义义. .此时比较性别变量的两个不同值之间的大小没有意义，此时比较性别变量的两个不同值之间的大小没有意义，性别变量的均值和方差也没有意义性别变量的均值和方差也没有意义. .两个分类变量的相关关系的分析：通过图形直观判两个分类变量的相关关系的分析：通过图形直观判断两个分类变量是否相关；独立性检验断两个分类变量是否相关；独立性检验.由列联表可以粗略估计出，在不吸烟者中，有由列联表可以粗略估计出，在不吸烟者中，有0.54%0.54%患患有肺癌

5、；在吸烟者中，有有肺癌；在吸烟者中，有2.28%2.28%患有肺癌。因此，直观患有肺癌。因此，直观上可以得到结论：上可以得到结论：吸烟者和不吸烟者患肺癌的可能性吸烟者和不吸烟者患肺癌的可能性存在差异存在差异. .与表格相比，三维柱形图和二维条形图能更直观地反与表格相比，三维柱形图和二维条形图能更直观地反映出相关数据的总体状况映出相关数据的总体状况. .为调查吸烟是否对患肺癌有影响，某肿瘤研究所随机为调查吸烟是否对患肺癌有影响，某肿瘤研究所随机地调查了地调查了9965人，得到如下结果（单位：人）：人，得到如下结果（单位：人）：吸烟与患肺癌吸烟与患肺癌列联表列联表（列出两个分类变量的频数表）：（列

6、出两个分类变量的频数表）：1 1、列联表、列联表2 2、三维柱形图、三维柱形图3 3、二维条形图、二维条形图不患肺癌患肺癌吸烟不吸烟不患肺癌患肺癌吸烟不吸烟080007000600050004000300020001000从三维柱形图能清晰看出各从三维柱形图能清晰看出各个频数的相对大小个频数的相对大小. .从二维条形图能看出，吸烟者中从二维条形图能看出，吸烟者中患肺癌的比例高于不患肺癌的比例患肺癌的比例高于不患肺癌的比例. .不吸烟吸烟00.10.20.30.40.50.60.70.80.91不吸烟不吸烟吸烟吸烟患肺癌比例不患肺癌比例4 4、等高条形图、等高条形图等高条形图更清晰地表达了两种情

7、况下患肺癌的比例等高条形图更清晰地表达了两种情况下患肺癌的比例.上面我们通过分析数据和图形，得到的直观印象是吸上面我们通过分析数据和图形，得到的直观印象是吸烟和患肺癌有关，那么事实是否真的如此呢？这需要烟和患肺癌有关，那么事实是否真的如此呢？这需要用统计观点来考察这个问题用统计观点来考察这个问题. .现在想要知道能够以多大的把握认为现在想要知道能够以多大的把握认为“吸烟与患肺癌吸烟与患肺癌有关有关”，为此先假设：，为此先假设：H H0 0：吸烟与患肺癌没有关系：吸烟与患肺癌没有关系把数字用字母代替，得到如下用字母表示的列联表：把数字用字母代替，得到如下用字母表示的列联表：()()0aca cd

8、c abadbcabcd 吸烟与患肺癌的列联表：吸烟与患肺癌的列联表：如果如果“吸烟与患肺癌没有关系吸烟与患肺癌没有关系”，则在吸烟者中不患，则在吸烟者中不患肺癌的比例应该与不吸烟者中相应的比例应差不多，肺癌的比例应该与不吸烟者中相应的比例应差不多，即即|ad-bc|ad-bc|越小，说明吸烟与患肺癌之间关系越弱；越小，说明吸烟与患肺癌之间关系越弱；|ad-bc|ad-bc|越大，说明吸烟与患肺癌之间关系越强越大，说明吸烟与患肺癌之间关系越强. .以以A表示不吸烟，表示不吸烟，B表示不患肺癌，则表示不患肺癌，则a表示事件表示事件AB发生的频数；发生的频数；a+b和和a+c恰好分别为事件恰好分别

9、为事件A和和B发生的发生的频数频数.为了使不同样本容量的数据有统一的评判标准，基于为了使不同样本容量的数据有统一的评判标准，基于上述分析，我们构造一个随机变量上述分析，我们构造一个随机变量 若若H H0 0成立，即成立，即“吸烟与患肺癌没有关系吸烟与患肺癌没有关系”，则，则K K2 2应很小应很小. .由列联表中数据，利用公式（由列联表中数据，利用公式（1 1）计算得）计算得K K2 2的观测值为：的观测值为：22()()()()()n adbcKab cdac bd （1 1）29965(7775 49422099)56.632.78172148 9874 91k 其中其中n=a+b+c+d

10、为样本容量为样本容量.1)1)如果如果P(P(m10.828)= 0.00110.828)= 0.001表示有表示有99.9%99.9%的把握认为的把握认为”X X与与Y”Y”有关有关系系; ;2)2)如果如果P(m7.879)= 0.005P(m7.879)= 0.005表示有表示有99.5%99.5%的把握认为的把握认为”X X与与Y”Y”有关系有关系; ;3)3)如果如果P(m6.635)= 0.01P(m6.635)= 0.01表示有表示有99%99%的把握认为的把握认为”X X与与Y”Y”有关系有关系; ;4)4)如果如果P(m5.024)= 0.025P(m5.024)= 0.02

11、5表示有表示有97.5%97.5%的把握认为的把握认为”X X与与Y”Y”有关系有关系; ;5)5)如果如果P(m3.841)= 0.05P(m3.841)= 0.05表示有表示有95%95%的把握认为的把握认为”X X与与Y”Y”有关系有关系; ;6)6)如果如果P(m2.706)= 0.010P(m2.706)= 0.010表示有表示有90%90%的把握认为的把握认为”X X与与Y”Y”有关系有关系; ;7)7)如果如果m m2.706),2.706),就认为没有充分的证据显示就认为没有充分的证据显示”X X与与Y”Y”有关系有关系; ;设有两个分类变量设有两个分类变量X X和和Y Y它们

12、的值域分别为它们的值域分别为xx1 1,x,x2 2 和和yy1 1,y,y2 2 其样本频数列表其样本频数列表( (称为称为2 22 2列联表列联表) ) 为为22()()()()n ad bcKa b c d a c b d（）2 2P(k m)P(k m)适用观测数据适用观测数据a a、b b、c c、d d不小于不小于5 5在在H0成立的情况下，统计学家估算出如下的概率：成立的情况下，统计学家估算出如下的概率：2(6.635)0.01P K 也就是说，在也就是说，在H H0 0成立的情况下，对随机变量成立的情况下，对随机变量K K2 2进行多次观进行多次观测，观测值超过测，观测值超过6

13、.6356.635的频率约为的频率约为0.010.01，是一个小概率事，是一个小概率事件件. .现在现在K K2 2的观测值的观测值 ，远远大于，远远大于6.6356.635，所以，所以有理由断定有理由断定H H0 0不成立，即认为不成立，即认为“吸烟与患肺癌有关系吸烟与患肺癌有关系” ” 56.632k 但这种判断会犯错误，犯错误的概率不会超过但这种判断会犯错误，犯错误的概率不会超过0.01，即，即我们有我们有99的把握认为的把握认为“吸烟与患肺癌有关系吸烟与患肺癌有关系”.利用随机变量利用随机变量K K2 2来确定在多大程度上可以认为来确定在多大程度上可以认为“两个两个分类变量有关系分类变

14、量有关系”的方法称为两个分类变量的独立性的方法称为两个分类变量的独立性检验检验. .独立性检验：独立性检验：如果如果 ，就判断，就判断H0不成立；否则就判断不成立；否则就判断H0成立成立.6.635k (6.635)0.01P k 1、列联表2、三维柱形图3、二维条形图不患肺癌患肺癌吸烟不吸烟不患肺癌患肺癌吸烟不吸烟080007000600050004000300020001000从三维柱形图能清晰看出从三维柱形图能清晰看出各个频数的相对大小。各个频数的相对大小。从二维条形图能看出，吸烟者中从二维条形图能看出，吸烟者中患肺癌的比例高于不患肺癌的比例。患肺癌的比例高于不患肺癌的比例。通过图形直观

15、判断两个分类变量是否相关：通过图形直观判断两个分类变量是否相关：不吸烟吸烟00.10.20.30.40.50.60.70.80.91不吸烟不吸烟吸烟吸烟患肺癌比例不患肺癌比例4、等高条形图等高条形图更清晰地表达了两种情况下患肺癌的比例。随机变量随机变量-卡方统计量卡方统计量22(),()()()()其中为样本容量。n adbcKab cdac bdnabcd 5、独立性检验独立性检验0k0)k2P(K临界值表临界值表828.102K635. 62K706. 22K22.706K 0.1%0.1%把握认为把握认为A A与与B B无关无关1%1%把握认为把握认为A A与与B B无关无关99.9%9

16、9.9%把握认把握认A A与与B B有关有关99%99%把握认为把握认为A A与与B B有关有关90%90%把握认为把握认为A A与与B B有关有关10%10%把握认为把握认为A A与与B B无关无关没有充分的依据显示没有充分的依据显示A A与与B B有关，但也不能显示有关，但也不能显示A A与与B B无关无关第一步：第一步：H H0 0： 吸烟吸烟和和患病患病之间没有关系之间没有关系 第二步：列出第二步：列出2 22 2列联表列联表 6、独立性检验的步骤、独立性检验的步骤第三步：计算第三步：计算第四步：查对临界值表，作出判断。第四步：查对临界值表，作出判断。)()()()(22dcbadbc

17、abcadnK一般地，假设有两个分类变量一般地，假设有两个分类变量X X和和Y Y，它们的可能取值，它们的可能取值分别为分别为xx1 1,x,x2 2 和和yy1 1,y,y2 2,其样本频数列联表（称为其样本频数列联表（称为2x22x2列联表）为：列联表）为：反证法原理与假设检验原理反证法原理： 在一个已知假设下，如果推出一个矛盾，就证明了这个假设不成立。假设检验原理：在一个已知假设下，如果一个与该假设矛盾的小概率事件发生，就推断这个假设不成立。独立性检验的基本思想：独立性检验的基本思想：类似于数学上的反证法，对类似于数学上的反证法，对“两个分类变量有关系两个分类变量有关系”这一结论成立的可

18、信程度的判断：这一结论成立的可信程度的判断：（1 1）假设该结论不成立，即假设结论）假设该结论不成立，即假设结论“两个分类变量两个分类变量没有关系没有关系”成立成立. .（2 2）在假设条件下，计算构造的随机变量）在假设条件下，计算构造的随机变量K K2 2，如果有，如果有观测数据计算得到的观测数据计算得到的K K2 2很大，则在一定程度上说明假很大，则在一定程度上说明假设不合理设不合理. .（3 3）根据随机变量）根据随机变量K K2 2的含义，可以通过（的含义，可以通过（2 2）式评价假）式评价假设不合理的程度，由实际计算出的设不合理的程度，由实际计算出的k6.635k6.635，说明假设

19、，说明假设不合理的程度约为不合理的程度约为99%99%，即，即“两个分类有关系两个分类有关系”这一结这一结论成立的可信程度约为论成立的可信程度约为99%.99%.若要判断结论为：若要判断结论为：H H1 1：“X X与与Y Y有关系有关系”，可按如下步，可按如下步骤判断骤判断H H1 1成立的可能性：成立的可能性：1.通过三维柱形图和二维条形图，可以初略地判断两个通过三维柱形图和二维条形图，可以初略地判断两个分类变量是否有关系，但是这种判断无法精确地给出所分类变量是否有关系，但是这种判断无法精确地给出所得结论的可靠程度得结论的可靠程度.(i)在三维柱形图中，主对角线上两个柱形高度的乘积在三维柱

20、形图中，主对角线上两个柱形高度的乘积ad与副对角线上的两个柱形高度的乘积与副对角线上的两个柱形高度的乘积bc相差越大，相差越大，H1成立的可能性就越大成立的可能性就越大.(ii)在二维条形图中，可以估计满足条件在二维条形图中，可以估计满足条件X=x1的个体中的个体中具有具有Y=y1的个体所占的比例的个体所占的比例 ，也可以估计满足条，也可以估计满足条件件X=x2的个体中具有的个体中具有Y=y1的个体所占的比例的个体所占的比例 ，两，两个比例的值相差越大，个比例的值相差越大，H1成立的可能性就越大成立的可能性就越大.aab ccd 利用独立性检验来考察两个分类变量是否有关系，能利用独立性检验来考

21、察两个分类变量是否有关系，能较精确地给出这种判断的可靠程度较精确地给出这种判断的可靠程度. .具体作法是：具体作法是：（1 1）根据实际问题需要的可信程度确定临界值）根据实际问题需要的可信程度确定临界值k k0 0；（2）由观测数据计算得到随机变量）由观测数据计算得到随机变量K2的观测值的观测值k；（3）如果）如果k6.635，就以（，就以（1-P(K26.635)）100%的把握认为的把握认为“X与与Y有关系有关系”；否则就说样本观测数据；否则就说样本观测数据没有提供没有提供“X与与Y有关系有关系”的充分证据的充分证据.10.8287.8796.6355.0243.8412.7062.072

22、1.3230.7080.445 k0.0010.0050.0100.0250.050.100.150.50.400.502()P Kk（1 1）如果）如果k10.828k10.828，就有，就有99.9%99.9%的把握认为的把握认为“X X与与Y Y有关系有关系”；（2 2）如果）如果k7.879k7.879，就有，就有99.5%99.5%的把握认为的把握认为“X X与与Y Y有关系有关系”；（3 3）如果）如果k6.635k6.635，就有，就有99%99%的把握认为的把握认为“X X与与Y Y有关系有关系”；（4 4）如果）如果k5.024k5.024，就有，就有97.5%97.5%的把

23、握认为的把握认为“X X与与Y Y有关系有关系”；（5 5）如果）如果k3.841k3.841，就有，就有95%95%的把握认为的把握认为“X X与与Y Y有关系有关系”；（6 6）如果）如果k2.706k2.706，就有，就有90%90%的把握认为的把握认为“X X与与Y Y有关系有关系”；（7 7）如果）如果k=2.706k=2.706，就认为没有充分的证据显示，就认为没有充分的证据显示 “ “X X与与Y Y有关系有关系”. .例例1 在某医院，因为患心脏病而住院的在某医院，因为患心脏病而住院的665名男性病人中，有名男性病人中，有214人秃顶；而另外人秃顶；而另外772名不是因为患心脏

24、病而住院的男性病人中有名不是因为患心脏病而住院的男性病人中有175人秃顶。分别利用图形和独立性检验方法判断秃顶与患心脏人秃顶。分别利用图形和独立性检验方法判断秃顶与患心脏病是否有关系？你所得的结论在什么范围内有效？病是否有关系？你所得的结论在什么范围内有效？解：根据题目所给数据得到如下列联表：解：根据题目所给数据得到如下列联表： 相应的三维柱形图如图所相应的三维柱形图如图所示，比较来说，底面副对示，比较来说，底面副对角线上两个柱体高度的乘角线上两个柱体高度的乘积要大一些，因此可以在积要大一些，因此可以在某种程度上认为某种程度上认为“秃顶与秃顶与患心脏病有关患心脏病有关”。秃头不秃头例例1 在某

25、医院，因为患心脏病而住院的在某医院，因为患心脏病而住院的665名男性病人中，有名男性病人中，有214人秃顶；而另外人秃顶；而另外772名不是因为患心脏病而住院的男性病人中有名不是因为患心脏病而住院的男性病人中有175人秃顶。分别利用图形和独立性检验方法判断秃顶与患心脏人秃顶。分别利用图形和独立性检验方法判断秃顶与患心脏病是否有关系？你所得的结论在什么范围内有效？病是否有关系？你所得的结论在什么范围内有效？解：根据题目所给数据得到如下列联表：解：根据题目所给数据得到如下列联表： 根据联表根据联表1-13中的数据，得到中的数据，得到221437 (214 597 175 451)16.3736.6

26、35.389 1048 665 772K所以有所以有99%的把握认为的把握认为“秃顶患心脏病有关秃顶患心脏病有关”。例1.秃头与患心脏病 在解决实际问题时，可以直接计算K2的观测值k进行独立检验，而不必写出K2的推导过程 。 本例中的边框中的注解，主要是使得学生们注意统计结果的适用范围（这由样本的代表性所决定）。因为这组数因为这组数据来自住院据来自住院的病人，因的病人，因此所得到的此所得到的结论适合住结论适合住院的病人群院的病人群体体例例2 为考察高中生的性别与是否喜欢数学课程之间的关系，在为考察高中生的性别与是否喜欢数学课程之间的关系，在某城市的某校高中生中随机抽取某城市的某校高中生中随机抽

27、取300名学生，得到如下联表：名学生，得到如下联表：由表中数据计算由表中数据计算K2的观测值的观测值k 4.514。能够以。能够以95%的把握认为高的把握认为高中生的性别与是否喜欢数学课程之间有关系吗？请详细阐述得出中生的性别与是否喜欢数学课程之间有关系吗？请详细阐述得出结论的依据。结论的依据。解：可以有解：可以有95%以上的把握认为以上的把握认为“性别与喜欢数学课程之间有关系性别与喜欢数学课程之间有关系”。分别用分别用a,b,c,d表示样本中喜欢数学课的男生人数、不喜欢数学课的男生表示样本中喜欢数学课的男生人数、不喜欢数学课的男生人数、喜欢数学课的女生人数、不喜欢数学课的女生人数。人数、喜欢

28、数学课的女生人数、不喜欢数学课的女生人数。如果性别与是否喜欢数学课有关系，则男生中喜欢数学课的比例如果性别与是否喜欢数学课有关系，则男生中喜欢数学课的比例 与与女生中喜欢数学课的比例女生中喜欢数学课的比例 应该相差很多，即应该相差很多，即aabccd()()acadbcabcdab cd()()()()()abcdab cdac bd例例2 为考察高中生的性别与是否喜欢数学课程之间的关系，在为考察高中生的性别与是否喜欢数学课程之间的关系，在某城市的某校高中生中随机抽取某城市的某校高中生中随机抽取300名学生，得到如下联表：名学生，得到如下联表：由表中数据计算由表中数据计算K2的观测值的观测值k

29、 4.514。能够以。能够以95%的把握认为高的把握认为高中生的性别与是否喜欢数学课程之间有关系吗？请详细阐述得出中生的性别与是否喜欢数学课程之间有关系吗？请详细阐述得出结论的依据。结论的依据。()()()()()abcd ab cdac bd 22(),()()()()n adbcKab cdac bd因此，因此， 越大，越大， “性别与喜欢数学课程之间有关系性别与喜欢数学课程之间有关系”成立的可能性就越大。成立的可能性就越大。2K另一方面，在假设另一方面，在假设“性别与喜欢数学课程之间有关系性别与喜欢数学课程之间有关系”的前提下，事件的前提下，事件 的概率为的概率为23.841K 2(3.

30、841)0.05,P K 因此事件因此事件A是一个小概率事件。而由样本数据计算得是一个小概率事件。而由样本数据计算得 的观测值的观测值k=4.514,即即小概率事件小概率事件A发生。因此应该断定发生。因此应该断定“性别与喜欢数学课程之间有关系性别与喜欢数学课程之间有关系”成立，成立，并且这种判断结果出错的可能性约为并且这种判断结果出错的可能性约为5%。所以，约有。所以，约有95%的把握认为的把握认为“性性别与喜欢数学课程之间有关系别与喜欢数学课程之间有关系”。2K例例3.3.在在500500人身上试验某种血清预防感冒作用，把他们一年中的人身上试验某种血清预防感冒作用，把他们一年中的感冒记录与另

31、外感冒记录与另外500500名未用血清的人的感冒记录作比较，结果如名未用血清的人的感冒记录作比较，结果如表所示。表所示。试画出列联表的条形图，并通过图形判断这种血清能否起到预试画出列联表的条形图，并通过图形判断这种血清能否起到预防感冒的作用？并进行独立性检验。防感冒的作用？并进行独立性检验。解：设解：设H0：感冒与是否使用该血清没有关系。：感冒与是否使用该血清没有关系。075.7500500526474216242284258100022K因当因当H0成立时，成立时，K26.635的概率约为的概率约为0.01，故有，故有99%的把握认的把握认为该血清能起到预防感冒的作用。为该血清能起到预防感冒的作用。解：设解：设H0：药的效果与给药方式没有关系。：药的效果与给药方式没有关系。3896.19598711224064315819322K因当因当H0成立时，成立时，K21.3896的概率大于的概率大于15%，故不能否定假设，故不能否定假设H0，即不能作出药的效果与给药方式有关的结