分类数据分析课件_第1页
分类数据分析课件_第2页
分类数据分析课件_第3页
分类数据分析课件_第4页
分类数据分析课件_第5页
已阅读5页,还剩171页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

分类数据分析分类数据分析1(优选)分类数据分析(优选)分类数据分析概述

第七、八章介绍的估计和检验方法仅主要针对数值型变量。而列联分析是针对分类变量进行分析的方法。概述第七、八章介绍的估计和检验方法第9章分类数据分析9.1分类数据与c2统计量9.2拟合优度

检验9.3列联分析:独立性检验9.4列联表中的相关测量9.5列联分析中应注意的问题第9章分类数据分析9.1分类数据与c2统计量学习目标1. 解释列联表进行c2

检验拟合优度检验独立性检验3. 测度列联表中的相关性学习目标1. 解释列联表9.1

分类数据分类数据补充:列联表的构造

列联表的分布2统计量9.1分类数据分类数据分类数据分类变量的取值表现为类别例如:性别(男,女)各类别可用符号或数字代码来测度例如:性别(男用1表示,女用0表示)顺序数据也可以看作分类数据原料的质量等级:一等品、二等品、三等品数值型数据也可以转化为分类数据数学期末考试成绩是一个数值型数据,可以根据分数段将成绩为“优秀”、“良好”、“及格”和“不及格”几个类别对分类数据的描述和分析通常使用列联表分类数据分类变量的取值表现为类别列联表的构造列联表的构造列联表

(contingencytable)由两个以上的变量交叉分类的频数分布表行变量的类别用r

表示,ri

表示第i

个类别列变量的类别用c

表示,cj

表示第j

个类别每种组合的观察频数用fij

表示表中列出了行变量和列变量的所有可能的组合,所以称为列联表一个

R行C

列的列联表称为R

C

列联表列联表

(contingencytable)由两个以上的变列联表的结构

(22列联表)列(cj)合计j=1j=1i=1f11f12f11+f12i=2f21f22f21+f22合计f11+f21f12+f22n列(cj)行(ri)列联表的结构

(22列联表)列(cj)合计j=列联表的结构

(r

c

列联表的一般表示)列(cj)合计j=1j=2…i=1f11f12…r1i=2f21f22…r2:::::合计c1c2…n列(cj)行(ri)fij

表示第i

行第j

列的观察频数列联表的结构

(rc列联表的一般表示)列(cj)合计列联表

(例题分析)一分公司二分公司三分公司四分公司合计赞成该方案68755779279反对该方案32753331141合计10012090110420【例】一个集团公司在四个不同的地区设有分公司,现该集团公司欲进行一项改革,此项改革可能涉及到各分公司的利益,故采用抽样调查方式,从四个分公司共抽取420个样本单位(人),了解职工对此项改革的看法,调查结果如下表列联表

(例题分析)一分公司二分公司三分公司四分公司合计赞成列联表的分布列联表的分布观察值的分布边缘频数行边缘分布(频数)行观察值的合计数的分布例如,赞成改革方案的共有279人,反对改革方案的141人列边缘分布(频数)列观察值的合计数的分布例如,四个分公司接受调查的人数分别为100人,120人,90人,110人条件分布与条件频数表中每个具体的观察值都是变量X条件下变量Y

的频数,或在变量Y

条件下变量X

的频数,称为条件分布(频数)观察值的分布边缘频数观察值的分布

(图示)一分公司二分公司三分公司四分公司合计赞成该方案68755779279反对该方案32753331141合计10012090110420行边缘分布列边缘分布条件频数观察值的分布

(图示)一分公司二分公司三分公司四分公司合计赞百分比分布

(概念要点)条件频数反映了数据的分布,但不适合对比如二分公司赞成人数比一分公司多,并不表明二分公司比一分公司更赞成该方案,因为两公司调查人数不同。为在相同的基数上进行比较,可以计算相应的百分比,称为百分比分布行百分比:行的每一个观察频数除以相应的行合计数(fij

/ri)列百分比:列的每一个观察频数除以相应的列合计数(fij

/cj)总百分比:每一个观察值除以观察值的总个数(fij

/n)百分比分布

(概念要点)条件频数反映了数据的分布,但不适合对百分比分布

(图示)一分公司二分公司三分公司四分公司合计赞成该方案6875577966.4%24.4%26.9%20.4%28.3%68.0%62.5%63.3571.8%—16.2%17.8%13.6%18.8%—反对该方案3245333133.6%22.7%31.9%23.4%22.0%32.0%37.5%36.7%28.2%—7.6%10.7%7.9%7.4%—合计23.8%28.6%21.4%26.2%100%总百分比列百分比行百分比百分比分布

(图示)一分公司二分公司三分公司四分公司合计赞成列联分析是利用列联表来研究:()A.两个分类变量的关系B.两个数值型变量的关系C.一个分类变量和一个数值型变量的关系D.两个数值型变量的分布

以下列联表中,最右边一列称为:()A.列边缘频数;B.行边缘频数;C.条件频数;D.总频数练习(1)AB男学生女学生合计赞成454287反对10578183合计150120270列联分析是利用列联表来研究:()练习(3)对于学生宿舍上网收费的新措施,男女学生的抽样调查结果如下列联表所示,在男女生赞成的比例相同的前提下,男女生赞成该措施的期望频数分别为:()A.48和39B.102和81

C.15和14

D.25和19

A男学生女学生合计赞成454287反对10578183合计150120270(3)对于学生宿舍上网收费的新措施,男女学生的抽样调统计量统计量概述

2检验(Chi-squaretest)是现代统计学的创始人之一,英国人K.Pearson(1857-1936)于1900年提出的一种具有广泛用途的统计方法,因此又称为Pearson2检验。可用于两个或多个率或构成比间的比较,定性资料的关联度分析,拟合优度检验等等。

概述2检验(Chi-squar

统计量用于检验列联表中变量间拟合优度和独立性检验统计量为:或2统计量可以看作是检验真实值与期望值的接近程度。统计量用于检验列联表中变量间拟合优度和独立性

统计量分布与自由度的关系统计量分布与自由度的关系9.2拟合优度检验(goodnessoffittest)9.2拟合优度检验期望频数的分布

(例题分析)相关系数B.测度列联表中的相关性4列联表中的相关测量H1:员工所在分公司和对改革方案的态度并非相互独立V=0表明列联表中的两个变量独立05,得出的结论是:()例如,四个分公司接受调查的人数分别为100人,120人,90人,110人一个分类变量和一个数值型变量的关系由两个以上的变量交叉分类的频数分布表(150/500)×(140/500)*500A.列联表中的相关测量

(例题分析)H0:1=2=3=4行百分比:行的每一个观察频数除以相应的行合计数(fij/ri)H1:X和Y不独立fij表示第i行第j列的观察频数C的数值大小取决于列联表的行数和列数,并随行数和列数的增大而增大

统计量拟合优度检验:用于检验一个分类变量中各类别的期望频数和观察频数是否有显著差异。其实际为假设检验在原假设为观察频数和实际频数一致的前提下,有如下检验统计量:期望频数的分布

(例题分析)统计量拟合优度检验:拟合优度检验的期望频数的计算

若可求出第i行第j列元素的期望概率pij,则一个实际频数fij

的期望频数eij

,是总频数的个数n乘以该实际频数fij

的期望概率pij拟合优度检验的期望频数的计算若可求出第i行第j列期望频数的计算举例

举例:要检验各分公司对某项改革方案的看法是否相同?一分公司二分公司三分公司四分公司赞成该方案实际频数68755779反对该方案实际频数32453331期望频数的计算举例举例:要检验各分公司对某项改革期望频数的分布

(例题分析)一分公司二分公司三分公司四分公司赞成该方案实际频数68755779期望频数100*66.4%=66150*66.4%=8090*66.4%=60110*66.4%=73反对该方案实际频数32753331期望频数100*33.6%=34150*33.6%=4090*33.6%=30110*33.6%=37在全部420个样本中,赞成改革方案的人数为279,占66.4%;反对的人数占33.6%。在各分公司对改革方案看法相同的前提下,各分公司赞成(反对)这项改革不同态度的期望频数为分公司总样本数*66.4%(33.6%)。等价于检验各分公司赞成方案的实际频数与期望频数是否一致。期望频数的分布

(例题分析)一分公司二分公司三分公司四分公期望频数的分布

(例题分析)A公司B公司其它公司广告后购买人数实际频数1028216期望频数200×0.45200×0.4200×0.15在广告宣传战之前,A公司、B公司和其它公司的市场占有率分别为45%、40%和15%。上表给出了广告后对200个消费者购买意愿的调查的结果,检验广告战前后各公司的市场占有率是否发生了变化?

等价于检验三个公司的期望购买人数和实际购买人数是否一致。期望频数的分布

(例题分析)A公司B公司其它公司广告后购买拟合优度检验

(例题分析1-1)【例9.1】1912年4月15日,豪华巨轮泰坦尼克号与冰山相撞沉没。当时船上共有共2208人,其中男性1738人,女性470人。海难发生后,幸存者为718人,其中男性374人,女性344人,以的显著性水平(0.05)检验存活状况与性别是否有关。拟合优度检验

(例题分析1-1)【例9.1】1912年4月拟合优度检验

(例题分析1-2)分析:在这次海难中,幸存者共718人,即总存活比例为718/2208=0.325。若存活状况与性别无关,则男性存活的期望人数为:0.3251738=565人,女性存活的期望人数为:0.325470=153人,若男女性期望的存活人数和实际的存活人数非常接近,则可以认为存活率与性别无关,反之,则认为存状况与性别相关。因此可以利用2统计量来检验。男女合计实际生存人数374344718总人望生存人数1738×0.325470×0.325拟合优度检验

(例题分析1-2)分析:在这次海难中,幸存者共拟合优度检验

(例题分析1-3)H0:生存状况与性别无关(观察频数与期望频数一致)H1:生存状况与性别相关(观察频数与期望频数不一致)

=0.05df=(2-1)=1临界值(s):统计量:

=0.05的水平上拒绝H0有较充分的理由认为生存状况与性别相关决策:结论:203.8415=0.1拟合优度检验

(例题分析1-3)H0:生存状况与性别无关(观拟合优度检验

(例题分析2-1)【例】

一项统计结果声称:某市老年人口(年龄在65岁以上)所占的比例为14.7%,该市老年人口研究会为了检验该项统计是否可靠,随机抽选了400名居民,发现其中有57人年龄在65岁以上。调查结果是否支持该市老年人口比例为14.7%的说法?(=0.05)。拟合优度检验

(例题分析2-1)【例】一项统计结果声称:某拟合优度检验

(例题分析2-2)解:要回答观察的老年人数与期望的老年人数是否一致,检验如下假设:

H0:老年人口比例为14.7%(观察频数与期望频数一致)

H1:老年人口比例并非14.7%(观察频数与期望频数不一致)老年人非老年人实际人数57343期望人数500×0.147=59500×0.853=341拟合优度检验

(例题分析2-2)解:要回答观察的老年人数与期拟合优度检验

(例题分析2-3)

=0.05df=(2-1)=1临界值(s):注意:教材P223中作的双侧检验有误。统计量:

=0.05的水平上接受H0有较充分的理由认为老年人比比例为14.7%相关决策:结论:203.8415=0.1拟合优度检验

(例题分析2-3)=0.05统计量:在拟合优度检验

(例题分析2-1)注意:第8章介绍的总体比例检验只能用于二项分布,而2统计量可用于多项分布的比例检验。拟合优度检验

(例题分析2-1)注意:第8章介绍的总体比例检9.3列联分析:独立性检验列联表(已讲)独立性检验9.3列联分析:独立性检验列联表(已讲)两个变量的独立性检验两个变量的独立性检验独立变量检验

(goodnessoffittest)检验两个分类变量是否独立检验的步骤提出假设H0:变量X和Y独立j;H1:X和Y

不独立

在原假设成立的前提下,可得到以下检验统计量

进行决策根据显著性水平和自由度(r-1)(c-1)查出临界值2

若2>2,拒绝H0;若2<2,接受H0独立变量检验

(goodnessoffittest)检期望频数的计算假定行变量和列变量是独立的一个实际频数fij

的期望频数

eij

,是总频数的个数n乘以该实际频数fij

落入第i

行和第j列的概率,即期望频数的计算假定行变量和列变量是独立的期望频数的分布

(例题分析)由于观察频数的总数为n

,所以f11

的期望频数e11应为例如,第1行和第1列的实际频数为f11

,它落在第1行的概率估计值为该行的频数之和r1除以总频数的个数n

,即:r1/n;它落在第1列的概率的估计值为该列的频数之和c1除以总频数的个数n

,即:c1/n。根据概率的乘法公式,该频数落在第1行和第1列的概率应为期望频数的分布

(例题分析)由于观察频数的总数为n,所以f独立性检验

(例题分析1-1)【例9.2】一种原料来自三个不同的地区,原料质量被分成三个不同等级。从这批原料中随机抽取500件进行检验,结果如下表所示,要求检验各个地区和原料质量之间是否存在依赖关系?(0.05)

一级二级三级合计甲地区526424140乙地区605952171丙地区506574189合计162188150500独立性检验

(例题分析1-1)【例9.2】一种原料来自三个不独立性检验

(例题分析1-2)解:(1)确定假设H0:地区和原料等级之间是独立的(不存在依赖关系)

H1:地区和原料等级之间不独立(存在依赖关系)(2)计算期望频数以及

2统计量的值

一级二级三级合计甲地区526424140期望频数(162/500)×(140/500)*500(188/500)×(140/500)*500(150/500)×(140/500)*500乙地区605952171丙地区506574189合计162188150500独立性检验

(例题分析1-2)解:(1)确定假设一级二级三独立性检验

(例题分析1-3)独立性检验

(例题分析1-3)独立性检验

(例题分析1-4)(3)作出判断

19.82>0.05(4)=9.488故拒绝H0,接受H1

,即地区和原料等级之间存在依赖关系,原料的质量受地区的影响独立性检验

(例题分析1-4)(3)作出判断19.82>独立性检验

(例题分析2-1)【例】某集团公司欲进行一项改革,从所属的四个分公司中共随机抽取了420名职工,了解它们对改革方案的态度(见下表),以=0.1的显著性水平检验员工态度是否受所在分公司的影响。一分公司二分公司三分公司四分公司赞成该方案实际频数68755779反对该方案实际频数32753331独立性检验

(例题分析2-1)【例】某集团公司欲进行一项改独立性检验

(例题分析2-1)解:若员工态度不受影响,则所在分公司与对改革方案的态度是相互独立的。可设定原假设和备择假设分别为

(1)确定假设H0:员工所在分公司和对改革方案的态度是相互独立的H1:员工所在分公司和对改革方案的态度并非相互独立独立性检验

(例题分析2-1)独立性检验

(例题分析2-3)实际频数(fij)期望频数(eij)fij-eij(fij-eij)2(fij-eij)2eij687557793245333166806073344030372-5-36-253-64259364259360.06060.31250.15000.49320.11760.62500.30000.9730(2)计算期望频数及2统计量的值独立性检验

(例题分析2-3)实际频数期望频数fij-e独立性检验

(例题分析2-4)(3)作出判断

0.05(3)=7.8147.故接受H0。即员工所在分公司与其态度是相互独立的。独立性检验

(例题分析2-4)(3)作出判断0.052检验的实质独立性检验等价于检验多个比例是否相等或由期望的比例算出的期望频数与实际频数是否相等。检验的步骤提出假设H0:1=p1,2=p2,…j=pj;H11=p1,2=p2,…j=pj至少有一个不成立原假设意为在一个分类变量C的不同取值下,另一个分类变量R的某一类别的占该R比例是否等于某个期望比例2检验的实质独立性检验等价于检验多个比例是否相等或由期望的2检验的实质在原假设成立的前提下,可得到以下检验统计量若列联表中其中一个分类变量只是考虑的一个类别的观测值,则使用以下统计量(拟合优度检验)进行决策根据显著性水平和自由度(r-1)查出临界值2

若2>2,拒绝H0;若2<2,接受H0若列联表中两个分类变量都考虑至少有两个类别的观测值,则使用以下统计量进行决策根据显著性水平和自由度(r-1)(c-1)查出临界值2若2>2,拒绝H0;若2<2,接受H02检验的实质在原假设成立的前提下,可得到以下检验统计量2检验举例

(例题分析1-1)【例9.3】某集团公司欲进行一项改革,从所属的四个分公司中共随机抽取了420名职工,了解它们对改革方案的态度(见下表),以=0.1的显著性水平检验员工态度是否受所在分公司的影响。一分公司二分公司三分公司四分公司赞成该方案实际频数68755779反对该方案实际频数327533312检验举例

(例题分析1-1)【例9.3】某集团公司欲进2检验举例

(例题分析1-2)解:若员工对改革方案的态度不受所在子公司的影响,四个分公司对赞成改革方案的比例是一致的。,设i为第i个分公司赞成改革方案的百分比)。可设定原假设和备择假设分别为:

H0:1=2=3=4

H1:1,2,3,4

不全相等2检验举例

(例题分析1-2)2检验举例

(例题分析1-3)实际频数(fij)期望频数(eij)fij-eij(fij-eij)2(fij-eij)2eij687557793245333166806073344030372-5-36-253-64259364259360.06060.31250.15000.49320.11760.62500.30000.9730合计:3.03192检验举例

(例题分析1-3)实际频数期望频数fij-拟合优度检验

(例题分析1-3)H0:1=2=3=4

H1:1,2,3,4

不全相等

=0.1df=(4-1)=3临界值(s):统计量:

=0.1的水平上不能拒绝H0可以认为四个分公司对改革方案的赞成比例是一致的决策:结论:206.2153.0319=0.1拟合优度检验

(例题分析1-3)H0:1=2=32检验

(例题分析2-1)【例】

1912年4月15日,豪华巨轮泰坦尼克号与冰山相撞沉没。当时船上共有共2208人,其中男性1738人,女性470人。海难发生后,幸存者为718人,其中男性374人,女性344人,以的显著性水平(0.05)检验存活状况与性别是否有关。男女合计实际生存人数374344718实际死亡人2检验

(例题分析2-1)【例】1912年4月15日,豪2检验

(例题分析2-2)分析:设男女存活率分别为1和2

若男女存活率相同,则均为718/2208=0.325

本问题等价于检验如下假定:H0:1=2H1:12男女合计实际生存人数374344718总人望生存人数1738×0.325470×0.3252检验

(例题分析2-2)分析:设男女存活率分别为1和2检验

(例题分析2-3)H0:1=2H1:12

=0.05df=(2-1)=1临界值(s):统计量:

=0.05的水平上拒绝H0有较充分的理由认为生存状况与性别相关决策:结论:203.8415=0.12检验

(例题分析2-3)H0:1=2统计量:在思考1问题1:为什么2检验采用右单侧检验而不采用双边检验?答:因为应用2检验时,原假设H0实际上可以概括为:观测频数=期望频数,备择假设H1为:观测频数期望频数,而2统计量的值越小,表明观测频率与期望频率越接近,越因该接受原假设,因此,拒绝域应该在2分布的右侧,故采用右单侧检验。思考1问题1:为什么2检验采用右单侧检验而不采用双边思考2问题2:如何解释2统计量的自由度为(R-1)(C-1)?C1C2C3C4合计R1RT1R2RT2R3RT3合计CT1CT2CT3CT4思考2问题2:如何解释2统计量的自由度为(R-1)(品质数据的假设检验品质数据拟合优度(比例)检验独立性检验Z

检验一个总体

检验Z

检验

检验两个以上总体两个总体品质数据的假设检验品质数据拟合优度(比例)检验独立性检验Z(1)对于学生宿舍上网收费的新措施,男女学生的抽样调查结果如下列联表所示,如果要检验男女生赞成上网的比例(1

和2)是否相同,则提出的原假设为:()A.H0:1=2=0.678B.H0:1=2=45

C.H0:1=2=0.322

D.H0:1=2=42检验(1)所使用的2统计量的自由度为()

采用()(左侧,右侧,双边)检验

练习(2)C男学生女学生合计赞成454287反对10578183合计1501202701右侧(1)对于学生宿舍上网收费的新措施,男女学生的抽样调(3)对于学生宿舍上网收费的新措施,男女学生的抽样调查结果如下列联表所示,如果要检验男女生赞成上网的比例是否相同,即检验H0:1=2=0.322,若给定=0.05,得出的结论是:()A.拒绝原假设B.不拒绝原假设C.可以拒绝也可以不拒绝原假设D.既不拒绝也不接收原假设

B男学生女学生合计赞成454287反对10578183合计150120270(3)对于学生宿舍上网收费的新措施,男女学生的抽样调独立变量检验

(goodnessoffittest)若2>2,拒绝H0;4列联表中的相关测量问题1:为什么2检验采用右单侧检验而不采用双边检验?条件百分表的方向(1)拟合优度检验

(例题分析2-1)C.分析:设男女存活率分别为1和2男女学生全部都赞成C.B.在广告宣传战之前,A公司、B公司和其它公司的市场占有率分别为45%、40%和15%。一个分类变量和一个数值型变量的关系相关系数

(原理分析)而列联分析是针对分类变量进行分析的方法。1的显著性水平检验员工态度是否受所在分公司的影响。当时船上共有共2208人,其中男性1738人,女性470人。既不拒绝也不接收原假设9.4列联表中的相关测量

相关系数列联相关系数V

相关系数独立变量检验

(goodnessoffittest)9列联表中的相关测量品质相关对品质数据(分类和顺序数据)之间相关程度的测度列联表变量的相关属于品质相关列联表相关测量的统计量主要有相关系数列联相关系数V

相关系数列联表中的相关测量品质相关

相关系数

(correlationcoefficient)测度22列联表中数据相关程度对于22列联表,

系数的值在0~1之间

相关系数计算公式为相关系数

(correlationcoefficie

相关系数

(原理分析)一个简化的22列联表因素Y因素X合计x1x2y1aba+by2cdc+d合计a+cb+dn相关系数

(原理分析)一个简化的22列联表因素因

相关系数

(原理分析)列联表中每个单元格的期望频数分别为将各期望频数代入的计算公式得相关系数

(原理分析)列联表中每个单元格的期望频数分

相关系数

(原理分析)将入

相关系数的计算公式得ad等于bc,=0,表明变量X与Y

之间独立若b=0

,c=0,或a=0

,d=0,意味着各观察频数全部落在对角线上,此时||=1,表明变量X与Y

之间完全相关,||

越接近1,相关程度越大,列联表中变量的位置可以互换,的符号没有实际意义,故取绝对值即可相关系数

(原理分析)将入相关系数的计算公式

相关系数取值范围

(原理分析)对2×2列联表,-11对非2×2列联表,故对非2×2列联表,系数将随着R或C的变大而增大,且值没有上限,故不适合用系数测定两个变量的相关程度。相关系数取值范围

(原理分析)对2×2列联表,-1列联相关系数C

(coefficientofcontingency)列联相关系数C用于测度大于22列联表中数据的相关程度计算公式为C的取值范围是,其中m=min(R,C)C=0表明列联表中的两个变量独立C的数值大小取决于列联表的行数和列数,并随行数和列数的增大而增大列联相关系数C

(coefficientofcontin列联相关系数

(优缺点)优点:计算简单,对总体分布没有任何要求。缺点:根据不同行和列计算的列联相关系数不便于比较。列联相关系数

(优缺点)优点:V相关系数

(Vcorrelationcoefficient)由Gramer提出,计算公式为

V的取值范围是0V1

V=0表明列联表中的两个变量独立

V=1表明列联表中的两个变量完全相关不同行和列的列联表计算的列联系数不便于比较当列联表中有一维为2,min[(r-1),(c-1)]=1,此时V=V相关系数

(Vcorrelationcoeffici列联表中的相关测量

(例题分析)【例9.2】一种原料来自三个不同地区,原料质量被分成三个不同等级。从这批原料中随机抽取500件进行检验,结果如下表。分别计算系数、C系数和V系数,并分析相关程度(假设已检验得到地区和材料质量相关)地区一级二级三级合计甲地区526424140乙地区605952171丙地区506574189合计162188150500列联表中的相关测量

(例题分析)【例9.2】一种原料来自三个列联表中的相关测量

(例题分析)解:已知n=500,=19.82,列联表为33结论:三个系数均不高,表明产地和原料等级之间的相关程度不高列联表中的相关测量

(例题分析)解:已知n=500,=、C、V的比较同一个列联表,、C、V的结果会不同在对不同列联表变量之间的相关程度进行比较时,不同列联表中的行与行、列与列的个数要相同,并且采用同一种系数、C、V的比较同一个列联表,、C、V的结果会不同(1)对于学生宿舍上网收费的新措施,男女学生的抽样调查结果如下列联表所示,如果要检验男女生赞成上网的比例是否相同,若根据数据计算得到||=1,则:()A.男学生全部赞成,女学生全部反对

B.男女学生全部都赞成C.男女学生全部都反对

D.男学生全部赞成,女学生全部反对;或男学生全部反对,女学生全部赞成练习(3)D男学生女学生合计赞成454287反对10578183合计150120270(1)对于学生宿舍上网收费的新措施,男女学生的抽样调(2)以下测度列联表中数据的相关程度的参数,取值范围有可能不在[0,1]范围内的是:()A.相关系数B.C相关系数C.V相关系数D.A、B、C都有可能

A(2)以下测度列联表中数据的相关程度的参数,取值范围有可9.4列联分析中应注意的问题

条件百分表的方向2分布的期望值准则9.4列联分析中应注意的问题条件百分表的方向条件百分表的方向(1)列联表中行列变量的置放位置习惯做法:将自变量X放在列头,因变量Y放在行头,条件百分比按照自变量的方向计算

例如:调查不同职业的人的价值取向,职业看作自变量,价值取向为因变量,

如左表,从左表数据可以看出:从事服务业的人更注重人情关系。价值取向Y职业X制造业服务业物质报酬%105724556人情关系%40283544合计件百分表的方向(1)列联表中行列变量的置放位置价值取向Y职条件百分表的方向(2)列联表中行列变量的置放位置(2)如果因变量在样本内的分布不能代表其在总体内的分布,仍以自变量方向计算百分比,就有可能歪曲事实。条件百分表的方向(2)列联表中行列变量的置放位置条件百分表的方向(3)例如:欲研究家庭状况(自变量)对青少年犯罪(因变量)的影响。某地区从未犯罪的青少年有10000名,曾犯罪的青少年150名。如果从未犯罪的青年中抽取100名,从有犯罪记录的青年中抽取75名,从左表调查结果是否可以说在完整家庭中,有29%的青少年犯罪?青少年行为家庭状况完整家庭离异家庭犯罪%38293782未犯罪%9271818合计能,因为在犯罪青年中抽取的样本比例比其在总体中的比例大。条件百分表的方向(3)例如:欲研究家庭状况(自变量)对青少年条件百分表的方向(4)例如:将计算百分比的方向交换,可得左表。则有:在未犯罪的100位青少年中,92%来自完整家庭,8%来自离异家庭。青少年行为行为状况犯罪未犯罪完整家庭%38519292离异家庭%374988合计%75100100100条件百分表的方向(4)例如:将计算百分比的方向交换,可得左表2分布的期望准则

对应用2分布进行变量的独立性检验,要求列联表中每个单元的期望频数不能过小,需要满足以下几个条件:

(1)如果只有两个单元,每个单元的期望频数必须在5或5以上;(经验)

(2)若有两个以上的单元,如果20%的单元期望频数fe<5,则不能应用2检验;2分布的期望准则对应用2分本章小结解释列联表计算期望频数进行c2

检验拟合优度检验对列联表进行相关分析用Excel进行c2

检验本章小结解释列联表练习P233:练习题9.1、9.2、9.5练习P233:练习题作业(1)1.从过往对应届毕业生的调查可知:希望进政府部门工作的占50%,进国有企事业单位的占20%,进外企工作的占25%,进民营企业工作的占5%。现从大四的学生中抽出500位同学,得到如下结果:选择进入政府部门的有286人,进入国有企事业单位的有124人,进入外企的有75人,进民营企业工作的15人。问:以0.05的显著水平进行检验:现在的情况与过往的调查是否发生了变化。作业(1)1.从过往对应届毕业生的调查可知:希望进政府部门感谢观看感谢观看88分类数据分析分类数据分析89(优选)分类数据分析(优选)分类数据分析概述

第七、八章介绍的估计和检验方法仅主要针对数值型变量。而列联分析是针对分类变量进行分析的方法。概述第七、八章介绍的估计和检验方法第9章分类数据分析9.1分类数据与c2统计量9.2拟合优度

检验9.3列联分析:独立性检验9.4列联表中的相关测量9.5列联分析中应注意的问题第9章分类数据分析9.1分类数据与c2统计量学习目标1. 解释列联表进行c2

检验拟合优度检验独立性检验3. 测度列联表中的相关性学习目标1. 解释列联表9.1

分类数据分类数据补充:列联表的构造

列联表的分布2统计量9.1分类数据分类数据分类数据分类变量的取值表现为类别例如:性别(男,女)各类别可用符号或数字代码来测度例如:性别(男用1表示,女用0表示)顺序数据也可以看作分类数据原料的质量等级:一等品、二等品、三等品数值型数据也可以转化为分类数据数学期末考试成绩是一个数值型数据,可以根据分数段将成绩为“优秀”、“良好”、“及格”和“不及格”几个类别对分类数据的描述和分析通常使用列联表分类数据分类变量的取值表现为类别列联表的构造列联表的构造列联表

(contingencytable)由两个以上的变量交叉分类的频数分布表行变量的类别用r

表示,ri

表示第i

个类别列变量的类别用c

表示,cj

表示第j

个类别每种组合的观察频数用fij

表示表中列出了行变量和列变量的所有可能的组合,所以称为列联表一个

R行C

列的列联表称为R

C

列联表列联表

(contingencytable)由两个以上的变列联表的结构

(22列联表)列(cj)合计j=1j=1i=1f11f12f11+f12i=2f21f22f21+f22合计f11+f21f12+f22n列(cj)行(ri)列联表的结构

(22列联表)列(cj)合计j=列联表的结构

(r

c

列联表的一般表示)列(cj)合计j=1j=2…i=1f11f12…r1i=2f21f22…r2:::::合计c1c2…n列(cj)行(ri)fij

表示第i

行第j

列的观察频数列联表的结构

(rc列联表的一般表示)列(cj)合计列联表

(例题分析)一分公司二分公司三分公司四分公司合计赞成该方案68755779279反对该方案32753331141合计10012090110420【例】一个集团公司在四个不同的地区设有分公司,现该集团公司欲进行一项改革,此项改革可能涉及到各分公司的利益,故采用抽样调查方式,从四个分公司共抽取420个样本单位(人),了解职工对此项改革的看法,调查结果如下表列联表

(例题分析)一分公司二分公司三分公司四分公司合计赞成列联表的分布列联表的分布观察值的分布边缘频数行边缘分布(频数)行观察值的合计数的分布例如,赞成改革方案的共有279人,反对改革方案的141人列边缘分布(频数)列观察值的合计数的分布例如,四个分公司接受调查的人数分别为100人,120人,90人,110人条件分布与条件频数表中每个具体的观察值都是变量X条件下变量Y

的频数,或在变量Y

条件下变量X

的频数,称为条件分布(频数)观察值的分布边缘频数观察值的分布

(图示)一分公司二分公司三分公司四分公司合计赞成该方案68755779279反对该方案32753331141合计10012090110420行边缘分布列边缘分布条件频数观察值的分布

(图示)一分公司二分公司三分公司四分公司合计赞百分比分布

(概念要点)条件频数反映了数据的分布,但不适合对比如二分公司赞成人数比一分公司多,并不表明二分公司比一分公司更赞成该方案,因为两公司调查人数不同。为在相同的基数上进行比较,可以计算相应的百分比,称为百分比分布行百分比:行的每一个观察频数除以相应的行合计数(fij

/ri)列百分比:列的每一个观察频数除以相应的列合计数(fij

/cj)总百分比:每一个观察值除以观察值的总个数(fij

/n)百分比分布

(概念要点)条件频数反映了数据的分布,但不适合对百分比分布

(图示)一分公司二分公司三分公司四分公司合计赞成该方案6875577966.4%24.4%26.9%20.4%28.3%68.0%62.5%63.3571.8%—16.2%17.8%13.6%18.8%—反对该方案3245333133.6%22.7%31.9%23.4%22.0%32.0%37.5%36.7%28.2%—7.6%10.7%7.9%7.4%—合计23.8%28.6%21.4%26.2%100%总百分比列百分比行百分比百分比分布

(图示)一分公司二分公司三分公司四分公司合计赞成列联分析是利用列联表来研究:()A.两个分类变量的关系B.两个数值型变量的关系C.一个分类变量和一个数值型变量的关系D.两个数值型变量的分布

以下列联表中,最右边一列称为:()A.列边缘频数;B.行边缘频数;C.条件频数;D.总频数练习(1)AB男学生女学生合计赞成454287反对10578183合计150120270列联分析是利用列联表来研究:()练习(3)对于学生宿舍上网收费的新措施,男女学生的抽样调查结果如下列联表所示,在男女生赞成的比例相同的前提下,男女生赞成该措施的期望频数分别为:()A.48和39B.102和81

C.15和14

D.25和19

A男学生女学生合计赞成454287反对10578183合计150120270(3)对于学生宿舍上网收费的新措施,男女学生的抽样调统计量统计量概述

2检验(Chi-squaretest)是现代统计学的创始人之一,英国人K.Pearson(1857-1936)于1900年提出的一种具有广泛用途的统计方法,因此又称为Pearson2检验。可用于两个或多个率或构成比间的比较,定性资料的关联度分析,拟合优度检验等等。

概述2检验(Chi-squar

统计量用于检验列联表中变量间拟合优度和独立性检验统计量为:或2统计量可以看作是检验真实值与期望值的接近程度。统计量用于检验列联表中变量间拟合优度和独立性

统计量分布与自由度的关系统计量分布与自由度的关系9.2拟合优度检验(goodnessoffittest)9.2拟合优度检验期望频数的分布

(例题分析)相关系数B.测度列联表中的相关性4列联表中的相关测量H1:员工所在分公司和对改革方案的态度并非相互独立V=0表明列联表中的两个变量独立05,得出的结论是:()例如,四个分公司接受调查的人数分别为100人,120人,90人,110人一个分类变量和一个数值型变量的关系由两个以上的变量交叉分类的频数分布表(150/500)×(140/500)*500A.列联表中的相关测量

(例题分析)H0:1=2=3=4行百分比:行的每一个观察频数除以相应的行合计数(fij/ri)H1:X和Y不独立fij表示第i行第j列的观察频数C的数值大小取决于列联表的行数和列数,并随行数和列数的增大而增大

统计量拟合优度检验:用于检验一个分类变量中各类别的期望频数和观察频数是否有显著差异。其实际为假设检验在原假设为观察频数和实际频数一致的前提下,有如下检验统计量:期望频数的分布

(例题分析)统计量拟合优度检验:拟合优度检验的期望频数的计算

若可求出第i行第j列元素的期望概率pij,则一个实际频数fij

的期望频数eij

,是总频数的个数n乘以该实际频数fij

的期望概率pij拟合优度检验的期望频数的计算若可求出第i行第j列期望频数的计算举例

举例:要检验各分公司对某项改革方案的看法是否相同?一分公司二分公司三分公司四分公司赞成该方案实际频数68755779反对该方案实际频数32453331期望频数的计算举例举例:要检验各分公司对某项改革期望频数的分布

(例题分析)一分公司二分公司三分公司四分公司赞成该方案实际频数68755779期望频数100*66.4%=66150*66.4%=8090*66.4%=60110*66.4%=73反对该方案实际频数32753331期望频数100*33.6%=34150*33.6%=4090*33.6%=30110*33.6%=37在全部420个样本中,赞成改革方案的人数为279,占66.4%;反对的人数占33.6%。在各分公司对改革方案看法相同的前提下,各分公司赞成(反对)这项改革不同态度的期望频数为分公司总样本数*66.4%(33.6%)。等价于检验各分公司赞成方案的实际频数与期望频数是否一致。期望频数的分布

(例题分析)一分公司二分公司三分公司四分公期望频数的分布

(例题分析)A公司B公司其它公司广告后购买人数实际频数1028216期望频数200×0.45200×0.4200×0.15在广告宣传战之前,A公司、B公司和其它公司的市场占有率分别为45%、40%和15%。上表给出了广告后对200个消费者购买意愿的调查的结果,检验广告战前后各公司的市场占有率是否发生了变化?

等价于检验三个公司的期望购买人数和实际购买人数是否一致。期望频数的分布

(例题分析)A公司B公司其它公司广告后购买拟合优度检验

(例题分析1-1)【例9.1】1912年4月15日,豪华巨轮泰坦尼克号与冰山相撞沉没。当时船上共有共2208人,其中男性1738人,女性470人。海难发生后,幸存者为718人,其中男性374人,女性344人,以的显著性水平(0.05)检验存活状况与性别是否有关。拟合优度检验

(例题分析1-1)【例9.1】1912年4月拟合优度检验

(例题分析1-2)分析:在这次海难中,幸存者共718人,即总存活比例为718/2208=0.325。若存活状况与性别无关,则男性存活的期望人数为:0.3251738=565人,女性存活的期望人数为:0.325470=153人,若男女性期望的存活人数和实际的存活人数非常接近,则可以认为存活率与性别无关,反之,则认为存状况与性别相关。因此可以利用2统计量来检验。男女合计实际生存人数374344718总人望生存人数1738×0.325470×0.325拟合优度检验

(例题分析1-2)分析:在这次海难中,幸存者共拟合优度检验

(例题分析1-3)H0:生存状况与性别无关(观察频数与期望频数一致)H1:生存状况与性别相关(观察频数与期望频数不一致)

=0.05df=(2-1)=1临界值(s):统计量:

=0.05的水平上拒绝H0有较充分的理由认为生存状况与性别相关决策:结论:203.8415=0.1拟合优度检验

(例题分析1-3)H0:生存状况与性别无关(观拟合优度检验

(例题分析2-1)【例】

一项统计结果声称:某市老年人口(年龄在65岁以上)所占的比例为14.7%,该市老年人口研究会为了检验该项统计是否可靠,随机抽选了400名居民,发现其中有57人年龄在65岁以上。调查结果是否支持该市老年人口比例为14.7%的说法?(=0.05)。拟合优度检验

(例题分析2-1)【例】一项统计结果声称:某拟合优度检验

(例题分析2-2)解:要回答观察的老年人数与期望的老年人数是否一致,检验如下假设:

H0:老年人口比例为14.7%(观察频数与期望频数一致)

H1:老年人口比例并非14.7%(观察频数与期望频数不一致)老年人非老年人实际人数57343期望人数500×0.147=59500×0.853=341拟合优度检验

(例题分析2-2)解:要回答观察的老年人数与期拟合优度检验

(例题分析2-3)

=0.05df=(2-1)=1临界值(s):注意:教材P223中作的双侧检验有误。统计量:

=0.05的水平上接受H0有较充分的理由认为老年人比比例为14.7%相关决策:结论:203.8415=0.1拟合优度检验

(例题分析2-3)=0.05统计量:在拟合优度检验

(例题分析2-1)注意:第8章介绍的总体比例检验只能用于二项分布,而2统计量可用于多项分布的比例检验。拟合优度检验

(例题分析2-1)注意:第8章介绍的总体比例检9.3列联分析:独立性检验列联表(已讲)独立性检验9.3列联分析:独立性检验列联表(已讲)两个变量的独立性检验两个变量的独立性检验独立变量检验

(goodnessoffittest)检验两个分类变量是否独立检验的步骤提出假设H0:变量X和Y独立j;H1:X和Y

不独立

在原假设成立的前提下,可得到以下检验统计量

进行决策根据显著性水平和自由度(r-1)(c-1)查出临界值2

若2>2,拒绝H0;若2<2,接受H0独立变量检验

(goodnessoffittest)检期望频数的计算假定行变量和列变量是独立的一个实际频数fij

的期望频数

eij

,是总频数的个数n乘以该实际频数fij

落入第i

行和第j列的概率,即期望频数的计算假定行变量和列变量是独立的期望频数的分布

(例题分析)由于观察频数的总数为n

,所以f11

的期望频数e11应为例如,第1行和第1列的实际频数为f11

,它落在第1行的概率估计值为该行的频数之和r1除以总频数的个数n

,即:r1/n;它落在第1列的概率的估计值为该列的频数之和c1除以总频数的个数n

,即:c1/n。根据概率的乘法公式,该频数落在第1行和第1列的概率应为期望频数的分布

(例题分析)由于观察频数的总数为n,所以f独立性检验

(例题分析1-1)【例9.2】一种原料来自三个不同的地区,原料质量被分成三个不同等级。从这批原料中随机抽取500件进行检验,结果如下表所示,要求检验各个地区和原料质量之间是否存在依赖关系?(0.05)

一级二级三级合计甲地区526424140乙地区605952171丙地区506574189合计162188150500独立性检验

(例题分析1-1)【例9.2】一种原料来自三个不独立性检验

(例题分析1-2)解:(1)确定假设H0:地区和原料等级之间是独立的(不存在依赖关系)

H1:地区和原料等级之间不独立(存在依赖关系)(2)计算期望频数以及

2统计量的值

一级二级三级合计甲地区526424140期望频数(162/500)×(140/500)*500(188/500)×(140/500)*500(150/500)×(140/500)*500乙地区605952171丙地区506574189合计162188150500独立性检验

(例题分析1-2)解:(1)确定假设一级二级三独立性检验

(例题分析1-3)独立性检验

(例题分析1-3)独立性检验

(例题分析1-4)(3)作出判断

19.82>0.05(4)=9.488故拒绝H0,接受H1

,即地区和原料等级之间存在依赖关系,原料的质量受地区的影响独立性检验

(例题分析1-4)(3)作出判断19.82>独立性检验

(例题分析2-1)【例】某集团公司欲进行一项改革,从所属的四个分公司中共随机抽取了420名职工,了解它们对改革方案的态度(见下表),以=0.1的显著性水平检验员工态度是否受所在分公司的影响。一分公司二分公司三分公司四分公司赞成该方案实际频数68755779反对该方案实际频数32753331独立性检验

(例题分析2-1)【例】某集团公司欲进行一项改独立性检验

(例题分析2-1)解:若员工态度不受影响,则所在分公司与对改革方案的态度是相互独立的。可设定原假设和备择假设分别为

(1)确定假设H0:员工所在分公司和对改革方案的态度是相互独立的H1:员工所在分公司和对改革方案的态度并非相互独立独立性检验

(例题分析2-1)独立性检验

(例题分析2-3)实际频数(fij)期望频数(eij)fij-eij(fij-eij)2(fij-eij)2eij687557793245333166806073344030372-5-36-253-64259364259360.06060.31250.15000.49320.11760.62500.30000.9730(2)计算期望频数及2统计量的值独立性检验

(例题分析2-3)实际频数期望频数fij-e独立性检验

(例题分析2-4)(3)作出判断

0.05(3)=7.8147.故接受H0。即员工所在分公司与其态度是相互独立的。独立性检验

(例题分析2-4)(3)作出判断0.052检验的实质独立性检验等价于检验多个比例是否相等或由期望的比例算出的期望频数与实际频数是否相等。检验的步骤提出假设H0:1=p1,2=p2,…j=pj;H11=p1,2=p2,…j=pj至少有一个不成立原假设意为在一个分类变量C的不同取值下,另一个分类变量R的某一类别的占该R比例是否等于某个期望比例2检验的实质独立性检验等价于检验多个比例是否相等或由期望的2检验的实质在原假设成立的前提下,可得到以下检验统计量若列联表中其中一个分类变量只是考虑的一个类别的观测值,则使用以下统计量(拟合优度检验)进行决策根据显著性水平和自由度(r-1)查出临界值2

若2>2,拒绝H0;若2<2,接受H0若列联表中两个分类变量都考虑至少有两个类别的观测值,则使用以下统计量进行决策根据显著性水平和自由度(r-1)(c-1)查出临界值2若2>2,拒绝H0;若2<2,接受H02检验的实质在原假设成立的前提下,可得到以下检验统计量2检验举例

(例题分析1-1)【例9.3】某集团公司欲进行一项改革,从所属的四个分公司中共随机抽取了420名职工,了解它们对改革方案的态度(见下表),以=0.1的显著性水平检验员工态度是否受所在分公司的影响。一分公司二分公司三分公司四分公司赞成该方案实际频数68755779反对该方案实际频数327533312检验举例

(例题分析1-1)【例9.3】某集团公司欲进2检验举例

(例题分析1-2)解:若员工对改革方案的态度不受所在子公司的影响,四个分公司对赞成改革方案的比例是一致的。,设i为第i个分公司赞成改革方案的百分比)。可设定原假设和备择假设分别为:

H0:1=2=3=4

H1:1,2,3,4

不全相等2检验举例

(例题分析1-2)2检验举例

(例题分析1-3)实际频数(fij)期望频数(eij)fij-eij(fij-eij)2(fij-eij)2eij687557793245333166806073344030372-5-36-253-64259364259360.06060.31250.15000.49320.11760.62500.30000.9730合计:3.03192检验举例

(例题分析1-3)实际频数期望频数fij-拟合优度检验

(例题分析1-3)H0:1=2

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论