(最新)分类数据分析课件

1、分类数据分析PowerPoint统计学概 述 第七、八章介绍的估计和检验方法仅主要针对数值型变量。而列联分析是针对分类变量进行分析的方法。第 9 章 分类数据分析9.1 分类数据与c2统计量 9.2 拟合优度 检验9.3 列联分析：独立性检验9.4 列联表中的相关测量9.5 列联分析中应注意的问题学习目标1.解释列联表进行 c2 检验拟合优度检验独立性检验3.测度列联表中的相关性9.1 分类数据9.1.1 分类数据补充：列联表的构造 列联表的分布9.1.2 2统计量分类数据分类变量的取值表现为类别例如：性别 (男, 女)各类别可用符号或数字代码来测度例如：性别 (男用1表示, 女用0表示)顺序

2、数据也可以看作分类数据原料的质量等级：一等品、二等品、三等品数值型数据也可以转化为分类数据数学期末考试成绩是一个数值型数据，可以根据分数段将成绩为“优秀”、“良好”、“及格”和“不及格”几个类别对分类数据的描述和分析通常使用列联表列联表的构造列联表(contingency table)由两个以上的变量交叉分类的频数分布表行变量的类别用 r 表示， ri 表示第 i 个类别列变量的类别用 c 表示， cj 表示第 j 个类别每种组合的观察频数用 fij 表示表中列出了行变量和列变量的所有可能的组合，所以称为列联表一个 R 行 C 列的列联表称为 R C 列联表列联表的结构(2 2 列联表)列(

3、cj )合计j =1j =1i =1f11f12f11+ f12i =2f21f22f21+ f22合计f11+ f21f12+ f22n列(cj)行 (ri)列联表的结构(r c 列联表的一般表示)列(cj)合计j =1j = 2i =1f11f12r1i = 2f21f22r2:合计c1c2n列(cj)行(ri)fij 表示第 i 行第 j 列的观察频数列联表(例题分析)一分公司二分公司三分公司四分公司合计赞成该方案68755779279反对该方案32753331141合计10012090110420【例】一个集团公司在四个不同的地区设有分公司，现该集团公司欲进行一项改革，此项改革可能涉及

4、到各分公司的利益，故采用抽样调查方式，从四个分公司共抽取420个样本单位(人)，了解职工对此项改革的看法，调查结果如下表列联表的分布观察值的分布边缘频数行边缘分布（频数）行观察值的合计数的分布例如，赞成改革方案的共有279人，反对改革方案的141人列边缘分布（频数）列观察值的合计数的分布例如，四个分公司接受调查的人数分别为100人，120人，90人，110人条件分布与条件频数表中每个具体的观察值都是变量 X 条件下变量 Y 的频数，或在变量 Y 条件下变量 X 的频数，称为条件分布（频数）观察值的分布(图示)一分公司二分公司三分公司四分公司合计赞成该方案68755779279反对该方案3275

5、3331141合计10012090110420行边缘分布列边缘分布条件频数百分比分布(概念要点)条件频数反映了数据的分布，但不适合对比如二分公司赞成人数比一分公司多，并不表明二分公司比一分公司更赞成该方案，因为两公司调查人数不同。为在相同的基数上进行比较，可以计算相应的百分比，称为百分比分布行百分比：行的每一个观察频数除以相应的行合计数(fij / ri)列百分比：列的每一个观察频数除以相应的列合计数( fij / cj )总百分比：每一个观察值除以观察值的总个数( fij / n )百分比分布(图示)一分公司二分公司三分公司四分公司合计赞成该方案6875577966.4%24.4%26.9%

6、20.4%28.3%68.0%62.5%63.3571.8%16.2%17.8%13.6%18.8%反对该方案3245333133.6%22.7%31.9%23.4%22.0%32.0%37.5%36.7%28.2%7.6%10.7%7.9%7.4%合计23.8%28.6%21.4%26.2%100%总百分比列百分比行百分比列联分析是利用列联表来研究： ( ) A. 两个分类变量的关系 B . 两个数值型变量的关系 C. 一个分类变量和一个数值型变量的关系 D. 两个数值型变量的分布 以下列联表中，最右边一列称为：( ) A. 列边缘频数； B. 行边缘频数； C. 条件频数； D. 总频数练

7、 习 （1）AB男学生女学生合计赞成454287反对10578183合计150120270(3) 对于学生宿舍上网收费的新措施，男女学生的抽样调查结果如下列联表所示，在男女生赞成的比例相同的前提下，男女生赞成该措施的期望频数分别为： ( ) A. 48和39 B . 102和81 C. 15和14 D. 25和19 A男学生女学生合计赞成454287反对10578183合计150120270 统计量概 述 2检验(Chi-square test)是现代统计学的创始人之一，英国人K . Pearson（1857-1936）于1900年提出的一种具有广泛用途的统计方法，因此又称为Pearson 2

8、检验。可用于两个或多个率或构成比间的比较，定性资料的关联度分析，拟合优度检验等等。 统计量用于检验列联表中变量间拟合优度和独立性检验统计量为： 或2统计量可以看作是检验真实值与期望值的接近程度。 统计量分布与自由度的关系 9.2 拟合优度检验(goodness of fit test) 统计量拟合优度检验：用于检验一个分类变量中各类别的期望频数和观察频数是否有显著差异。其实际为假设检验在原假设为观察频数和实际频数一致的前提下，有如下检验统计量：拟合优度检验的期望频数的计算 若可求出第i行第j列元素的期望概率pij，则一个实际频数 fij 的期望频数eij ，是总频数的个数 n 乘以该实际频数

9、fij 的期望概率pij期望频数的计算举例 举例：要检验各分公司对某项改革方案的看法是否相同？一分公司二分公司三分公司四分公司赞成该方案实际频数68755779反对该方案实际频数32453331期望频数的分布 (例题分析)一分公司二分公司三分公司四分公司赞成该方案实际频数68755779期望频数100*66.4%=66150*66.4%=8090*66.4%=60110*66.4%=73反对该方案实际频数32753331期望频数100*33.6%=34150*33.6%=4090*33.6%=30110*33.6%=37在全部420个样本中，赞成改革方案的人数为279，占66.4%；反对的人数

10、占33.6%。在各分公司对改革方案看法相同的前提下，各分公司赞成（反对）这项改革不同态度的期望频数为分公司总样本数*66.4%（33.6%）。等价于检验各分公司赞成方案的实际频数与期望频数是否一致。期望频数的分布 (例题分析)A公司B公司其它公司广告后购买人数实际频数1028216期望频数2000.452000.42000.15 在广告宣传战之前，A公司、B公司和其它公司的市场占有率分别为45%、40%和15%。上表给出了广告后对200个消费者购买意愿的调查的结果，检验广告战前后各公司的市场占有率是否发生了变化 ？ 等价于检验三个公司的期望购买人数和实际购买人数是否一致。拟合优度检验(例题分析

11、1-1)【例9.1】 1912年4月15日，豪华巨轮泰坦尼克号与冰山相撞沉没。当时船上共有共2208人，其中男性1738人，女性470人。海难发生后，幸存者为718人，其中男性374人，女性344人，以的显著性水平( 0.05)检验存活状况与性别是否有关。拟合优度检验(例题分析1-2)分析：在这次海难中，幸存者共718人，即总存活比例为718/2208=0.325。若存活状况与性别无关，则男性存活的期望人数为：0.3251738565人，女性存活的期望人数为： 0.325470153人，若男女性期望的存活人数和实际的存活人数非常接近，则可以认为存活率与性别无关，反之，则认为存状况与性别相关。因

12、此可以利用2统计量来检验。男女合计实际生存人数374344718总人数1738 4702208期望生存人数17380.3254700.325拟合优度检验(例题分析1-3)H0:生存状况与性别无关（观察频数与期望频数一致）H1:生存状况与性别相关（观察频数与期望频数不一致） = 0.05df = (2-1)= 1临界值(s):统计量: 在 = 0.05的水平上拒绝H0有较充分的理由认为生存状况与性别相关 决策:结论:203.8415 =0.1拟合优度检验(例题分析2-1)【例】 一项统计结果声称：某市老年人口（年龄在65岁以上）所占的比例为14.7%，该市老年人口研究会为了检验该项统计是否可靠，

13、随机抽选了400名居民，发现其中有57人年龄在65岁以上。调查结果是否支持该市老年人口比例为14.7%的说法？（=0.05）。拟合优度检验(例题分析2-2)解：要回答观察的老年人数与期望的老年人数是否一致，检验如下假设： H0：老年人口比例为14.7%（观察频数与期望频数一致） H1：老年人口比例并非14.7%（观察频数与期望频数不一致）老年人非老年人实际人数57343期望人数5000.147595000.853341拟合优度检验(例题分析2-3) = 0.05df = (2-1)= 1临界值(s):注意：教材P223中作的双侧检验有误。统计量: 在 = 0.05的水平上接受H0有较充分的理由

14、认为老年人比比例为14.7%相关 决策:结论:203.8415 =0.1拟合优度检验(例题分析2-1)注意：第8章介绍的总体比例检验只能用于二项分布，而2统计量可用于多项分布的比例检验。9.3 列联分析：独立性检验 9.3.1 列联表（已讲）9.3.2 独立性检验两个变量的独立性检验独立变量检验(goodness of fit test)检验两个分类变量是否独立检验的步骤提出假设H0：变量X和Y独立j；H1： X和Y 不独立 在原假设成立的前提下，可得到以下检验统计量 进行决策 根据显著性水平和自由度(r-1)(c-1)查出临界值2 若22，拒绝H0；若2 0.05(4)=9.488故拒绝H0

15、，接受H1 ，即地区和原料等级之间存在依赖关系，原料的质量受地区的影响独立性检验(例题分析2-1)【例】某集团公司 欲进行一项改革，从所属的四个分公司中共随机抽取了420名职工，了解它们对改革方案的态度（见下表），以=0.1的显著性水平检验员工态度是否受所在分公司的影响。一分公司二分公司三分公司四分公司赞成该方案实际频数68755779反对该方案实际频数32753331独立性检验(例题分析2-1) 解：若员工态度不受影响，则所在分公司与对改革方案的态度是相互独立的。可设定原假设和备择假设分别为 (1) 确定假设 H0: 员工所在分公司和对改革方案的态度是相互独立的 H1:员工所在分公司和对改革

16、方案的态度并非相互独立独立性检验(例题分析2-3)实际频数(fij)期望频数(eij)fij - eij(fij - eij)2(fij- eij)2eij687557793245333166806073344030372-5-36-253-64259364259360.06060.31250.15000.49320.11760.62500.30000.9730(2) 计算期望频数及2统计量的值独立性检验(例题分析2-4)(3) 作出判断 0.05(3)=7.8147.故接受H0。即员工所在分公司与其态度是相互独立的。2检验的实质独立性检验等价于检验多个比例是否相等或由期望的比例算出的期望频数

17、与实际频数是否相等。检验的步骤提出假设H0：1 =p1, 2 =p2, j=pj； H1 1 =p1, 2 =p2, j=pj至少有一个不成立原假设意为在一个分类变量C的不同取值下，另一个分类变量R的某一类别的占该R比例是否等于某个期望比例2检验的实质在原假设成立的前提下，可得到以下检验统计量若列联表中其中一个分类变量只是考虑的一个类别的观测值，则使用以下统计量（拟合优度检验）进行决策 根据显著性水平和自由度(r-1)查出临界值2 若22，拒绝H0；若22，拒绝H0；若22，接受H02检验举例(例题分析1-1)【例9.3】某集团公司 欲进行一项改革，从所属的四个分公司中共随机抽取了420名职工

18、，了解它们对改革方案的态度（见下表），以=0.1的显著性水平检验员工态度是否受所在分公司的影响。一分公司二分公司三分公司四分公司赞成该方案实际频数68755779反对该方案实际频数327533312检验举例(例题分析1-2) 解：若员工对改革方案的态度不受所在子公司的影响，四个分公司对赞成改革方案的比例是一致的。 ，设i为第i个分公司赞成改革方案的百分比）。可设定原假设和备择假设分别为： H0: 1= 2= 3= 4 H1: 1,2,3,4 不全相等2检验举例(例题分析1-3)实际频数(fij)期望频数(eij)fij - eij(fij - eij)2(fij- eij)2eij687557

19、793245333166806073344030372-5-36-253-64259364259360.06060.31250.15000.49320.11760.62500.30000.9730合计：3.0319拟合优度检验(例题分析1-3)H0: 1= 2= 3= 4 H1: 1,2,3,4 不全相等 = 0.1df = (4-1)= 3临界值(s):统计量: 在 = 0.1的水平上不能拒绝H0可以认为四个分公司对改革方案的赞成比例是一致的 决策:结论:206.2153.0319 =0.12检验(例题分析2-1)【例】 1912年4月15日，豪华巨轮泰坦尼克号与冰山相撞沉没。当时船上共有共

20、2208人，其中男性1738人，女性470人。海难发生后，幸存者为718人，其中男性374人，女性344人，以的显著性水平( 0.05)检验存活状况与性别是否有关。男女合计实际生存人数374344718实际死亡人数136412614902检验(例题分析2-2)分析：设男女存活率分别为1和2 若男女存活率相同，则均为718/2208=0.325 本问题等价于检验如下假定： H0: 1=2 H1: 12男女合计实际生存人数374344718总人数1738 4702208期望生存人数17380.3254700.3252检验(例题分析2-3)H0: 1=2H1: 12 = 0.05df = (2-1)

21、= 1临界值(s):统计量: 在 = 0.05的水平上拒绝H0有较充分的理由认为生存状况与性别相关 决策:结论:203.8415 =0.1思 考 1问题1： 为什么2检验采用右单侧检验而不采用双边检验？答：因为应用2检验时，原假设H0实际上可以概括为: 观测频数期望频数，备择假设H1为：观测频数期望频数，而2统计量的值越小，表明观测频率与期望频率越接近，越因该接受原假设，因此，拒绝域应该在2分布的右侧，故采用右单侧检验。思 考 2问题2： 如何解释2统计量的自由度为(R-1)(C-1)？C1C2C3C4合计R1RT1R2RT2R3RT3合计CT1CT2CT3CT4品质数据的假设检验品质数据拟合

22、优度（比例）检验独立性检验Z 检验一个总体 检验Z 检验 检验两个以上总体两个总体(1) 对于学生宿舍上网收费的新措施，男女学生的抽样调查结果如下列联表所示，如果要检验男女生赞成上网的比例（ 1 和2 ）是否相同，则提出的原假设为： ( ) A. H0: 1=2= 0.678 B . H0: 1=2= 45 C. H0: 1=2= 0.322 D. H0: 1=2= 42检验(1)所使用的2统计量的自由度为( ) 采用（ ）(左侧，右侧，双边)检验 练 习 （2）C男学生女学生合计赞成454287反对10578183合计1501202701右侧(3) 对于学生宿舍上网收费的新措施，男女学生的抽

23、样调查结果如下列联表所示，如果要检验男女生赞成上网的比例是否相同，即检验H0: 1=2= 0.322，若给定=0.05，得出的结论是： ( ) A. 拒绝原假设 B . 不拒绝原假设 C. 可以拒绝也可以不拒绝原假设 D. 既不拒绝也不接收原假设 B男学生女学生合计赞成454287反对10578183合计1501202709.4 列联表中的相关测量9.4.1 相关系数9.4.2 列联相关系数9.4.3 V 相关系数列联表中的相关测量品质相关对品质数据(分类和顺序数据)之间相关程度的测度列联表变量的相关属于品质相关列联表相关测量的统计量主要有 相关系数列联相关系数V 相关系数 相关系数(corr

24、elation coefficient)测度22列联表中数据相关程度对于22 列联表， 系数的值在01之间 相关系数计算公式为 相关系数(原理分析)一个简化的 22 列联表因素Y因素 X合计x1x2y1aba + by2cdc + d合计a + cb + dn 相关系数 (原理分析)列联表中每个单元格的期望频数分别为将各期望频数代入 的计算公式得 相关系数 (原理分析)将入 相关系数的计算公式得ad 等于 bc ， = 0，表明变量X 与 Y 之间独立若 b=0 ，c=0，或a=0 ，d=0，意味着各观察频数全部落在对角线上，此时| =1,表明变量X 与 Y 之间完全相关， | 越接近1，相关

25、程度越大，列联表中变量的位置可以互换，的符号没有实际意义，故取绝对值即可 相关系数取值范围 (原理分析)对22列联表，-1 1对非22列联表，故对非22列联表，系数将随着R或C的变大而增大，且值没有上限，故不适合用系数测定两个变量的相关程度。列联相关系数C(coefficient of contingency)列联相关系数C用于测度大于22列联表中数据的相关程度计算公式为C 的取值范围是 ，其中m=min(R, C)C = 0表明列联表中的两个变量独立C 的数值大小取决于列联表的行数和列数，并随行数和列数的增大而增大列联相关系数(优缺点)优点：计算简单，对总体分布没有任何要求。缺点：根据不同行

26、和列计算的列联相关系数不便于比较。V 相关系数(V correlation coefficient)由Gramer提出，计算公式为 V 的取值范围是 0V1 V =0表明列联表中的两个变量独立 V =1表明列联表中的两个变量完全相关不同行和列的列联表计算的列联系数不便于比较当列联表中有一维为2，min(r-1),(c-1)=1,此时V=列联表中的相关测量(例题分析)【例9.2】一种原料来自三个不同地区，原料质量被分成三个不同等级。从这批原料中随机抽取500件进行检验，结果如下表。分别计算系数、C系数和V系数，并分析相关程度（假设已检验得到地区和材料质量相关）地区一级二级三级合计甲地区52642

27、4140乙地区605952171丙地区506574189合计162188150500列联表中的相关测量 (例题分析)解：已知n=500，19.82，列联表为33结论：三个系数均不高，表明产地和原料等级之 间的相关程度不高、C、V 的比较同一个列联表，、C、V 的结果会不同在对不同列联表变量之间的相关程度进行比较时，不同列联表中的行与行、列与列的个数要相同，并且采用同一种系数(1) 对于学生宿舍上网收费的新措施，男女学生的抽样调查结果如下列联表所示，如果要检验男女生赞成上网的比例是否相同，若根据数据计算得到|=1，则： ( ) A. 男学生全部赞成，女学生全部反对 B . 男女学生全部都赞成 C

28、. 男女学生全部都反对 D. 男学生全部赞成，女学生全部反对；或男学生全部反对，女学生全部赞成练 习 （3）D男学生女学生合计赞成454287反对10578183合计150120270(2) 以下测度列联表中数据的相关程度的参数，取值范围有可能不在0,1范围内的是：( ) A. 相关系数 B . C相关系数 C. V相关系数 D. A、B、C都有可能 A9.4 列联分析中应注意的问题9.4.1 条件百分表的方向9.4.2 2分布的期望值准则条件百分表的方向（1）列联表中行列变量的置放位置习惯做法：将自变量X放在列头，因变量Y放在行头，条件百分比按照自变量的方向计算 例如：调查不同职业的人的价值

29、取向，职业看作自变量，价值取向为因变量， 如左表，从左表数据可以看出：从事服务业的人更注重人情关系。价值取向Y职 业 X制造业服务业物质报酬%105724556人情关系%40283544合计件百分表的方向（2）列联表中行列变量的置放位置(2) 如果因变量在样本内的分布不能代表其在总体内的分布，仍以自变量方向计算百分比，就有可能歪曲事实。条件百分表的方向（3）例如：欲研究家庭状况（自变量）对青少年犯罪（因变量）的影响。某地区从未犯罪的青少年有10000名，曾犯罪的青少年150名。如果从未犯罪的青年中抽取100名，从有犯罪记录的青年中抽取75名，从左表调查结果是否可以说在完整家庭中，有29%的青少年犯罪？青少年行为家庭状况完整家庭离异家庭犯罪%38293782未犯罪%9271818合计能 ，因为在犯罪青年中抽取的样本比例比其在总体中的比例大。条件百分表的方向（4）例如：将计算百分比的方向交换，可得左表。则有：在未犯罪的100位青少年中，92%来自完整家庭，8%来自离异家庭。青少年行为行为