考试数据的相关性分析

1、:;2009年第5期考试数据的相关性分析李付鹏摘要;败据的相关性分析長考试数据统计的一个篁要方而，本文从Cnmbacha信度系数和Pearaon相 关系数为理论基础，对组成试卷的各测试子目标之何以及各测试子目标与试卷总体测试目标之间的相关性 作了分析，指出了该方法具体运用的可行性以及实际应用时需曼注意的一些问题。关51词:Pearson相关系数；Cronbach a信度系数;相关性分析China Examinations , 47 1994-2012 China Academic Journal Electronic Publishing House. All rights reserved.

2、 h(tp：/:;2009年第5期China Examinations , # 1994-2012 China Academic Journal Electronic Publishing House. All rights reserved. h(tp：/:;2009年第5期【中图分类号G405【文献标识码】A1 5ls考试成绩数据中蕴涵了大量的信息,对数据信 息进行统计分析,有助于命题人员及时发现题目设 计所存在的问题，有利于进一步提高试题质量。我 们检索文献发现,考试研究人员对考试数据的统计 分析大部分集中在试题的难度、区分度以及试卷效 度、信度和正态性等方面，对组成整张试卷的各测 试子

3、目标之间以及各测试子目标与总体测试目标 之间（如果组成试卷的毎个题目可以作为一个测试 子目标，各测试子目标则等同于每个题目，总测试 目标则等同于试卷测试做要达到的总体测试目标） 的相关性研究较少，这方面研究的价值在于发现命 题拼题组卷过程中岀现的偏差（如测试目标重叠, 测试目标的可靠性偏低等）和及早调整试题结构, 以提高命题的测试效果。本文就这方面进行探索性 研究，以期望对我们的命题工作有所参考和帮助。【文章编号】10058427（2009）05）475本文首先就考试数据的相关性分析作概要描 述并给出两个用于相关性分析的数学工具，然后就 测试子目标之间的相关性以及各测试子目标与总 体测试目标之

4、间的相关性给岀具体的应用方法, 并以实例作出相关性分析和解释，最后给出我们 的结论。2考试数据相关性分析的理论概述教育考试中，考试结果的信度、试题的区分度、 每个题目得分与试卷总分的关系，以及题目之间的 关系等等，都是考试研究的重要内容，最主要的研 究方法就是数据的相关性分析。相关性分析是检査两个或多个变量之间关系 的一种统计方法，在众多的教育考试数据的相关性 分析方法中,Cronbach a信度系数法和Pearson相 关系数法是比较常用的两种方法。Cronbach a信度系数法计算公式：China Examinations , 48 1994-2012 China Academic Jou

5、rnal Electronic Publishing House. All rights reserved. h(tp：/理论与实跋 heory and Practice式中n为试题数心为第i题的标准差,$为总 分的标准差。这种方法实际上就是将考试中所有试 题间相关系数的平均值（又称内部一致性）作为a 信度系数。Cronbach a信度系数是估计考试结果可 靠性的一个常用方法，在很多的考试数据测试报告 中都将Cronbach a信度系数作为试卷的信度指标, 然而试卷的信度并不能仅仅取决于此，这超出了本 文讨论的范围。Pearson相关系数法计算公式:式中引为第i个考生第j题的得分,张为第i个考

6、 生第k题的得分內为第j题的平均分,为第k题 的平均分山为测试样本量，这种方法既可以计算两 个连续变量之间的相关性，也可以计算一个双歧变 量与一个连续变虽之间的相关性。3原始数据的预处理原始数据来源于某省普通高考成绩库,我们以 该省某个地市理科考生数学六个解答题作为分析 的测试目标，对原始成绩数据作了以下预处理：1）所有的样本仅取卷面分数，不包含政策加分, 政策加分是与相关性分析的无关因索，应排除其对 相关性分析的干扰；2）由于缺考、违规违纪等原因,部分考生的题 目作答没有能够真实反映考生的实际水平，分析 试题的测试效果时，其考试成绩不具有统计意义, 我们的数据测试样本中不包含这类考生的成绩

7、数据；3）艺术体育类考生的数学成绩一般较低，很多 考生选择艺术体育类就是源于数学成绩不好，因 此，我们不对这部分考生进行分析；4）考生总分偏低必然是组成总成绩的各题目 成绩偏低造成的，根据公式（2）,考生各题目得分都 偏低的题目之间必然存在着一定相关性，极端的情 况是总分为零分的各题目之间同样存在着相关性, 而实际上题目间是不相关的，因为考生根本就没有 作答。4测试子目标的分类和确定4(5 1| 呼国苇阿J - . : Elcc i. li il / ： .J I . / i - :v.xh(tp:ki .net大规模教育招生考试一般都具有明确的测试 目标，尤其是高考这样大规模的教育招生考试，

8、对 于某门学科来说，实施测试之前必然是先确定总的 测试目标和要求，然后确定各个测试子目标和要 求，在命制试题过程中也必然按照各个测试子目标 选择素材,确定各个测试题目。测试子目标必须体 现和反映总的测试目标，通过对成绩数据的相关性 分析是研究两者关系的一个有效方法。相关性分析 之前，先确定学科测试子目标，这可以通过命题蓝 图或者命题双向细目标（或多维细目表）获取。在大 规模教育招生考试中，可以将试卷的每一个试题作 为一个测试子目标，因为每个题目都是测试考生不 同方面的能力，在大规模考试中，应避免对考生同 一种能力重复测试，如果多个题目均测试考生的同 一种能力,应该将这些题目合并,或仅保留一个题

9、 目，其余的题目删除,题目一测试目标要具有一致 性；也可以按试卷中相同的知识体系归类成几个不 同的测试子目标，如数学可以分类为三角函数、立 体几何、解析几何;也可以按照所考査的能力 结构的不同分类,如数学观察力、数学记忆力、空间 想象力、数学思维力、数学化能力等。测试子目标 的确定没有统一的标准，但要坚持的原则是按照某 种归类方法所确定的测试子目标之间不能重迭和 交叉。确定了测试子目标之后，就可以进行相关性 分析了。:2009年弟5期5测试目标之间的相关性分析1)测试子目标与总测试目标之间的相关性分析 总分是考试总测量目标实现程度的度量和体 现,每一个测试子目标的得分是考试测量子目标实 现程度

10、的度量和体现，测试子目标都应该对总测量 目标做出贡献，用分数体现就是每一个测试子目标 的分数都应该是总分上的正向的累加。因此，可以 用题目得分与总分之间的相关性作为测试子目标 与总目标之间相关性的度量。与总分相关性较低的 测试子目标所对应的题目应该考虑改进和调整,尤 其是在选拔性的考试中,只有增加与总分相关性较 高的测试子目标，才能最大限度地实现总的测试目 标，才能最大限度地区分不同水平的考生。从公式(1)可以看出,Cronbach 系数公式通 过对组成某试卷的各个试题的标准差之和与总分 标准差之间的关系来反映系数，不同题目的标准 差不同，对系数的影响程度也不同,即不同题目 对整体试卷的信度贡

11、献不同。因此,我们可以根据 Cronbach a系数公式研究组成试卷的不同题目与 整体试卷的相关性，也就是可以研究测试子目标与 总测试目标之间的相关性。需要注意的是，计算测试子目标与总测试目标 相关性时总分中不能含该测试子目标所贡献的分 数，如果总分中包含了测试子目标贡献的分数，在 计算相关性时，就必然包含了测试子目标与自身的 相关性。消除自身相关的方法是,在研究某道试题对整 个试卷的贡献时，可以删除该试题，重新计算a系 数，删除之后的Cronbach a系数计算公式如下：式中,K为待计算的试题序号。2)测量子目标之间的相关性分析在规范性的大规模考试中，测量子目标之间的 相关性不应该很高，从上

12、文的论述中我们知道，如 果两个测量子目标的相关系数比较高，我们就应该 对这两个测量子目标重新审视,有可能这两个测量 子目标实际上测量的是同一个目标，认识到这一 点，对于高考命题非常重要,同一个试卷中的高相 关题目很可能是因为岀现了同一个测试子目标的 重复测试，对相同的测试目标重复测试对考生来说 是不公平的,也同样会降低考试的效度。岀现这种 情况,这两个测量子目标应该合并为一个测量子目 标,或者删除其中的一个测量子目标。Pearson相关系数可以计算两个连续变量之间 的相关性，对于某一考生群体来说,知道了该群体 两个不同题目的分数分布情况，就可以计算这两道 题目之间的相关性，因此我们可以通过Pe

13、arson相 关系数来分析不同题目之间的相关性，也就是可以 研究测试子目标之间的相关性。分析两个测试子目标之间的相关性需要特别 注意的是,文献4指出两个变量可能会受某一共 同因素的影响，如某学科考试中试题之间的相关关 系可能会受到本学科能力的共同影响;两个变量也 可能测量了某种共同的目标，例如英文写作与英 文阅读之间的关系。这种情况是可能存在的，因此 在确定测试子目标时，必须避免测试子目标之间 的重叠，小规模测验或学科模块的阶段性测试的测 试子目标的确定比较困难，事实上这类测验题目之 间必然是高相关性的，因为测试的内容来自于一个 知识体系，所以这类考试的题目之间的相关性分析 意义不大。6实例分

14、析我们用上述介绍的理论对测量于目标与总测 试目标之间的相关性以及测量子目标之间的相关China Examinations 49 1994-2012 China Academic Journal Electronic Publishing House. All rights reserved. h(tp：/理论与实践heory and Practice50 !中国考试 Academic Journal Elevtronic Publishing House. All rights reservedhttp:ki.nel# !中国考试 Academic Journal Elevtronic Pub

15、lishing House. All rights reservedhttp:ki.nel性作实例分析,以组成试卷的各个题目得分作为测 试子目标。研究对象是某省高考数学六个解答题的得分 情况（不是整张试卷）,两组实验数据分别源于两年 的高考数据成绩。试验分两组进行,第一组研究每 个题目得分与六个解答题总分之间的相关性，分析 工具为Cronbach a信度系数，样本数为142688,试 验结果如表1和表2所示;第二组研究六个解答题 每两个题目之间的相关性，分析工具为Pearson相 关系数，样本数为95592,试验结果如表3所示。表1总体分析Cronbach a信度标准化后的Cronbach a

16、信度测试子目标总数0.8400.8466表2各题目得分与总分之间的相关性题号题目一总分 相关性统计删除题目后 Cronbach a 信度T10.7120.796T20.6860.799T30.6610.805T40.6460.809T50.5310.832T60.5510.830表3各题目之间的相关性T1T2T3T4T5T6T11.0000.0930.3460.4420.3660.215T20.0931.0000.3060.2940.2930.182T30.3460.3061.00005510.5230.390T40.4420.2940.5511.0000.7630.440T50.3660.2

17、930.5230.7631.0000.463T60.2150.18203900.4400.4631.000从表1可知Cronbach a信度系数为0.846,基 本上满足了大规模考试对考试结果信度的基本要 求,但还需进一步提高。表2可以分析每道解答题的测试效果。从题 目一总分相关性统计可知，六个题目与总分的相关 性都高丁 0.5,但每个题目与总分的相关性不尽相 同，题目T1与总分的相关性最高，题目T5与总分 的相关性最低（每个题目的满分值可能不相同，相 关性大小不能以该题实际得分的大小进行比较，通 过上述题目一总分相关性统计分析后才能进行比 较）。就选拔效果来看,这次考试题目T1对考生的 选拔

18、性能优于题目T5,且选拔性的优劣顺序为Tl T2T3T4T6T5o观察最后一列我们可以知道删 除该题后的主观题整体的Cronbach a信度变化情 况。由信度统计表我们知道,整体的Cronbach a是 0.846,删除某一题目之后，所有题目对应的整体 Cronbach a均有所降低。降低幅度的变化各有不 同，这说明不同的题目对整体的信度影响程度不一 样。由信度的公式可知，试卷中试题的数量的多少 影响整体的信度，试题数量增加,a信度系数也相应 的增加，从这个意义上说题目的减少必然会导致信 度的降低，因此，我们考查题目对整体信度的影响 应该在题目删除后比较各个题目降幅的大小，题目 删除后信度降幅

19、大的题目对整体信度的贡献就相 对大一些。增加题目数量是增加试卷信度的一条途 径，但在有限的考试时间内,靠增加题目数量增加 信度的做法并不可取，主要的途径还是设法增加每 一道题目对整卷信度的增幅。在数据统计分析中,教育研究工作者常常把题 目一总分相关性作为该题目的区分度。需要说明的 是用不同的区分度度量方法所得出的区分度数值 是不一样的，但不管用哪种计算公式，试题区分度 的变化趋势应该是一致的，题目区分度的排列次序 应该相近的。表3的统计结果可用于题目之间相关性的分 析。表中的大部分题目的相关系数都比较适中，但 题目T4和题目巧之间的相关程度远髙于其他几 个题目，我们可以确信这两者之间一定存在着

20、比其 他题目之间更紧密的关系,即这两个题目之间的相 关性高于其他几个题目之间的相关性。进一步査阅 资料，我们得知，题目T4考査函数的概念、导数的 应用、函数的单调性和极值等知识，题目T5考查考 生运用数学知识解决问题和推理的能力，考查等# !中国考试 Academic Journal Elevtronic Publishing House. All rights reservedhttp:ki.nel:2009年第5期差、等比数列的基本知识，考杳分析问题和归纳推 理的能力，两题在整张试卷中属于比较难的题目， 从考査内容上两题目之间相关性不应该很高，进一 步分析参考答案和考生的答题情况我们发现，

21、题目 T5的求解包含了初等函数的思想，两题冃都涉及到 了分段函数的考査，如果考生没有分段函数讨论的 概念,两道试题都不可能获得高分,如果对分段函 数的概念比较熟悉,对于两个题目的解答都比较有 利。自此，我们就可以清楚地看出两者之间考试测 量的内容具有重叠性。这是导致两题相关性高的原 因。为验证我们的判断，我们进一步对这两道题目 的得分成绩进行了分析，研究发现在所有95592名 考生中，题目T4和题目T5得分都在10分以上的 考生共20312人，题目T4得分在10分以上的有 31335人，题目T5得分在10分以上的有24157人, 从这两题高分考生的数目可以看出，考生的分数也 具有一定的重叠性，

22、题目T4获得髙分的考生题目 T5也能获得高分，题目T5获得高分的考生题目T4 也能获得高分。对于这两题低分段的考生分数进行 分析,可以得到和上述类似的结果，所不同的是，两 题低分段考生分数相关可能还含有两题测试内容 的重叠之外的因素，比如水平极差的考生对测试目 标的掌握有限，对题目的解答所获得的分数不足以 作相关性分析。在我们的数据样本中，我们删除了 分数低于15分的考生的成绩，这部分考生的成绩 不适合于做相关性分析。7结束语相关性分析是考试数据分析中一项重要的内 容,分析的前提条件是必须对数据分类，按类分别 确定测试子目标后才能分析和解释。需要说明的 是，相关性分析的统计结果的解释比统计分析的数 据结果本身更重要。本文以Pearson相关系数和 Cronbach 信度系数为分析T具，对组卷的各测试 子目标之间以及各测试子目标与试卷总体测试冃 标之间的相关性作了分析，对分析的结果进行了合 理的解释，分析和解释有助于命题人员及时调整和 优化命题组卷的结构,尽量避免考查目标的重复测 试,对于提高试题的总体质量有一定的意义。参考文献11张厚聚，刘昕考试改箪与标准参照测验M.沈阳:辽宁教育岀 版社.1992.2教育部考试中心高考数学测世理论与实践M.北京:髙竽教育 岀版社.2005.雷新勇考试数据的统计分析和解释M.上海:华东师范大学岀 版社