线性代数试卷分析

1、学校编号10394学 号 20151220图书分类号密 级全日制专业学位研究生硕士学位论文线性代数试卷分析The Ana lysis of Linear AlgebraExamination Paper叶康培养方式： 全日制（双证）学位类别：教育硕士学科专业： 学科教学（数学）研究方向：数学命题与评价研究 指导教师： 张圣贵教授 申请学位级别：硕士论文提交日期：2017年3月22日 论文评阅人：论文答辩日期：2017年5月25日 答辩委员会主席：王钦敏学位授予单位： 福建师范大学 学位授予日期：2017年6月20日2017年6月中文摘要试卷分析是教育测量与评价的重要内容.一次考试带给我们的信息

2、，不只是分 数或等级排名，还有更多的信息可以发掘和利用.通过深入地分析试卷，不仅可以 对试卷的整体质量和存在的问题作出准确的判断，而且可以为学生的学习与教师的 教学提供恰当的反馈意见.本文从试卷质量与考试成绩两个方面来分析试卷.本文首先介绍了试卷分析的理论与方法，然后以线性代数期末考试试卷为例, 基于学生的考试数据，根据真分数理论，采用量化研究与质性研究相结合的方法， 对试卷质量的各项测量评价指标逐一分析，接着分析了各种题型的难度与区分度以 及各难度段、区分度段的题量、分值分布，从而得到试卷质量的整体评价.然后，根据数理统计有关理论与方法，运用SPSS软件，分别对全体考生与不 同考生群体的期末

3、总得分、知识内容得分、认知目标掌握情况逐一分析，并对考试 成绩与平时成绩进行回归分析.最后，通过改进传统的考试报告方式，得到试卷层面与试题层面以及学生得分 层面的分析报告.关键词：线性代数，试卷质量分析，考试成绩分析AbstractAbstractExamination paper analysis is an important content of the education measurement and evaluation. After an examination, we can not only obtain the score or rating, but also disco

4、ver more information. Through in-depth analysis of a test paper, we can not only accurately judge overall quality and problems in the exam, but also provide appropriate feedback for students and teachers. In this paper, we analyze the test paper from two aspects: test paper quality and examination r

5、esults.Firstly, this paper introduces the theories and methods of examination paper analysis. Secondly , basing on the students5 linear algebra test data, adopting the combination of quantitative and qualitative research methods, we analyze each evaluation indicators of the examination paper quality

6、, and the difficulty and distinction degree of the various question types. Thirdly, we analyze the topic quantity, score distribution of the different difficulty and partition degree. At last, overall evaluation of the paper quality is obtained.By applying the mathematical statistics theories and me

7、thods, SPSS software, we analyze all the candidates final total score, knowledge score and cognitive goal score. Then, regression analysis is carried out on the test scores and grades.Finally, through improving the traditional way of examination report, we get the whole test and students score analy

8、sis report.Keywords: linear algebra, quality analysis of test paper, test scores analysis中文文摘如今高校以教学为中心，教学的主要任务是以系统的科学文化知识为载体，培 养学生多方面的能力与素养，使得每个学生得到不同的发展.教学质量是教学工作 的生命线，成绩考核是评价教学质量的重要措施之一，而成绩考核能否有效地体现 教学质量的关键在于试题的命制，也就是试卷的质量.因此，对于试卷质量的分析 与评价显得尤为重要.经过考试之后的试卷分析，可以知道试卷是否可靠、有效，可以知道试题质量 的高低程度，可以让学生了解自身的

9、知识掌握情况以及自己在考试中的表现水平， 也可以为教师教学提供有价值的反馈信息.作为大学公共必修课程的线性代数， 在自然科学、工程技术和国民经济的许多方面都有广泛的应用.基于此，本文试图 从两个方面来分析线性代数试卷：试卷命制质量分析、考生的成绩分析.其中，试 卷质量分析包括试卷的各项质量评价指标的分析，以及试卷题型、题量、分值与难 度结构等方面的深入分析.考试成绩分析主要包括考生期末考试总得分、考生的知 识得分以及认知目标掌握情况分析，不同成绩之间的相关回归分析.本文分为以下 六个部分：第一章是绪论，分别介绍了论文研究的背景及意义，试卷分析的研究现状，论 文的研究思路和方法.试卷分析是教育测

10、量与评价的重要内容，其目的在于准确判 断试卷的总体质量和存在的问题，以及诊断考生的知识和能力水平，最后提供有价 值的反馈信息.现阶段国内大多混合运用经典测量技术和现代测量技术来评判试卷 质量.本文拟采用多种方法从试卷质量与考试成绩分析两个方面来展开研究.第二章是试卷分析的理论与技术，分别介绍了真分数理论模型、信度理论、效 度理论以及项目难度、区分度的概念与计算方法.真分数理论模型主要就是一个观 测分数等于真分数与误差分数之和的线性模型，根据这一模型可以构建起真分数理 论的信度、效度概念与计算方法.试卷信度是用来描述测试结果的稳定一致性程 度，通常采用分半法和科隆巴赫a信度系数法来计算试卷的内部

11、一致性信度.效度 是指试卷测量出所要测量的特质的程度.通常采用定性分析与定量分析相结合的方 法来考察试卷的效度.项目分析的目的在于考察试题的质量，包括试题的难度与区 分度分析.难度是用来量度考生回答试题时表现出来的困难程度，区分度是用来量 度试题对于不同水平考生的鉴别程度.第三章是试卷质量分析，本章是实证分析部分，从福建师范大学数学与计算机 科学学院中随机抽取两个本科专业的考生作为样本，以他们的线性代数期末考试试 卷作为研究对象，分别对试卷的信度、效度与试题的难度、区分度进行逐一分析.首 先，用a系数法计算得到试卷的信度为0.726,并具体分析了每道试题对试卷信度 的影响程度.其次，使用考试内

12、容与能力要求的双向细目表来定性分析试卷的内容 效度，以期中成绩和平时成绩的平均值作为效标分数，采用相关法计算得到的试卷 效标关联效度为0.669.然后，分别采用不同方法计算了各试题的难度与区分度， 并制作各试题难度与区分度的编排动态曲线图，在选择和编排试题上提出相关建 议.然后计算了试题相对于不同考生群体的难度值，并对表现差异进行比较.最后 分析了各种题型的难度与区分度以及各难度段、区分度段的题量、分值分布.第四章是考试成绩分析，运用多种统计分析方法分析了考生的线性代数期末考 试总成绩、知识得分与认知目标得分.对样本期末考试数据分布进行检验，得到其 分布呈近似正态分布.样本考生的平均分为58.

13、8,两种专业考生的期末得分差异显 著，而男女考生的期末得分不存在显著差异.根据线性代数课程标准与教材工程 数学线性代数将试卷所考查的知识内容划分行列式、矩阵及其运算、线性方程 组、向量组的线性相关性、相似矩阵、二次型和线性空间七个部分，并计算考生在 这七个部分上的得分率.考生在矩阵及其运算知识块上得分率最高，在二次型知识 块上的得分率最低.对不同专业考生与不同性别考生群体的知识得分进行差异检验， 考生在向量组的线性相关性与线性空间两部分内容上差异显著.男女考生在不同知 识块上的得分差异不显著.将考生认知目标的掌握情况由低到高分为领会、初步应 用、综合运用三个层次，并计算考生在这三个层次上的得分

14、率.考生在各认知目标 层次上的得分率均不低于50%.接着检验不同考生群体认知层次得分的差异，不同 专业考生在领会和综合运用层次上差异显著，男女考生在三个认知目标层次上的得 分不存在显著的差异.最后，应用SPSS软件对学生平时成绩分数、期中考试与期末 考试的考试数据作相关回归分析，结果表明平时成绩、期中成绩与期末成绩之间存 在线性相关关系，期中成绩对期末成绩的影响更大.第五章是试卷分析报告，本章是在综合试卷质量分析与考试成绩分析的基础上 得出的试卷反馈信息汇总.分别从试卷、试题与考生得分三个层面给出试卷分析报 告.整卷层面，给出试卷质量的整体评价结论，并对提高试卷的信度、效度给出建 议.试题层面

15、，依次报告各种题型的难度与区分度，接着以难度适中、区分度较高 的试题为例，对其内在特征作逻辑分析.考生得分层面，依次报告考生的总得分、 知识得分、认知目标得分以及不同考生群体在这几个方面的得分差异，接着报告考 生的期末成绩、期中成绩与平时成绩三项成绩的相关回归分析结果.最后随机抽取 一名线性代数期末成绩为60分的考生，从而得到其知识内容与认知目标掌握情况的 诊断报告.第六章是研究结论与展望，对本文将教育测量与统计方法应用于试卷分析的研 究进行回顾总结，并提出研究展望.目录 TOC o 1-5 h z HYPERLINK l bookmark1 o Current Document 中文摘要 1

16、Abstract Ill HYPERLINK l bookmark4 o Current Document 中文文摘. V目录 .IX HYPERLINK l bookmark16 o Current Document 第一章绪论-1- HYPERLINK l bookmark19 o Current Document 1.1研究背景及意义 -1- HYPERLINK l bookmark22 o Current Document 1.2试卷分析研究现状 -2- HYPERLINK l bookmark25 o Current Document 1.3研究思路和方法-4. HYPERLINK

17、l bookmark28 o Current Document 1.4 论文结构安排-4- HYPERLINK l bookmark31 o Current Document 第二章 试卷分析的理论与技术 -7- HYPERLINK l bookmark34 o Current Document 2.1真分数理论模型.7- HYPERLINK l bookmark37 o Current Document 2.2信度理论 -8- HYPERLINK l bookmark45 o Current Document 2.3效度理论 -9- HYPERLINK l bookmark48 o Curr

18、ent Document 2.4项目分析技术-10- HYPERLINK l bookmark51 o Current Document 2.4.1项目难度-11- HYPERLINK l bookmark56 o Current Document 2.4.2项目区分度-13- HYPERLINK l bookmark59 o Current Document 第三章试卷质量分析-17- HYPERLINK l bookmark62 o Current Document 瞄的信度分析-17- HYPERLINK l bookmark65 o Current Document 试卷的效度分析-1

19、9 - HYPERLINK l bookmark68 o Current Document 试题的难度分析-20- HYPERLINK l bookmark71 o Current Document 3. 3.1试题对不同考生群体的难度比较-22 - HYPERLINK l bookmark74 o Current Document 3.4试题的区分度分析 -24-3. 5试卷难度与区分度的分布 - 26 - HYPERLINK l bookmark80 o Current Document 第四章 考试成绩分析 -29- HYPERLINK l bookmark83 o Current Do

20、cument 4.1考生期末成绩分析 -29- HYPERLINK l bookmark86 o Current Document 4.2考生知识得分分析 -31-4.3考生认知目标掌握情况分析.-34- TOC o 1-5 h z HYPERLINK l bookmark92 o Current Document 4.4考试成绩与平时成绩的回归分析 -35- HYPERLINK l bookmark95 o Current Document 4.4.1期中成绩与期末成绩的回归分析-36- HYPERLINK l bookmark98 o Current Document 4.4.2期末成绩与

21、平时成绩的回归分析 -37-第五章分析报告. -39- HYPERLINK l bookmark104 o Current Document 试卷层面-39 - HYPERLINK l bookmark107 o Current Document 层面-40- HYPERLINK l bookmark113 o Current Document 5.3考生得分层面-41-第六章 总结与展望.45. HYPERLINK l bookmark119 o Current Document 6.1研究结论-45- HYPERLINK l bookmark122 o Current Document 研

22、究展望 -46- HYPERLINK l bookmark125 o Current Document 附录 -47- HYPERLINK l bookmark155 o Current Document 参考文献-53- HYPERLINK l bookmark201 o Current Document 致谢-57- HYPERLINK l bookmark204 o Current Document 福建师范大学学位论文原创性声明-59 - HYPERLINK l bookmark207 o Current Document 福建师范大学学位论文使用授权声明.-60 -第一章绪论1.1研

23、究背景及意义如今高校以教学为中心，教学的主要任务是以系统的科学文化知识为载体，培 养学生多方面的能力与素养，使得每个学生得到不同的发展.评价教学质量的一个 重要途径是考查学生的成绩，而成绩考核能否有效地体现教学质量的关键在于试题 的命制，即试卷的质量.评析一份试卷的质量，需要考虑测试结果是否客观、准确地体现了考生的真实 能力，还要考虑测试结果能否达到预期的测试目标，而且要考量试题的难易程度与 被试的实际水平是否相吻合，能否鉴别不同能力层次的考生.一份试卷是否达到预 期的考试目的，需要经过考后试卷质量分析方能知晓.通常情况下，考试的结果以 数据形式出现.通过整理和分析这些直接获取的数据，可以提炼

24、出有价值的信息， 从而能够对考试质量作出科学的评价.然而，有些高校的期中、期末考试的试卷在批改完之后，算出总分，最后得到 一个总分表，从此试卷就被束之高阁，对于考试结果进行统计分析的工作没有给予 足够的重视.从试题的编制到试卷的设计排版，再到施测、评阅，一份试卷凝聚了 命题人的智慧.整个过程不应该仅仅只是为了得到一个总分排序表，教师应该从中 得到更多的信息.有些学校在考试之后也对测试数据信息进行分析，但属于比较基 础简单的分析，并没有充分地解释和运用这些有用的信息，更没有对考试数据资源 深层次地分析与利用.基于考试结果可以对试卷命制质量、考生的知识和能力水平 进行分析，可以从考试信息收集与分析

25、中发现命题工作、考试工作和教师教学工作 中存在的问题与不足，找出当前状况与期望状况之间的偏差，启示以后的学习与教 学活动，从而制定相应的补救措施.深入透彻地分析试卷，对于提高教师的解题、 命题能力，对于教师的教学及专业化发展无疑是大有裨益的.另外，测验作为一种 评价方式，使用考试的数据展开评价工作，是达成教育考试变革和推动教育评价的 有效结合点.试卷分析的主要目的在于对试卷的总体质量和存在的问题作出准确的判断，并 给出恰当的反馈意见.通过对考试数据的利用、考试信息的反馈与交流，可以让学 生了解自身的知识掌握情况以及自己在考试中的表现水平，并针对自身课程学习的 不足之处制定相应的弥补性学习计划；

26、也可以为教师教学提供更多的反馈信息，从 而指导教学.1.2试卷分析研究现状形成于19世纪末，经过几十年的摸索与发展，并在20世纪4050年代日臻成 熟的教育测量理论称为经典测量理论.经典测量理论的核心理论基础是真分数理 论.该理论提出的一系列具体实用的统计分析技术，被广泛应用于心理测量和学业 成就评估领域.关于试卷质量的评价研究已经开始将质性反思与量化解释相结合， 使用真分数理论中的描述统计量来直观地刻画试卷的质量水平,20世纪3040年 代关于试卷质量的评价研究关注的重点是测量的信度和效度，因为它可以直接用来 说明试卷的可信程度及达成测量目标的程度,进而体现试卷的解释力和应用去向.在 此阶段

27、没有专门论证数学试卷质量的文章或著作，教育目标与测量目标达成的验证 成为研究的主流.60年代，国外心理学界和教育学界开始围绕真分数理论的弊端展开了激烈讨 论，直接导致一种新的教育测量理论的诞生，即项目反应理论.该理论将学业成就 的测量指向能力和人文的方向，使用严格的数学模型来描述不同层次的被试对于试 题的不同反应.60年代以来，项目反应理论和概化理论等现代教育测量理论开始在 国外的教育测量与评价领域中扮演了重要的角色.20世纪5070年代关于试卷分 析的研究更为关注教学目标和测验目标的多维性，研究的途径也更为广泛，不仅有 真分数理论的统计分析，还有概化理论的精度分析、预测分析和决策分析，同时还

28、 有项目反应理论的试题功能分析、被试能力分析和一致性分析.20世纪90年代， 围绕着项目反应理论产生了许多新的测量理论，如多维项目反应理论、非参数项目 反应模型等.近些年来，随着科学技术与教育教学水平的提高，人们不再满足给学生一个简 单的考试分数，而是希望考试能够提供考生的认知诊断信息，能够在考试之后提供 更多的评价信息.为了进一步提升经典真分数理论与项目反应理论等测量理论，人 们逐渐把测量学与认知心理学结合起来，并将现代统计方法应用于认知心理学模型， 从而形成了认知诊断理论.在此阶段，心理测量的设计与评价更加繁荣，关于数学 试卷分析的评价研究也逐渐多了起来.在国内，人们对试卷分析的研究主要是

29、基于教育测量理论和技术，从测试的内 部和外部入手，以微观的视角、量化的研究方法，来综合评判试卷的质量.当-前我 国仍处于经典测量技术与现代测量技术混合运用的阶段.凌云在其2002年出版的考试统计学一书中指出，考试命题设计、考试结果 处理和考试质量评价越来越需要运用统计学的原理和方法来研究和解决.并介绍了 常用统计量、统计图表、参数估计和检验、方差分析以及回归分析.雷新勇在其2006年出版的大规模教育考试命题与评价一书中运用经典真分 数理论、概化理论和项目反应理论论证了大规模教育考试的测量目标、内容规范、 试题规范的设计技巧.随后，他在其2007年出版的考试数据的统计分析和解释 一书中强调了考试

30、数据统计分析的实际应用，并以考试数据统计分析的概念、统计 学原理和方法为基础，运用统计软件对考试数据进行描述性统计和推断性统计分析, 并对输出结果进行详细的解释.武汉工程大学理学院的熊德之等人在他们2007年发表的文章基于数理统计的 试卷质量分析方法中指出，试卷质量是检验教学质量实况的关键，命制试题要紧 扣课程教学大纲，试卷质量分析是教育教学过程中的一个重要环节.该文运用数理 统计的方法，对试卷质量的多个方面提出考察指标，并以某次考试试卷为例，对各 项质量评价指标进行量化分析.东北师范大学的孔凡哲等人在他们2009年发表的文章试卷质量的影响因素与 质量分析指标体系中指出，考试试卷是最主要的评价

31、工具之一，试卷的质量在很 大程度上决定了测试的效果.因而，对试卷质量的分析要遵循一定的标准和质量分 析项目来进行,对常规考试，他们提出从五个方面来分析试卷：概述测试整体情况、 定量分析测试成绩、整套试卷的主要特点分析、试卷中的典型试题的质量分析、试 卷存在的问题分析，并提出了试卷质量分析的指标体系：试卷效度、信度、区分度 指标、试卷教育性分析指标以及试卷的命制技术运用的实效性分析指标.华中师范大学的吴慧萍在其2012年的硕士论文基于教育测量理论的中学数学 试卷质量评价研究中尝试在中学数学试卷质量分析上作深入研究.作者分别运用 经典测量理论与项目反应理论，试图科学地分析某次数学考试的试卷质量与考

32、试结 果，进而实现教育测量技术在中学数学试卷质量评价领域中的应用.综合来看，上述文献都是根据教育测量理论以及运用教育统计的理论与方法对 考试数据进行分析.相比项目反应理论、认知诊断理论等多种测量理论，真分数理 论在试卷质量分析中虽然有很多弊端，例如，测验的质量指标依赖于样本数据等.但 是只要使用恰当，在一定程度上仍然有重要的作用.当前，试卷的信度、效度以及 试题的难度、区分度仍是各考试命题中心以及试卷开发者重点关注的质量要素.传 统的测验信度、效度，项目分析的原理方法均是在真分数模型的基础上建立起来的.1.3研究思路和方法大学公共课线性代数是高等院校理工科和经济管理类各专业的公共必修基 础理论

33、课程之一.线性代数起源于17世纪，在1819世纪得到了蓬勃的发展，它 在自然科学、工程技术和国民经济的许多方面都有广泛的应用，它是处理和解决一 些实际问题不可缺少的有力工具，也是后续课程的重要基础.基于此，本文试图以 这门课程为例，分析某次线性代数期末考试的试卷.试卷分析主要包括试卷质量分析和考试成绩分析两个方面.试卷质量分析主要 包括试卷的信度、效度分析与试题的难度、区分度分析，试卷各种题型的难度与区 分度以及各难度段、区分度段的题量、分值分布等方面的深入分析.考试成绩分析 主要包括全体考生期末试卷总得分、考生的知识得分以及认知目标掌握情况分析， 不同成绩之间的相关回归分析.本文首先介绍真分

34、数理论与相关技术，并将该理论 应用于线性代数试卷质量的分析评价中，然后运用多种统计分析的方法来挖掘 考试数据，从中得出更多的信息来反馈于教师与学生囹.本文分别运用文献研究法、实验研究法以及质性研究与量化研究相结合的方 法.首先，通过查找、搜集、阅读大量相关文献，了解关于该研究的现状.掌握现 有研究的不足之处并借鉴其优秀之处，为本文有效的开展研究作坚实的铺垫.其次， 根据测量学和统计学的相关理论，运用SPSS及Excel软件对样本考试数据进行定量 分析研究，定量分析侧重于对考试结果进行数量化并加以分析和解释.由于任何事 物都是质与量的辨证统一.本文在评价考试质量时，同时采用定性研究来弥补定量 研

35、究信息量化方面的不足.1.4论文结构安排论文分为六章，具体安排如下：第1章：绪论，介绍目前高校试卷分析的不足之处以及试卷分析的意义，综述 国内外的相关文献，指出论文的研究思路和方法.第2章：介绍试卷分析的理论与技术，包括真分数理论模型、信度理论、效度 理论以及项目分析的技术.第3章：运用SPSS及Excel软件，定量分析试卷的各项常规质量指标，并进一 步分析试卷各种题型的难度与区分度以及各难度段、区分度段的题量、分值分布， 从而得到试卷质量的整体评价.第4章：应用数理统计理论考试成绩进行统计分析，分别对全体考生与不同 考生群体的期末总得分、知识内容得分、认知目标掌握情况逐一分析，并对考试成 绩

36、与平时成绩进行回归分析.第5章：改进传统的考试成绩报告方式，得到试卷层面、试题层面、考生得分 层面的分析报告，为教师和学生提供丰富的反馈信息.第6章：得出研究结论，主要是对全文进行反思和总结，指出本研究的不足之 处，为后续研究提出展望.第二章 试卷分析的理论与技术2.1真分数理论模型真分数理论也称经典教育测量理论，属于教育测量学的范畴，初期的心理与教 育测量是参照着物理测量的模型而发展起来的.在物理测量中，测量对象被认为是 恒定不变的，测量结果是被测对象真值与测量误差之和.对象真值被认为是大量反 复测量所得结果的期望或平均值，误差等于真值与实测值的差值，它是一个零均值 的正态随机量.教育测量与

37、物理测量不同，它的测量对象是人，是不能直接测量的、 内隐于个体内部的非实体性变量.测量过程只能直接观察到这些内部特质的外部表 现.虽然心理与教育测量跟物理量测量有很大的不同，但在对一些有着标准规范的 施测过程、评分过程，以控制某些随机误差的策略指导下，引进物理量测量的真值 就是反复施测的期望值的思想来建立计量模型逐步成为实际可行的做法.这样，就 形成了经典真分数理论，其数学模型为，X=TlE这里，X是观测分数，即被试在考试中的实际分数；，是真分数，即被试的实 际能力，它不能直接测得；E是误差分数.观测分数、真分数与误差分数都是随机 变量.这一模型假设：被试的实际能力是一个常量，误差分数的取值服

38、从期望为零 的正态分布.这里的假设是指，对某个特定的被试来说，其真分数取值是确定的， 是一个常量.然而，对多个被试而言，真分数就是随机变量了.当任一特定测验向 某确定被试，施测时，只能得到观测分数X，而不能得到被试的真分数7；.这里， 7； =g(XQ ,即被试在多次独立重复测试上所得观测分数X的期望.真分数理论采取概率模型的观点来处理心理和教育测量问题，将心理变量间的 关系视为随机变量的关系，而不是物理世界中常见的确定性变量间的函数关系；这 种研究取向无疑是正确的、科学的、符合实际情况的.另外，真分数理论继承了物 理量测量研究的风格，把信度理论即误差控制作为核心的部分地当然，真分数理论不仅研

39、究测验信度，而且还开展了心理量测量中更为重要的 测验效度问题的研究，并给出了特定的概念、原理与方法.而概化理论与项目反应 理论等现代测量理论，难以突破与超越经典真分数理论所研究的问题.因此，对真 分数理论仍应给予必要而足够的重视.在这些基础上，真分数理论开发出一整套理 论和统计方法，它包括试卷编制的程序和要求、试卷试题的定性与定量分析、试卷 质量的信度与效度评估等回.由于绝大多数考试数据都容易满足真分数模型中的假 设，并且计算方法容易为人所掌握，这使得真分数理论得到广泛应用.2.2信度理论信度的概念物理量测量理论的主要内容，就是控制测量中的随机误差、提高测量精度的误 差理论.参照物理量测量而发

40、展起来的真分数理论，同样首先主要讨论控制误差的 问题.由于已经假定被试真值不变，当测验对误差控制得较好时，用一批平行测验 对同一对象施测，所得观测分数的一致性就会高，这种分数就代表了被试真值的信 息，是可靠的、可以信赖的数据.所谓平行测验，是指两测验对同一总体被试施测 后，所得观察分数的平均数、方差都相等.一份高质量试卷的测验结果一定是可靠 稳定的，能够客观地反映考生的实际能力.所以，测验信度就是指一批平行测验对 同一对象施测所得观测分数的一致性、可靠性.这里，测验结果的可靠性即为测验 的信度.它反映的正是控制误差能力的大小6】.真分数理论中对信度的计算，一般用两次或多次测验结果的相关系数来表

41、示.按 照计算方法的不同，信度可分为重测信度、复本信度、内部一致性信度.重测信度 和复本信度这两种计算方法都需要对考生测验两次，而在实际操作过程中，难以用 同一测验或者复本对考生独立重复测试,在测验不可能重复测量、又无复本的情况 下，通常采用内部一致性信度的两种计算方法，分半法和a系数法.信度的计算与评价分半法是指先将一个测验分为两个独立的部分，例如，将全部测试题分为奇数 题与偶数题两个部分，再求两个部分试题得分的相关系数，计算公式为：r 一对公，其中，X表示每个被试的奇数题总分，r表示每个被试的偶数题总分，N表示 参加测验的总人数.由于分半法把全部测试题分为两部分，求出的信度会低于整张试卷的

42、信度.为 了求得整张试卷的信度，需要用Spearman-Brown公式校正.校正公式为，1 +明其中，为校正后的信度系数，明为分半信度系数.a系数法是指用科隆巴赫所创的。系数公式来计算内部一致性信度：其中，。即为试卷的信度；为总试题数；S,2为每道试题所有被试得分的方差；S?表示试卷总分的方差.科隆巴赫a信度系数的取值可用来评价试卷的质量.a值介于0到1之间.a值 越大，表明试卷质量越高.通常会选用。值在0.6以上的测验卷，。值在0.8到1 之间，表明测验卷非常适合学校考试；a值在0.7到0.8之间，表明测验大部分试题 较好，可能少数试题需要改进.2.3效度理论测验信度高低表明的是测验结果的稳

43、定可靠性，一份试卷信度高不一定表明这 是一个好的试卷.例如，天平多次测量某个物体的质量，所得结果差异很小，但是 如果该天平本身有错误，那么这种测量显然是无效的.因此，评估试卷质量时，还 有一个比较重要的评价指标：测验效度.测验的效度是选取和评判教育测验质量的 首要指标.(1)效度的概念效度是衡量测验结果的有效性程度的质量指标，是对一个测验所要测量的对象 是否被测量到或者测量到什么程度的估计.如果原来打算要测的内容，完全由所编 测验测到了，那么测验很有效，这样的测验效度就高；如果原来打算要测的内容， 编制的测验实际上只测到一部分，这样的测验其效度就不高；如果编制的测验没有 测到原打算测的东西，那

44、么这种测验的效度就很低了.可见，效度是与测试目的密 切相关的.根据测验目的，效度可分为内容效度、结构效度与效标关联效度凶.内容效度是指考试实际测到的内容与所要测量的内容的匹配程度，即测验的试 题在多大程度上代表了所欲测试的内容范围,结构效度是指考试分数能够说明某种 心理特质或行为属性的程度，注重的是测验内部结构的考查.效标关联效度是指测 验分数与作为效标的另一独立测验结果之间的一致性程度.效标是检验一份试卷是 否有效的外在参照标准，效标往往独立于考试，常用一个数字来进行量化.(2)效度的计算与评价对于内容效度，目前没有直接可用的公式来计算内容效度.评估测验内容效度 的高低关键是要了解测验内容对

45、预期测试内容的的代表程度.一般要求试卷中的每 -道试题都有清晰有效的考查目标，既要与试卷中其它试题相得益彰，也要与试卷 中其它试题相关性低.一般可以编制考试知识内容和能力要求的双向细目表来检验 内容效度，表格如下：表2.1反映测验内容与能力要求的双向细目表题号题型考查知识内容能力要求分值123根据该表，可以清楚的看到试题的取样代表性、测验知识技能水平的分布状况, 从而估计测验的内容效度的高低.对于效标关联效度的评估，主要是采用皮尔逊相关法来计算相关系数.由于效 标要客观可靠、实用有效，常用的效标有学业成就、实际的学习表现以及其他现成 的有效测验等，通过计算考试分数与效标分数之间的相关系数来估计

46、效标关联效度, 计算公式如下：式中，X表示考生的考试分数，T表示考生的效标分数，r值在0.45以上即表 明试卷是有效的，即能够反映预期的测试目的.2.4项目分析技术项目分析，也称为试题分析，是指根据考试结果，综合运用逻辑与统计分析的 方法对试卷各部分试题的编制质量进行分析.逻辑分析会考虑：项目考察的内容要 求能否达到预期目标；试题编制原则、实际编拟技能的运用；评分标准的正确性、 科学性等.统计分析主要是计算每个项目的技术质量指标或参数，包括难度、区分 度.这些都要从考试数据出发，依据被试作答实况深入地分析.没有考试数据，单 凭理性认识和过往经验，逐一审查所编拟出的试题，哪怕是多位专家集体会审，

47、也 不能说是严格意义上的项目分析，而只是一般的审题工作.考试数据通常是在测验 正式实施后或者施测前的试验性测试来获得.通过项目分析，能够考察各个项目的技术质量，进而能够筛选优秀项目，为试 卷整体质量分析提供扎实基础.对于不合格的试题，可以通过提高或降低难度、增 强鉴别力、减少猜测等方式来提高质量.项目分析是具体依据被试作答反应的数据 资料来进行的，因此，在项目分析的同时，必然可以获得被试在所测试特质上发展 状况的资料.特别是学业成绩测验，通过具体的项目分析，可以了解被试在哪些知 识点上掌握得不够；也可了解被试达到了何种水平，哪些方面发展得好.根据考试 数据计算试题的难度与区分度是试卷分析的一项

48、重要内容.2.4.1项目难度难度的概念项目难度是指测试试题的难易程度，是用来量度考生解答某道试题时所表现出 来的困难程度，它通过特定考生群体的考试结果来求得.试题的难易程度会直接影 响到试卷的信度与效度.难度的计算与评价试题的难度通常用字母P表示.难度的计算与试题的类型有关，下面分别介绍 客观性试题与主观性试题难度的计算方法.客观性试题只有对、错两种情况，根据定义，试题的难度等于答对该题的人数R 与参加考试的总人数N的比，计算公式如下：P上.N式中，P表示试题的难度值即试题的通过率.显而易见，难度值与试题的实际困难程度相反，即难度值P越大，通过的人数 越多，题目越容易.对于选择题，由于有猜测的

49、因素存在，为平衡猜测对难度的影响，可用如下公 式校正：CP= KPT .K-1式中，CF为校正后的难度值，K为选项个数.解答题、证明题按评分标准给分，这时用平均分数法计算试题的难度：X式中，无为被试在该题上的得分平均值，X为该题的满分.按照这种计算方法，整套试卷的总体难度等于所有考生总分的平均值与试卷满 分的比值.当考生人数较多时，各种试题的难度都可以选用极端分组法来计算.将被试按 总分从高到低进行排序，从最高分开始依次向下选出总人数的27%作为高分组，从 最低分开始依次向上选出总人数的27%作为低分组.对于选填题，计算公式如下：p =鸟 + 4一 2式中，P为试题难度值，Ph、月,分别为高、

50、低分组通过率.对于解答题、证明题，计算公式如下：Xh+XNL2N(H-L) .式中，X为高分组得分总和，X%为低分组得分总和，N为总人数的25%, H 为该试题的最高得分，为该试题的最低得分.试题的难度值最高为1,最低为0.一份试卷包含不同类型的试题，各项试题的 难度值多少才合适呢？通常，试题的难度在0.30.7之间为宜，全卷的平均难度要 求在0.5左右.难度太高或太低对试题的鉴别力以及试卷的信度、效度均有影响.当然，试卷难度水平的制定与测验的目的和性质密切相关.例如，当试卷用来 选拔优秀选手参加国际比赛时，如果录取率只有5%,那么试卷难度应该控制在0.05 左右.2.4.2项目区分度(1)区

51、分度的概念项目区分度是指项目鉴别考生水平高低的量度，用来区分考生的实际学业水 平.试题的区分度又称为试题的鉴别力，它是试卷分析的重要内容.在同一试题上, 如果知识能力水平高的考生得高分，水平低的考生得低分，这样的试题区分度就高, 有较强的鉴别力；反之，则说明试题的区分度低.项目难度和区分度都是项目技术 质量的重要指标，二者之间的关系密切，如下图：区分度江最大值1/ 0 x60600.10.30507 QS 1难度! 1图2.1试题区分度的最大值与难度的关系图中显示，试题难度与区分度不是成正比，试题难度过大过小，其区分度都较 低.试题难度在0.5左右时，其区分度最高可达到1.(2)区分度的计算与

52、评价区分度通常用。表示，一般采用极端分组法与相关系数法来计算.极端分组法 是指先将考生按总分进行排序，划分一定比例的高分组和低分组，选填题的区分度 计算公式为：D=pq式中，Ph、与分别为高分组和低分组的通过率.解答题、证明题区分度的计算公式为：N(H-L)式中，为高分组测试总分，X。为低分组测试总分，N为考生总人数的25%,H为某道试题的最高得分，为某道试题的最低得分.按照这种计算方法，可以算出整张试卷的区分度.区分度分析的目的是筛选试 题，那么区分度取值多少才算好呢？美国教育测量学家艾贝尔根据大量的实践经验 提出了区分度评价试题的标准，具体要求如下表.9】当然，根据不同测试要求，测 验中有

53、些试题的区分度低也是可以的.表2.2试题区分度的评价标准区分度值评价0.40以上优秀0.30 0.39良好，若修改会更好0.20 0.29尚可，通常需要改进0.19以下淘汰或修改、改进用极端分组法来计算试题的区分度，由于只使用了考试数据的头尾两个部分， 还有一些数据未能参与运算，使得结果不够精确.于是，采用相关法来计算试题的 区分度，即以考生在某道试题的得分与效标分数的相关系数作为试题区分度的指标, 相关系数越高，表明试题的鉴别力越高.由于效标分数不容易得到，通常用试卷总 分代替.测验总分属于连续变量，测验选填题属于二分变量（对与错），解答题、 证明题得分属于连续变量.所以，用相关法计算时，分

54、别采用点二列相关法、皮尔 逊相关法计算不同题型的区分度.用点二列相关法计算选填题的区分度：式中，r为某道试题点二列相关系数，入为考生答对某题的平均得分，X,为 考生答错该题的平均得分，b为考生总得分的标准差，p为该题的通过率，g为该 题的未通过率，q = l-p.用皮尔逊相关法计算解答题、证明题的区分度：”一怂/云）寸小式中，为相关系数，X为考生某题得分，丫为考生测验总分，为考生总人 数.区分度分析的根本目的在于筛选项目.对于不同的计算方法，鉴别项目的区分 度有不同的标准.用相关法来分析区分度时，一般不从绝对值来判断项目是否具有 鉴别力，而是对求得的结果进行相关系数显著性检验，若检验结果达到了

55、显著性水 平，则说明求得的相关系数结果具有显著意义，也即表明项目己经具有鉴别力了.用 极端分组法求区分度时，根据表2.2的评价标准来鉴别项目.第三章试卷质量分析为确保研究对象的代表性，本研究从福建师范大学数学与计算机科学学院2015 级大一学生中随机抽取两个本科专业的考生作为样本，以他们的线性代数期末考试 试卷作为研究对象，共109份试卷.试卷的测试内容为同济大学数学系编写的工 程数学线性代数整本书，试卷满分为100分，由四个部分组成.其中，选择题 (1-5),每题3分；填空题(6-10),每题3分；解答题(11-14),依次为10 分、14分、16分、16分；证明题(15-16),依次为8分

56、、6分，共计16道题.根据教学及考核评价要求，线性代数课程的总评成绩会综合考虑期末成绩、 期中成绩和平时成绩三个部分.本文在分析线性代数期末考试试卷的同时，不仅收 集了他们线性代数期末考试的考试数据，还收集了期中考试的考试数据以及这 些学生一个学期的线性代数作业完成情况的质性数据.通过采集考生卷面各题 的得分以及总得分，可以得到他们的期中、期末考试数据.教师通过让学生完成其在课堂上布置的作业，能够及时了解学生日常的学习情 况.教师在批改平时作业时，根据学生的作答情况，评定出、君、C、D四个等 级.为了得到学生平时成绩的分数进而方便研究，本文将这些质性数据量化，记等 级4为4分、等级3为3分、等

57、级C为2分、等级D为1分.由于每次作业批改一 半，未批改评级的作业统一每人每次记1分.整个学期教师共布置了 26次作业，学 每次作业的得分之和便为学生的平时成绩分数.由于真分数模型假设被试真值是一个常量，即考生在某一时期的真实能力水平 是恒定不变的，这符合实际情况，因而期末测试数据资料满足理论假设.在获取线 性代数期末考试数据后，本章将根据前一章的理论与技术，运用SPSS与Excel 软件分别对试卷的信度、效度、难度、区分度进行逐一分析，并对各种题型的难度 与区分度以及各难度段、区分度段的题量、分值分布进行分析和解释.3.1试卷的信度分析将线性代数期末考试数据输入SPSS软件中，分别用分半法与

58、科隆巴赫。信 度系数法计算试卷的信度.计算结果如下：表3.1分半法计算试卷信度Cronbachs Alpha部分1.541顼新8a朝2值.5198b总顼数16表格之间的相关性.694Spearman-Brown 系数等长.819不等检,819Guttman Split-Half 系数.811蚊些琐为:1,3,5,7.9,11,13,15.这菇顷为：2, 4,6,8,10,12,14,16.从表3.1中可以看出，将试卷按试题题号奇偶分半，再用Spearman-Brown公式 校正得到整张试卷的信度为0. 819.表3.2 。系数法计算试卷信度Cronbach，s Alpha基于标准化项的Cron

59、bachs Alpha项数0. 7260. 73816表3. 3信度分析各试题情况顼己制除的到 度均值顼己已除的刻 度方差校正的顼敏计 相关性多相美性的平 方顼已捌除的CronbachsAlpha W156.36338.695.228.203.722256.58332.042.335.370,716356.36330.306.433.412.713457.76345.998.028.128.732557.02334.111,247.253.720657.18342.077,095.273.723757.32332.424.271.193.719856.69322.957.507.410.707

60、956.08347.651.041.122.7291057.61322.963.475.301.7081150.36321.658.352.258.7121250.81263.546.396.351.7131350.75214.373.708.587.6491450.07227.495.596.439.6751555.33309.853.377.301.7071656.25320.003.286.205.716从表3. 2中可以看出，科隆巴赫a信度系数值是0.726,说明整个试卷的信度 较高.从表3. 3中最后一列可以发现，第4题在删除后试卷信度反而变大了，这表 明将该题删除后可以提高试卷的信