第二章 教育测量的质量指标2(效度)ppt课件

1、第二章教育丈量的质量目的第二节效度.第二节效度一、效度的概念二、效度的统计学原理及其与信度的关系三、效度的估计四、提高效度的方法.一、效度的概念效度Validity是指丈量结果的准确性和有效性的程度，亦即丈量能否到达了预期的目的。第一，效度是一个相对的概念。1.丈量的效度一直是对一定的丈量目的而言的。2.丈量的效度是相对于丈量的结果而言的。第二，一种检验的效度只是高或低的问题。第三，在教育丈量中，效度问题比在其他领域的丈量中更为重要。.一、效度的概念这是由于：教育丈量的对象大多是精神景象，只能经过对其具有可测性的外部表现如言语或动作等的丈量，以间接认识其心思活动、心思特征或知识程度等。学生的心

2、思活动、心思特征与其外部表现之间，普通仅具有相关关系而无函数关系，外部行为并不能准确无误地反映某种心思形状。教育丈量的对象不是物而是有客观能动性的人。人能有认识地调理本人的外部行为，掩盖本人的内心活动，这就添加了认识其精神景象的难度。.二、效度的统计学原理及其与信度的关系1、效度的统计学原理在实践丈量中，影响效度的主要要素是系统误差。因此在讨论效度时，还必需把真分数方差分解为两个部分，一是潜在真分数方差V2，另一部分是系统误差分数方差I2 ，它与由随机误差引起的变异E2不同。.2、效度与信度的关系V2I2E2V2I2E2V2I2E2根据公式2-2和2-3，可将效度与信度的关系图解于后：根据分析

3、，可得结论如下:1)高信度是高效度的必要条件，而非充分条件。2)效度系数不会大于信度系数的平方根。可以用下式表示：高效度、高信度低效度、高信度低效度、低信度.三、效度的估计效度估计就是多方寻觅证据来证明一个检验的有效性程度的过程。1974年美国心思学会发行的一书将效度分为三大类：内容效度、效标关联效度和构造效度。.一内容效度Content validity又称合理效度或逻辑程度，是指检验内容或行为取样的代表性和适当程度；即检验的内容范围、资料与所要丈量的内容范围、教育目的能否相符合；检验中测题所引起的行为能否是所要丈量的属性的明确反响；检验的结果能否是一个有代表性的行为样本。估计内容效度的方法

4、：.估计内容效度的方法：1逻辑分析的方法。其任务思绪是请有关专家对检验标题与原定内容范围的吻合程度作出判别。2统计分析法。从同一个教学内容总体中抽取两套独立的平行检验，用这两个检验来测同一批被试，求其相关。假设相关高，阐明检验内容效度较高；假设相关低，表示检验的内容效度较低。采用求统计量的公式进展计算，其公式有以下三种方式：内容效度主要运用于成就检验、学科检验、选拔和分类职业检验。内容效度不适宜用于才干倾向和人格检验。.二效标关联效度又可称为阅历效度或统计效度，是以检验分数和效标之间的相关系数来表示检验效度的高低的。效标就是足以显示检验所欲丈量的特性的变量或足以显示检验所欲预测的特性的变量。它

5、是用来检验检验效度的外在的、客观的规范和尺度。效标关联效度又可分为同时效度和预测效度。 用全国高考的成果作为效标来检验高中毕业生会考的成果，计算两者之间的相关系数就是会考的同时效度；而用大学一年级的成果作为效标来检验高考的成果，计算两者的相关系数就是高考的预测效度。估计效标关联效度可采用积差相关、二列相关或点二列相关、四格相关和多元相关系数等计算各种相关系数。.1、用积差相关系数的方法估计效度 积差相关，是计算两个变量线性相关的一种方法，由英国统计学家皮尔逊提出，因此也称为皮尔逊(Pearson)相关。要运用积差相关必需同时具备如下几个条件：两个变量都是由丈量获得的延续性数据，即等距或等比数据

6、。两个变量的总体都呈正态分布，或接近正态分布，至少是单峰对称分布，当然样本并不一定要正态。必需是成对的数据，而且每对数据之间是相互独立的，即各自互不影响，本条件是难以检验的。两个变量之间呈线性关系。普通用描画散点图的方式来察看，最好是先各自转化为Z分数，单位会一致些。.例： 某中学数学教研组的教师积多年的教学法阅历，以为刚入高中的学生学习立体几何感到困难的主要缘由是空间想像力弱。 为了证明这个论点，他们让刚入高中的103名学生作10道题，丈量其空间想像力。为防止知道了某些学生的刚入高中时的成果影响以后考试的评分，试卷暂不评阅。立体几何学完后，进展考试，按得分多少把成果分为五等A、B、C、D、E

7、分别得5、4、3、2、1分。这时才评阅入学时的试卷，统计出期末得5、4、3、2、1分者在入学检验中分别答对1道题至10道题的人数见表2-1。 就现有资料，用什么方法可以判别教师们的意见能否正确？.表2-1：（答对的题数）1 2 3 4 5 6 7 8 9 10 所评的等级ABCDE54321 1 3 10 5 4 2 1 6 8 8 4 3 1 2 4 5 9 8 3 11 3 2 1 11 1 2 1 1.解：1设期末考试的等第为y，空间想像力检验答对的题数为x，列出二重交叉次数分布表：X（答对的题数）1 2 3 4 5 6 7 8 9 10 Y所评的等级ABCDE54321 1 3 10

8、5 4 2 1 6 8 8 4 3 1 2 4 5 9 8 3 11 3 2 1 11 1 2 1 125313296合计2 4 10 14 20 20 17 9 5 2103.2用积差相关系数公式计算效度系数：.二列相关适用于两个变量就其实践含义而言是等距或等比数据，它们服从正态分布，其中一列人为地划分为两类。.点二列相关 适用于一列数据为等距或等比且总体服从正态分布实践上只需求单峰对称分布，如分布，另一列变量是按事物的性质划分为两类的变量，也可以是一个双峰分布，人为划分为两类，如文盲与非文盲。这种相关系数多用于检验中评价标题的区分度。对选择题、判别题在整个丈量中作用作出判别。 根本计算公式

9、：.例：有一位教师自编了一套检验题，用来预测学生一年后的某科成果，自编检验按百分制评分，一年后考试评分只把学生分为及格者和不及格者。试就所获资料估计自编检验的预测效度。解：1)把两次检验成果成对陈列：被试者12345678910 11121314自编测验的成绩（X）67 10 20 44 60 43 61 10 26 23 30 18 35 23一年后考试成绩（Y）1 1 1 0 0 1 1 0 1 0 0 1 1 12)计算出二列相关公式所需统计量：.三构造效度Construct validity构造效度是指一个丈量能实践丈量出实际上的想象或心思特性的程度。它的目的在于从心思学的实际观念就检

10、验的结果加以解释和讨论。这里的构造的含义是心思学实际所涉及的笼统而属假设性的概念、想象、特性或变量，如智力、焦虑、机械才干倾向、成就、动机等。构造效度主要用于智力检验、人格检验等一些心思检验方面。例如：人的发明力可以分解为人的思想流畅性、灵敏性和发明性三大特性，并根据这三大特性编制检验，假设有足够的证据来证明该检验确实可以测到这些特性，那么以为该检验是个构造效度较高的发明力检验。.1构造效度的特点构造效度的大小完全取决于事先假定的心思特质实际，一旦人们对同一种心思特质有着不同的定义或假设，那么会使得关于特质检验的构造效度的研讨结果无法比较。当实践丈量的资料无法证明我们的实际假设时，并不一定就阐

11、明该检验构造效度高。由于还有能够出现实际假设不成立，或者该实验设计不能对该假设作适当的检查等情况，这就使得构造效度的获取更为困难。.2建立构造效度的步骤A、提出实际假设；B、根据假定构造拟定测题，编制检验；C、以检验结果为根据来验证假设构造中的各种要素能否成立。.3构造效度的估计A、要素分析法其目的是把一些具有错综复杂关系的要素归结为数量较少的几个综合要素或称共同要素，并以此检验所测之特质对检验分数作出解释。B、多元特质多重方法矩阵法是由肯贝尔和菲斯克1959年提出的最受欢迎的一种构造效度的评价方法。这种方法的想象：假设采用两种方法以上的方法去丈量两种以上的特质，那么这些丈量结果之间可以构成一

12、个多元特质多重方法矩阵。.四、提高效度的方法一各种效度系数的要求二影响效度的要素检验的构成要素检验实施方面过程被试客观形状方面估计效度所依循的效标样本方面.四、提高效度的方法三提高效度的方法： 1、控制系统误差 2、精心编制量表 3、妥善组织检验 4、扩展样本的容量和代表性 5、合理处置效度和信度的关系 6、适当添加检验的长度.表2.1 检验长度与信度和效度的关系题数与原测验题数之比信度系数效度系数1020306012014048012361214480.3000.4620.5620.7200.8370.9110.9540.4000.4960.5480.6190.6680.6790.713.第

13、三节 难度及其计算一、难度的概念难度是指丈量试题的难易程度。一个标题的难度大小，除了所测的内容本身的难易程度有关以外，还与检验的编制技术和被试的知识阅历有关。这就是说检验的难度具有相对性，正由于此，必需让试题经过实际来对难度作出检验。.二、难度的计算一计算难度的根本公式1、客观题难度的计算2、客观题难度的计算P表示难度目的，N表示参与考试的总人数，R表示答对某道客观题的人数。.二、难度的计算例1：在100个学生中，答对第一题的30人，答对第二题的60人，求第一、二道题的难度？比较这两道题谁比谁难？例2：某道论述题总分值12分，一切考生在这道题上的平均得分为3.6分，求该题的难度？例3：语文检验

14、第五题最高得分为12分，这道题考生的平均得分是8.5分，求该题难度？例4：60人参与考试，某题总分值为12分，正确得分累积是480分，求该题难度？.二用极端分组法计算试题的难度1、用极端分组法计算客观题的难度详细步骤如下：1先按检验总分的高低，按由高到低的顺序依次陈列试卷。2从得分最高的一份试卷开场依次向下选出全部试卷的27%作为高分组；从得分最低的一份试卷开场依次向上选出全部试卷的27%作为低分组。3按计算公式计算难度.例题5：某区域1000人参与考试，试卷第一题高分组180人答对，低分组60人答对，求该题难度？ (约为0.44)假设该题总分值为10分，高分组得分总数为2100分，低分组得分

15、总数为830分，求该题难度？.2、用极端分组法计算论文试题难度步骤如下：1按检验得分陈列试卷，确定高分组与低分组，各占总人数的25%方法同前。2分别为高分组、低分组编制每道试题的分析表。3按以下公式计算难度，.例：某道论文题，高分组得分总和为40分，低分组得分总和为15分，有40人参与考试，这道题最高得分为8分，最低得分为2分，那么此题的难度为多少？0.125.计算解：根据客观题极端分组法计算公式 =0.125.三、难度的分析与控制1、难度分析进展难度分析的主要目的是为了挑选标题。A、检验标题难度程度确实定检验标题难度程度的适当与否，取决于检验的目的、性质和标题的构成。当P值接近于0或接近于1

16、时，即被试在该题上全部答对或全部答错，那么该题无法提供个体的信息。而只当P值接近于0.50时，标题才干把被试做最大的程度的区分。但在实践任务中，假设每一题的难度值均为0.50，那么此检验很能够只能区分出好与差两种极端被试的差别，却不能对各种被试作更准确的区分。因此，普通各题的难度可在0.50+20之间。.B、检验难度对分数分布的影响1检验难度影响分数的分布形状。难度值越接近0，检验的难度就越大，检验分数就越是集中在低分端，其分数分布越呈现正偏态；反之，难度值越接近1.00，其难度就越小，检验分数越集中在高分端，分数分布呈负偏态。2检验难度影响检验分数的离散程度检验难度过大过小，都会呵斥检验分数

17、偏离正态分布，从而使分数的全距减少，使检验分数的离散程度变小。3检验难度影响检验的鉴别才干在检验中，考生之间相互配对比较的能够性越多，就越有利于准确地鉴别考生的不同才干。.2、难度的控制普通说来，影响标题难度的主要要素有：调查知识点的多少；调查才干的复杂程度或层次的高低；考生对标题的熟习态度；命题的技巧。难度控制：正确估计考生程度；弄清弄懂各知识点；掌握命题技巧。.第四节区分度及其计算一、区分度的意义一区分度Discrimination是指检验对考生实践程度的区分程度，用符号D表示。又叫鉴别力，它是评价试题质量，挑选试题的主要目的与根据。区分度D的取值范围介于- 1.00+1.00之间，值越大

18、，区分度的效果越佳。区分度D0为正区分，D0为负区分，D=0为零区分。区分度的高低直接影响到检验的信度和效度。.二区分度与检验信度、难度的关系1、区分度与信度的关系见下表2.2这里是假定全部试题的难度均为0.50时所预测的信度系数。 区分度指的是平均值。 可见，要想到达理想的检验信度，提高区分度是一 个好方法。区分度信度0.12250.160.200.300.400.500.000.420.630.840.9150.949.二区分度与难度的关系表2.3D的最大值与试题难度的关系 由上表可知，难度适中，可使区分度到达最大值。难度区分度的最大值1.00.90.70.50.30.10.00.00.20.601.00.60.2000.二、区分度的计算一用极端分组法计算区分度1、客观题区分度的计算： DPH PL2、客观题区分度的计算：.二、区分度的计算例1：有道试题，高分组有70%学生经过，低分组有30%的学生经过；而另一道题，高分组有40%学生经过，低分组有70%学生经过，求两题的各自区分度？.例2： 高分组 低分组得分X 人次f 得分X 人次f 5 4 5 0 4 3 4 1 3 2 3 1 2 1 2 3 1 0 1 4 0 0 0 1.例2： 解：根据公式： n=10 H=5 L=0XH=54+43+32+21+10=40XL=50+4