效和效检验的课件资料

效和效检验的课件资料第1页/共44页效度的概念现行美国《教育和心理测试标准》一书对效度作出了如下定义：

Validityisaunitaryconcept.Althoughevidencemaybeaccumulatedinmanyways,validityalwaysreferstothedegreetowhichthatevidencesupportstheinferencesthataremadefromthescores.Theinferencesregardingspecificusesofatestarevalidated,notthetestitself.

效度是一个统一的概念，尽管我们可以以不同的方式收集关于效度的证据，效度总是指证据支持我们从考试成绩所作出的各种推测的程度，效度检验检验的是对考试的使用所作的推测，而不是考试本身。

第2页/共44页美国教育和心理测量协会（1985）：

Validitymeansthedegreetowhichtheappropriateness,meaningfulness,andusefulnessofthespecificinferencesmadefromthetestscores.

效度是指根据考试分数所作出的特定的推测的适当、有意义和有用程度。效度的概念第3页/共44页效度的性质效度指的是考试结果解释的合理性，它不是指考试本身。我们有时出于方便，说“考试的效度”，实际上正确的说法是对考试结果所做的解释的效度。效度是就程度而言的，不是要么有效，要么无效。因此，不要说考试结果有效或无效，而应该从确定程度的类型的角度来考虑效度，如高效度、中等效度和低效度。效度总是与考试结果的解释或某种特殊的用途有关。世界上没有对所有目的都有效的考试。在讨论效度时，必须考虑对考试结果所做出的专门解释或用途。考试结果对做出的每个不同的解释都有不同的效度。第4页/共44页效度的性质效度是一个统一的概念。美国心理测量学会在“教育和心理测量标准”一书中，已经抛弃了多种效度的传统概念，将效度看作是以各种不同类型的证据为基础的统一的概念。效度是一个总体的评价判断。它要求用各种证据并且从后效影响的角度来判断考试结果解释和使用的合理性和合适性程度。第5页/共44页效度与信度概念的辨析假设有一道试题：水稻的茎不能加粗的主要原因是茎内没有（）。

A.形成层B.维管束C.木纤维D.韧皮纤维假设试题具有下列问题：1、有点科学性问题2、考查牵涉到了化学知识3、考查了学生没有学过的内容4、部分考生抄了别人的正确答案提问：这些问题说明这道试题是信度有问题，还是效度有问题？第6页/共44页效度检验的前提条件

考试评价的目的要与考试机构的任务和价值观相适应

考试应该有利于高校选拔合格的新生；有利于促进中学推进素质教育有利于培养学生的创新精神和实践能力要明确地确定或描述要测量的心理结构（知识、能力或其他特征），对分数或其他评价结果要作出的解释。测量目标和行为标准确定结构的特征是需要谨慎，只能将考试技术能够测量的特征或行为包括在结构的特征描述之中，不能测量的特征不能包括在其中结构的特征一旦确定，就是排它的、武断的。确定所要收集的证据的类型和数量第7页/共44页效度的证据考试内容考生的应答过程评分标准与定义的心理结构及其行为标准的一致性考试的内部结构考试与效标（标准）的关系第8页/共44页考试内容方面的证据确定每道试题测量的行为目标，涉及到内容领域那些内容；比较考试的内容结构与学科内容领域的结构是否一致。收集证据的方法考试机构自己对照考试规范或考试大纲进行检查发放问卷调查表给学科教师或专家进行调查

由专家按照详细的一系列标准给每道试题和整张考卷进行定量打分或定性评价

效度的证据——内容第9页/共44页效度的证据——考生的应答过程

考试是从认知心理学的角度来看待考试结果反映考生心理结构的程度，也就是说从考察学生回答问题时发生的心理过程或思维过程的角度来看待结构效度的。使用某些问题或试题来测量思维能力时，需要问题或试题能够引发考生进行一定的思维活动，这个活动反过来引发考生显示出我们希望考生显示的行为。只有在这样的情况下，问题才是有效的，得到的结果才能是考生某一心理结构的测度。分析考生答题的思维过程的主要方法包括调查问卷分析计算机模拟分析面谈记录分析第10页/共44页评分标准与定义的心理结构

及其行为标准的一致性

命题时制定的评分标准应该与定义的心理结构及其行为标准相一致具体评分时，评分标准的细化应该以行为标准的表现出来与否为得分步骤，而不一定是以做出来一步给多少分。有可能做出来的两步都是一个行为表现。第11页/共44页考试与效标的关系效度检验过程中，我们还要收集另外一类证据或信息，这就是能够证明我们的考试结果与某个其他的“标准”之间关系的证据或信息，这个“标准”与我们的考试测量了考生相同的能力，我们将这个标准称为效标。效标应该是反映考生行为的另外一个考试的结果。

与效标相关的证据研究的考试分数与效标考试的分数相联系效标实际上是考生的某种行为表现，考生在该行为上的得分，可以用来预测未来。高中阶段学习的效果——中考大学阶段的学习效果——高考第12页/共44页考试与效标的关系研究考试与效标之间的相关关系根据研究考试的结果预测未来考试的结果方式线性回归预测第13页/共44页考试与效标的关系X-考试

Y-效标x-待检验的考试样本

y-效标考试样本s-待检验的考试样本标准差S-待检验的考试总体标准差rxy-待检验的考试样本与效标考试样本间的相关关系

研究考试与效标之间的相关关系根据研究考试的结果预测未来考试的结果方式线性回归预测第14页/共44页考试与效标的关系效标考试的类型预期效标估计同期效标估计预期效标估计用分数来预测将来的行为获取效标测试的相关系数对所有相关的考生进行测试等待一定的合理的时间收集效标测试的分数计算相关系数第15页/共44页考试与效标的关系同期效标估计检查与同期考试的相关关系检查能力水平不同的考生，在两个考试中考试结果的差别。效标应该是同样类型的考试。所谓同样类型的考试是与我们研究的考试测量相同的能力或心理结构的考试，如果没有这个前提，我们就失去了把二者间的相关关系解释为效度证据的基础。第16页/共44页考试的内部结构考试的结构方面的证据考试的结构方面的证据是要证明考试测量它所设计测量的心理结构的精确程度结构方面的证据的收集是一不断的过程。不同测量目标或行为目标之间的相关关系不同测量目标或行为目标的因子分析实验设计。第17页/共44页考试的内部结构考试的结构方面的证据不同测量目标或行为目标之间的相关关系不同行为变量之间的相关关系不同行为变量与考试总分之间的相关关系。不同行为变量与考试总分减去相应变量分数后的相关不同测量目标或行为目标的因子分析第18页/共44页ThankYou第19页/共44页考试内容证据收集量表举例试题行为目标内容领域试题测量了相应的行为目标，覆盖了相应的内容领域。描述完全同意基本同意不肯定基本不同意完全不同意1目标1领域1√2目标2领域1√3目标1领域2√4目标3领域2√5目标4领域3√6目标2领域3√7目标3领域4√第20页/共44页专家姓名：

日期：

说明：阅读提供的考试说明中考试的测量目标及相应的行为目标、考查的学科内容领域，并阅读试题及其评分标准；检查试题及其评分标准与测量的行为目标、内容领域是否一致，并按照以下标准进行评分：试题与行为目标一致，对试题的应答需要涉及到相应内容领域知识，且评分标准是根据考生行为的表现程度和/或知识的应用程度进行评分。5=如果你完全同意上述评价4=如果你基本同意上述评价3=如果你不能准确判断上述评价的有效性2=如果你基本不同意上述评价1=如果你完全不同意上述评价如果对试题与上述的一致性有任何评价意见，请写在相应的栏目中。试题能力内容领域评分评价意见1Ⅰ4中国/世界地理气候和农业2Ⅰ3自然地理天体系统3Ⅰ3自然地理三大岩石4Ⅲ2世界地理气候…

…

…考试内容证据收集量表举例第21页/共44页考试内容证据收集量表举例专家姓名：

日期：

说明：阅读表中每一条行为目标，阅读相应试题及其评分标准，检查试题及其评分标准与测量的行为目标是否一致，并按照以下标准进行评分：

+1=试题与行为目标一致或高度一致

0=试题与行为目标大致一致

-1=试题与行为目标不一致如果对试题与行为目标的一致性有任何评价意见，请写在相应的栏目中。目标1：理解文章的主要内容。试题评分评价意见试题65________________________________________________________试题66________________________________________________________

试题69________________________________________________________

…

…

…目标2：归纳文章的主旨大意。试题63________________________________________________________

试题67________________________________________________________

试题73________________________________________________________

…

…

…第22页/共44页考生应答过程分析调查问卷表

姓名毕业学校准考证号码请阅读以下答题策略，回答你在考试过程中做每道试题时采用了那种策略（在相应的策略栏中打勾）。如果以下策略不在你采用的策略中，请在以下空白栏中填写出来，并在相应的栏目中打勾。（注：一个试题可以选择多个相关策略）1。猜测2。阅读问题前先阅读选项3。阅读完问题后再阅读选项进行选择4。阅读语段前，先阅读问题5。阅读完语段后，再阅读问题6。阅读问题后，再到内容中寻找答案7。根据问题所在位置紧邻的上下文寻找信息8。对整个语段理解后再回答问题9。先将问题（在心中）翻译出来再回答问题10。根据问题或选项中单词与语段中单词的相似性做出选择11。12。

策略1234567891011

12试题1

试题2

试题3

…

…

第23页/共44页考生应答过程分析——面谈分析

崇明岛开发前景良好的可再生能源是____（单项选择）A．水能 B．风能 C．核能D．地热能考试结束后对部分考生进行面谈时发现，他们回答问题时的思维过程有如下几种：1、崇明岛没有核电站，选项C不对；没有听说崇明岛有地热资源，选项D也不对；崇明岛地处长江口，靠近东海，水资源非常丰富，因此，当时选择A为正确。2、崇明岛没有核电站，选项C不对；听说崇明岛有温泉浴场，因此当时选择D正确。3、核能不是可再生能源，选项C不对；现在上海有很多温泉浴场，估计崇明也有，因此当时选择D正确。第24页/共44页考生应答过程分析——面谈分析

崇明岛开发前景良好的可再生能源是____（单项选择）A．水能 B．风能 C．核能D．地热能考试结束后对部分考生进行面谈时发现，他们回答问题时的思维过程有如下几种：4、崇明岛地处长江口，水资源非常丰富，因此，当时选择A为正确。5、核能不是可再生能源，选项C不对；上海乡土地理书上没有介绍过上海丰富的地热资源，选项D也不对；崇明岛地势平缓，岛内没有大的河流，不会有丰富的水能资源，因此，选项A也不对；那么只有选项B是正确的。第25页/共44页考生应答过程分析——面谈分析

崇明岛开发前景良好的可再生能源是____（单项选择）A．水能 B．风能 C．核能D．地热能考试结束后对部分考生进行面谈时发现，他们回答问题时的思维过程有如下几种：6、核能不是可再生能源，选项C不对；上海乡土地理书上没有介绍过上海丰富的地热资源，选项D也不对；崇明岛地势平缓，岛内没有大的河流，不会有丰富的水能资源，因此，选项A也不对；崇明岛地处长江口，长江与东海交汇处，岛内地势平缓，附近没有高山等阻挡，风能应该比较丰富，因此，选项B是正确的。第26页/共44页考生应答过程分析——面谈分析

崇明岛开发前景良好的可再生能源是____（单项选择）A．水能 B．风能 C．核能D．地热能设计这一试题是想了解考生“分析、解释各类地理事物的空间结构、联系及其发展变化规律”的能力”。从考查的行为目标看，显然只有第6种思维活动是正确的思维过程。第1到4思维活动，反映了考生这方面能力还有欠缺；第5项思维活动，只是从应试技巧的角度，排除了其他三种选择，但并没有真正理解为什么风能是崇明岛开发前景良好的可再生能源。尽管其回答是正确的，但这一题上的结果并不能作为其这方面能力的标志。第27页/共44页根据测量的行为目标的表现水平赋分

某市2004年底有住房面积1200万平方千米，计划从2005年起，每年拆除20万平方千米的旧住房。假定该市每年新建住房面积是上年住房面积的5%。（1）分别求2005年底和2006年底的住房面积；（2）求2024年底的住房面积。（计算结果以万平方米为单位，且精确到0.01）2005年底的住房面积为：

………………3分2006年底的住房面积为：

…………3分2024年底的住房面积为：

4分

4分第28页/共44页根据测量的行为目标的表现水平赋分2005年底的住房面积为：

………3分2006年底的住房面积为：

……3分2024年底的住房面积为：

4分

4分分析解决问题的能力计算能力123写出求和公式1分写列出求和算式2分正确计算出结果3写出求和公式1写出求和算式2第29页/共44页根据测量的行为目标的表现水平赋分25．（8分）鸡蛋不能放进微波炉加热，否则鸡蛋会爆炸。但直接把鸡蛋放在锅里用水煮是不会爆炸的。你如何解释这现象？【内容领域】物质科学/运动与相互作用【行为目标】理解科学原理【难度】0.4【题型】简单题第30页/共44页根据测量的行为目标的表现水平赋分编号回答较高水平的回答（8分）20从蛋内温度及体积变化来分析例1：用微波炉煮可以使鸡蛋内部高于1000C，使鸡蛋内水分变成气态，体积变大，导致爆炸。而用水煮，水只能达到1000C，不会使鸡蛋达到1000C以上。29其他正确的回答第31页/共44页根据测量的行为目标的表现水平赋分一般水平的回答（5分）10从加热快慢程度来分析

例1：微波炉煮的升温较快，热胀冷缩导致鸡蛋会爆炸。而水的比热容大，吸热所要的时间较长，不容易导致热胀冷缩。例2：因为把鸡蛋放在水里煮，温度是慢慢升高的。11蛋内外压强差来分析

例1：在微波炉里，鸡蛋内部的压强大于外部，所以会爆炸。而放在水中，压强没有大于外部，所以就不会爆炸。第32页/共44页根据测量的行为目标的表现水平赋分12从温度的高低来分析

例1：因为微波炉是直接加热的，很容易使鸡蛋温度过高而爆炸。而用水煮是间接加热的，而且水的沸点是1000C，不会对鸡蛋造成过度加热。例2：因为微波炉中的温度超过1000C，而水中煮最多1000C，所以不会爆炸。19其他部分正确的回答。第33页/共44页根据测量的行为目标的表现水平赋分错误回答（0分）70从空间的密封性来分析，微波炉密封从而炉内压强过大，把鸡蛋压炸例1：微波炉是一个密封的空间，而放在锅里空间就比较大，空气也多，所以不会爆炸。例2：因为微波炉内部是密封的，使大量热量在微波炉里不能放好出来，使鸡蛋承受不住，致使爆炸。水煮不是密封环境。71水能吸收鸡蛋的热量，使鸡蛋不会爆炸例1：因为水的沸点是1000C，要想继续沸腾必须吸热，所以把鸡蛋的热量给吸走了，就不会爆炸。第34页/共44页根据测量的行为目标的表现水平赋分72水是湿的或微波炉内是干的，所以爆炸

例1：因为水是液体，而微波炉内是干热的气体，所以鸡蛋放进去可能会爆炸。例2：因为鸡蛋在微波炉煮时太干，所以鸡蛋会爆炸，而鸡蛋在水中煮时四周都有水。79其他错误回答

例1：因为生鸡蛋是液体，鸡蛋熟后是固体，放进微波炉煮，生变熟后物体膨胀，所以爆炸，但放入水中煮是水的沸腾煮熟鸡蛋的。例2：因为在微波炉里没水，是像真空一样的，而且鸡蛋又有壳，而在水里煮是可以的。例3：锅里带有油、水，使鸡蛋滑，锅受热也均匀。而微波炉中，它只能烧到一面，而另一面则是生的，产生了温度差。第35页/共44页根据测量的行为目标的表现水平赋分没有回答，0分。99空白第36页/共44页不同行为变量之间的相关关系基本思想考试的每一个行为变量测量的是同一测量目标的不同的方面，它们之间既相互有联系，又有区别，它们对测量考生在所考学科方面的知识与技能、方法与能力都可以做出贡献。

一般判别要求一般认为考试不同行为变量的相关关系不应太高，也不应太低，一般应该在0.3到0.6。如果两个部分的相关系数相当高，如0.85或0.9，就可以怀疑这两部分是否测量了相同的行为目标。第37页/共44页不同行为变量

与考试总分之间的相关关系

基