测试效及其验证方法实用教案

1、教学(jio xu)目标1.了解整体效度观的主要思想2.整体效度观3.测试辩论(binln)法4.图尔明模型5.了解累进效度观的主要思想6.测试辩论(binln)模型的逻辑错误及成因7.累进辩论(binln)法8.累进效度观第1页/共26页第一页，共27页。整体(zhngt)效度观主 要 时 期 ： 2 0 世 纪 8 0 年 代 中 期 ( z h n g q ) 以 后基 本 观 点 ： 整 体 多 维 性验 证 方 法 ： 理 性 辩 论辩 论 框 架 ： 图 尔 明 模 型第2页/共26页第二页，共27页。定义(dngy) 教育与心理测验标准（1985） Validity refers

2、 to the appropriateness, meaningfulness and usefulness of the specific inferences made form test scores. （从考分中推理出来的特定结论的恰当性、意义性和有用性） 教育与心理测验标准（1999） Validity refers to the degree to which evidence and theory support the interpretations of test scores entailed by proposed uses of tests. （证据和理论支持测试使用所

3、需的考分解释( jish)的程度）第3页/共26页第三页，共27页。解读(ji d)（效度概念的内涵） 整体多维性 整体概念：构念效度整体效度，即效度（不存在类别之分） 多维互补：之前(zhqin)不同类别的效度同一整体的不同维度（相互补充、相互依存，为整体效度提供证据） 重心转移 不再是测试本身固有的属性，而在于分数的解释和使用，包括分数解释的合理性、使用决策的恰当性和使用后果的裨益性 不再是“有”或“无”的问题，而是“程度”问题 不再是单一指标，而是综合评判 不再是抽象数值，而是理性结论 不再由公式计算，而应逻辑推理无所谓效度系数(xsh)之说第4页/共26页第四页，共27页。Validi

4、ty Model (Messick 1988: 42)1. An inductive summary of convergent and discriminant evidence that the test scores have a plausible meaning or construct interpretation, 2. An appraisal of the value implications of the test interpretation3. A rationale and evidence for the relevance of the construct and

5、 the utility of the scores in particular applications4.An appraisal of the potential social consequences of the proposed use and of the actual consequences when used第5页/共26页第五页，共27页。Interpretive Argument (IA, Kane 1992)(转引(zhun yn)自McNamara & Roever, 2006: 25) IA: Score interpretation and use第6页

6、/共26页第六页，共27页。Assessment Argument (Mislevy et al. 2003) Evidence-centered Design (ECD)第7页/共26页第七页，共27页。Evidence-based Validation (Weir 2005)第8页/共26页第八页，共27页。Assessment Use Argument (AUA, Bachman & Palmer 2010)第9页/共26页第九页，共27页。Logical Structure of IA, ECD, AUAIA, based on Kane (1990, 1992)ECD, Mi

7、slevy et al. (2003: 15)AUA, Bachman (2005: 15)Alternative Explanation orRival HypothesisRebuttal DataRebuttal BackingMost questionable assumption第10页/共26页第十页，共27页。Logical Problems of ECDClaimWarrantBackingDataRebuttalAlternative第11页/共26页第十一页，共27页。Logical Problems of AUA1Data：Jim is going to the hosp

8、ital.Claim：Jim is sick.(Warrant)：People often go to the hospital when they are sick.sincesoRebuttal：Jim could be visiting someone who is in the hospital.Rebuttal Backing：Jim is visiting his partner in the hospital.Counterclaim：Jim is not sick.unlessSupports(Bachman & Palmer, 2010, p. 97)What if

9、Jim is attending a meeting in the hospital, not visiting anyone in particular?What if he is seeing the doctor himself as well?If we already know Jim is visiting his partner in the hospital, do we still need to go through all these steps?!第12页/共26页第十二页，共27页。Logical Problems of AUA2Claim: Malissa wasp

10、aid time and a half.Data: Malissa worked overtime.Rebuttal: Malissa is in an exempt category.Rebuttal Backing: Malissas personnel file indicates that she is not in an exempt category.Warrant: All Employers who work overtime must be paid time and a half.Backing: According toUS labor law .Rejectsunles

11、ssinceso(Bachman & Palmer, 2010, p. 98)Can it still be called Rebuttal Backing if it rejects the Rebuttal?第13页/共26页第十三页，共27页。The Toulmin Model (Toulmin 1958, 2003)DSo, Q, CSinceWUnlessROn account ofBHarry was born in BermudaSo, presumably, Harry is a British subjectA man born in Bermuda will gen

12、erally be a British subjectBoth his parents were aliens/He has become a naturalized American/The following statutes and other legal provisions:(rare and exceptional conditions)(properly worded qualifier)presumablyRational logic(readily available facts or truth)(highly probable assumption)可以忽略：例外不足以威

13、胁声明的整体(zhngt)合理性；必须忽略：追究例外即为陷入死循环不容置疑：假定性理由应不证自明，或已事先(shxin)证明不可省略：结论通常(tngchng)不是绝对的，应该根据反驳的可能性选用一个恰当的限定词限定声明的语气强度或成立条件客观存在：事实性支撑应可随时奉取，而无需争辩理性推理：以一般情况下都可以接受的假定性理由为前提，结论应该具有合理性第14页/共26页第十四页，共27页。IA、ECD和AUA共同的逻辑错误(cuw)及其产生根源错误(cuw)根源 结构修改 增加了反驳的证据 删除了限定词 模型误解 将假设称为声明（因为没有声明的模型就不能称为辩论模型） 将反驳由必须忽略的特殊例

14、外替换为不可忽略的反面解释（为了消除质疑和异议） 将辩论双方(shungfng)都应该遵循的逻辑推理过程误解为双方(shungfng)的争辩过程 反驳误用 用反驳来论证声明而不是限定声明逻辑错误 自相矛盾先声明后论证，即先作出声明后又说自己的声明不一定成立 强调论证反驳，但在论证反驳时又不得不放弃论证反驳 不具理性明知声明不一定成立，也要强行作出声明（将假设作为声明提出）对反驳的论证，既不讲理由也不顾反驳（又一次强行做出结论） 无限循环 反驳不可穷尽，甚至不可预知声明的反驳的反驳正是声明自身第15页/共26页第十五页，共27页。So, presumablyAnne is one of Jack

15、s sistersAnne now has red hairSinceAny sister of Jacks may be taken to have red hairOn account of the fact thatAll his sisters have previously been observed to have red hairUnlessAnne has dyed/gone white/lost her hair 图尔明对三段论的批判(p pn) 大前提存在歧义，既可以是假定，也可是(ksh)事实，因此三段论不能区分真假辩论。 结论非是即否，容不得例外，因此三段论在日常辩论中

16、应用价值不大。Element Example 1 Example 2（p.115） Minor Premise Socrates is a man Anne is one of Jacks sisters Major Premise All men are mortal All Jacks sisters have red hair Conclusion Socrates is mortal So, Anne has red hair 例1以假定为大前期，结论为对未来或未知的推理，因此可争可辩；例2的大前提为事实(shsh)，结论实为大前提事实(shsh)的重复，而不是推理的结果，因此无可争辩

17、。如对事实(shsh)存在质疑，争辩没有必须，摆出事实(shsh)即可（如把Anne叫到跟前，头发颜色自知）。第16页/共26页第十六页，共27页。基于图尔明模型(mxng)的AUA示例A: Jim is going to the hospital, so he is probably sick. (since people often go to the hospital when they are sick, unless they are visiting someone who is in the hospital) B: Jim is going to the hospital to

18、 visit his partner, so he cant possibly be sick himself. (since people are usually not sick themselves when they are visiting someone, unless they are seeing the doctor themselves)A: Jim is seeing the doctor himself as well, so he must be sick. 可见(kjin)，限定词是图尔明模型与三段论的唯一的显性差别，没有限定词，图尔明模型也成了三段论，这正是图尔明

19、所批判的。IA、ECD和AUA中，限定词都已被删除，且所谓的“声明”实为假设。因此，三个模型实质上并不是辩论模型，也不是所谓的论证模型，因为即使将“声明”改为假设，但如何检验假设仍然不得而知。第17页/共26页第十七页，共27页。累进(lijn)效度及累进(lijn)辩论法主 要 时 期 ： 最 新 提 出 （ 2 0 1 1 ）基 本 观 点 ( g u n d i n ) ： 层 级 累 进 观验 证 方 法 ： 累 进 辩 论 法辩 论 框 架 ： 累 进 辩 论 模 型第18页/共26页第十八页，共27页。定义(dngy) 测试数据对测试目标构念的体现(txin)程度Developin

20、gTaskConstructScoreSpecificationPurpose/ConsqResponseCriterionA PosterioriA PrioriReferencingUsingDsgn/InvstgAdministratingScoringn效度是相对于测试环节而言的。每个环节的结果(ji gu)数据，而不仅仅是测后分数，都应该充分体现测试的目标构念n当前环节的效度是所有前任环节效度层级累进的结果(ji gu)，并对所有后续环节的效度产生影响。n累进意味着一个环节的效度最大不大于最薄弱前任环节的效度；一个环节的效度不可接受，所有后续环节都没有效度可言。层级累进观说明：1.

21、累进辩论可以始于任何一个环节，只要有理由相信前任环节是有效的，否则永远找不到起始点。2. 效度虽是“程度”问题，但只要达到可以接受的程度，测试就是“有效”的，否则即为“无效”。3. 测试效度自然是测试固有的属性，而不属于数据的解释或使用，否则就是解释效度或使用效度。第19页/共26页第十九页，共27页。CriterionConsequenceScoreResponseTaskSpecification1. Comparability2. Reference Value3. Predictability4. 1. Beneficence2. Fairness3. Ethics4. 1. Reli

22、ability2. Item Quality3. Language level4. 1. Relevancy2. Authenticity3. Interactiveness4. 1. Correctness2. Representativeness3. Sufficiency4. 1. Clarity2. Specificity3. Practicability4. HypothesisPlanningExecutingClaimConstruct累进(lijn)辩论法由果及因：详细(xingx)列举问题明确提出假设由因及果：逐一检验假设做出理性(lxng)结论第20页/共26页第二十页，共

23、27页。累进辩论模型：理性辩论与科学调查(dio ch)的有机整合DataClaimSinceWarranton account of BackingHypothesisUnlessRebuttalSoQualifierAnalysis(evidential?)(c=1-)(/)(p)YN(H0|H1)()n基础部分：理性辩论，确保模型(mxng)本质上仍然属于辩论模型(mxng)（统计分析的设计、实施和解读都离不开逻辑推理）n扩展部分：假设检验，用于处理复杂数据并得出有说服力的结论（逻辑推理仅适用于数据简单明了、理由显而易见的情况）不会陷入死循环只要理由充分(chngfn)，无需假设检验（可

24、避免滥用）一次假设检验，必然得出结论（需避免误用）第21页/共26页第二十一页，共27页。DH0H1YNp?D=p: probabilityH0: There is no significant difference.H1: The difference is significant.: significance level (e.g. 0.05, 0.1, 0.01)DC0WBRQ(a)DC1WBRQe.g. D=0.8C0: There is no significant differenceR=Type II error ()e.g. D=0.0C1: The difference is

25、 significantR=Type I error ()W=1-=0.95 (confidence level); B=Empirical data (e.g. statistics)Q=at the significance level of (b)(c)假设检验结果(ji gu)解读第22页/共26页第二十二页，共27页。证实(zhngsh)与证伪InterpretationEvidenceCCWBRWBR(D)JustifyingFalsifyingQQ(D)正面解释与反面解释：有利于测试的解释为正面解释，反之即为反面解释。声明与反声明：声明既可以是正面解释，也可以是反面解释。也就是说，声明并不等于正面解释，反声明亦不等于反面解释。证据与反面证据：证据只会“支持”而不会“拒绝”声明。所谓反面证据，实际上是支持反声明的证据。证实与证伪：证伪实际上是通过(tnggu)证实反声明来间接实现的。正面解释和反面解释的内容是确定的。研究问题一旦确定，正面与反面解释随之确定；声明与反声明的内容是不确定的，反声明依赖于声明而存在，没有声明也就无所谓反声明。只有研究结果产生(chnshng)以后，声明和反声明才会出现。第23页/共26页第二十三页，共27页。循环(xnhun)与递归Executing(Q = Hypothesis)(Q = Claim)Q Q 1-1Q 1-