3-心理测验的编制.课件

1、第三章 心理测验的编制 第一节 测验编制的一般程序一、确定测验目的二、拟定编制计划三、设计测试项目四、项目的试测和分析五、合成测验六、测验使用的标准化七、搜集信度、效度资料（鉴定测验）八、编写测验手册 一、确定测验目的（一）明确测量目标 （二）测验用途（三）明确测验对象 美国著名测验学家瑟斯顿(L. L. Thurstone)通过因素分析，将智力分解为七种基本心理能力： 语文理解阅读时了解文字意义的能力；语词流畅正确迅速拼字与敏捷联想词义的能力；数字运算正确而迅速使用数字解答算术问题的能力；空间关系运用感觉器官及知觉经验正确判断空间方位及各种关系的能力；机械记忆用重复感知的方法记住事物的能力；

2、知觉速度迅速而正确地观察与辨别事物的能力；一般推理根据已知条件推出新判断的能力。 瑟斯顿根据上述七种因素于1941年编成了“基本心理能力测验”。 二、拟定编制计划 （1） 确定能表征所欲测量的心理结构的行为。 A.回顾以往的研究成果，看哪些行为经常被人用来界定该心理结构且效果较为理想，那么这些行为就可以作为候选对象。 B.考虑时代特点。由于时代的进步，某种行为或者操作对于人们的重要性会发生改变。 C.了解受测群体实际情况。只凭以往的理论和实践是不足以真正解决问题的。 D.向有关专家、资深者咨询和请教。 （2）确定每一类行为的项目比例 表：卡特尔16PF各人格特征所占的项目数 一个小学高年级自然

3、常识测验的编制计划。表中的数字代表每一类题目所占的百分比，这些比例反映着每一个内容及目标的相对重要性。 三、设计测试项目（一）搜集有关资料 1.资料要丰富 2.资料要有普遍性（二）选择项目形式 1.判断题 2.选择法 3.匹配法 4.简答法（三）编写和修订项目四、项目的试测和分析 （一）试测（预测）（二）项目分析五、合成测验（一）项目的选择（二）项目的编排（三）制造复本六、测验使用的标准化（一）测验内容（二）施测过程（三）测验评分 （四）测验分数的解释 七、搜集信度、效度资料（鉴定测验）（一）信度（reliability）（二）效度(validaty)八、编写测验手册（1）本测验的目的和功用；

4、（2）本测验的理论背景以及选择项目的根据；（3）测验内容及实施测验的方法，包括 何种测验；内容分几部分；每部分有多少测验项目；如何作答等等。（4）测验的标准答案和评分方法；（5）关于测验的信度、效度资料的说明；（6）常模表或其他有助于分数转化与解释的资料。第二节 测验的项目分析一、项目的难度（一）定义 难度是表示题目难易程度的指标。这一概念在能力测验里称为项目的难度水平，而在非能力测验里，称为“通俗性”或“流行性”水平。 （二）估计难度的方法 1、对于是非题、选择题等采用二值记分（即只有答对和答错两种情况，记为1或0）的测题： 其中, P：试题的难度 R：答对该题的人数 N：全体被试人数例：设

5、有80名学生参加某个测验，答对其中某题目的有32人，则该题的难度是？ P = R/ N = 32/80 = 0.4 P值越小的项目，其难度越大。 2、当被试人数较多时，可以先将被试依照测验总分从高到低排列，然后取得分最高的27%的被试作为高分组，得分最低的27%被试作为低分组。也可以取50%、1/3、1/4的比例，但是27%最精确，这是凯利(Kelley)在1939年的一项研究中提出的。计算出高分组答对该题的百分比PH和低分组答对该题的百分比PL，计算难度的公式为： 例：设有370名被试，取其中成绩最高的27%（100）人定为高分组，成绩最低的27%（100）人定为低分组，对于某一道试题，若高

6、分组有60人答对，低分组有30人答对，则 PH= 60/100 = 0.60 PL= 30/100 = 0.30 所以该题难度为：3、在选择题中，由于允许猜测，备选答案数目越少，机遇的作用越大，就越不能反映题目的真实难度。为平衡机遇对难度的影响，可用下面的公式校正： 其中， CP：校正后的难度（校正后的通过率）P：未校正的难度（实得通过率）K：选项的数目（备选答案的数目）例：一个五择一的测题难度指数为0.50，一个四择一的测题难度指数为0.53，问：哪一题的难度大？五择一测题校正后难度指数为：四择一测题校正后难度指数为：4、对于论述题等不用二分法记分的项目，计算难度的公式为： 其中， ：全体被

7、试在某一项目上的平均分 ：该项目的满分分数例：设某题（问答题）满分20分，全体考生在该题上所得的平均分为10分，则该题的难度为？ 进行难度分析的主要目的是为了筛选项目，项目的难度多高合适，取决于测验的目的、性质以及项目的形式。 为了使测验具有更大的区分能力，以选择接近中等难度的项目为好。（中等难度项目的鉴别力最高） 测验过难或过易，分数全距缩小，信度降低。P=0.50时最佳测验难度影响测验分数的分布形态 难度大，正偏态 难度低，负偏态二、项目的区分度（一）定义 区分度是指测验项目对被试的心理特征的区分能力。区分度高的项目，能将不同水平的被试区分开来；区分度低的项目，则不能很好地鉴别被试水平，水

8、平高和水平低的被试得分差不多。 （二）估计方法1、鉴别指数法 被试按总分高低排列，然后取得分最高的27%的被试作为高分组，得分最低的27%的被试作为低分组。计算高分组答对的人数比率与低分组该题答对的人数比率，采用公式： D = PHPLD：项目的鉴别指数PH：高分组答对该题的人数比率PL：低分组答对该题的人数比率 例：某高中物理测验，被试共18人，高分组和低分组若各取总人数的27%，则两组各为5人，第5题高分组5人全部答对，低分组5人中有1人答对，则该题的鉴别指数为：D = PHPL = 5/51/5 = 0.80 ， D值越大，项目的鉴别力越大，表示项目的质量越好。 2、相关法 计算区分度的

9、最常用方法是相关法，即以某一项目分数与效标分数或测验总分的相关作为该项目区分度的指标。相关越高，则该项目区分度越高。主要有以下几种：（1）二列相关 二列相关适用于两个连续变量，但其中一个变量被人为分成两类。 如，当一个测验的题目分数是连续的，而效标分数或测验总分被分为及格和不及格两类时，就可以采用二列相关法；当效标或测验总分是连续的，而题目分数被分成通过、不通过两类时，也可采用此法。 公式为： 或 其中， ：与二分变量通过组对应的连续变量的平均数 ：与二分变量未通过组对应的连续变量的平均数 ：连续变量的平均数：连续变量的标准差：通过组人数与总人数之比 ：未通过组人数与总人数之比 ：p与q交界处

10、正态曲线的高度 在计算二列相关时，要求二分变量的分布在连续测量时必须是正态分布。如果样本分布不是正态，总体分布也应该是正态。对于连续变量的分布，虽不要求其是正态，但必须是单峰，而且要对称。当两个变量均为连续变量时，一般使用皮尔逊（K.Pearson）积差相关公式计算。（2）点二列相关点二列相关适用于项目是0，1记分（或二分变量），而效标或总分是连续变量的数量资料。计算公式为：或 ：点二列相关系数：答对该题的被试在总分上的平均得分：答错该题的被试在总分上的平均得分 ：通过该题被试的人数的百分比（即该题难度） ：1 ：全体被试的总分标准差 ：所有被试的测验总分的平均数 注：对用点二列相关计算出的数

11、值需进行显著性检验才能确定其意义。要检验是否达到显著水平，常用的检验方法有两种：（3）相关 相关的统计方法适用于两个变量是二点分配的资料，即两个变量都是二分名义变量。在有些情况下，一些连续变量也可用此方法计算相关程度。相关不要求变量是正态分布。所求指数为系数。 在用系数作为区分度指标时，要求项目反应与效标变量都是二分状态。一般是根据效标成绩或测验总分的高分组和低分组，通过和未通过某一项目的人数列成的四格表来计算。公式为：其中， ：的相关系数a,b,c,d：分别为四格表中四项所包含的人次数（4）积差相关 对于论文式测验题目，因得分具有连续性，在被试团体较大时，可以认为项目分数服从正态分布。可将项

12、目得分与效标分数求积差相关系数以得到项目的区分度。附：项目的组间相关项目的组间相关又称为项目间的相互相关，它是指一个测验中各个测题之间的相互关系。估计方法：二值记分的项目的组间相关用相关，非二值记分的项目用积差相关。三、区分度与难度的关系 难度越接近0.50，项目得潜在区分度越大，难度越接近1.00或0时，项目的潜在区分度越小。 难度和区分度都是相对的，是针对一定团体而言的（绝对的难度和区分度是不存在的）。一般说来，较难的项目对高水平的被试区分度高，较容易的项目对水平低的被试区分度高，中等难度的项目对中等水平的被试区分度高（这与中等难度的项目区分度最高的说法并不矛盾，因为对被试总体是较难或较易

13、的项目，对水平高或水平低的被试便成了中等难度）。 由于人的多数心理特征呈正态分布，所以当需要把人作最大程度区分时，项目难度的分布也以正态为好，即特别难与特别容易的项目较少，越接近中等难度的项目越多，而所有项目的平均难度为0.50。 区分度与难度的关系难度（）区分度（）1.0000.900.200.800.400.700.600.600.800.5010.400.800.300.600.200.400.100.200.000 四、区分度的相对性（一）不同的计算方法，所得区分值不同 区分度有几种计算方法？（二）样本容量大小影响相关法区分度值的大小 样本越大，区分度越（三）分组标准影响鉴别指数 分组

14、越极端，区分度越（四）被试样本的同质性程度影响区分度值的大小 样本越同质，区分度越四、项目分析的实例（一）步骤1、选取有代表性的样组370人，按规定的程序进行预测工作；2、把370份试卷按测验总分的高低次序排列，然后从最高分数的人开始向下取足27%（100人）为高分组，再从最低分数的人开始向上取足27%（100人）为低分组。3、计算高分组与低分组通过每一测题的比率，分别以PH和PL表示；4、按照 与D = PHPL公式，分别求出每一 测题的难度与鉴别力指数；5、比较高分组、低分组在测题不同答案上的反应；6、根据测题统计分析的结果，修改测题或选择适当的测题。（二）实例下表为一个由370人参加的测

15、验中的4道题的项目统计结果，据此表对4题作分析评价。1、区分度（鉴别力） 取舍题目时，首先要看鉴别力（区分度），低鉴别力的题目是不能有效鉴别被试的。按照测题鉴别力指数优劣之评鉴标准，0.30以上的项目是比较好的。 本例中第1、2题区分度符合要求，第3题鉴别力是负向的，比低鉴别力更不好，表明低分者反而比高分者在该题上得分高，第4题的鉴别力则太小。2、难度 P值一般在0.350.65之间为好，但就整个测验而言，难度为0.5的测题应居多，也需要一些难度较大或较小的测题。因此就难度而言，这些测题是可以选用的。（第1题难度较小，第2题难度适中，第3、第4题难度较大。）3、各题的选项分析 项目的选项分析是

16、指对选择题后面所提供的几个答案的分析。如何作选项分析呢？选项分析的异常情况主要有：正确答案无人选择、或少于其他选项人数；错误答案选的人太多；正确选项上高分组选择人数少于低分组；错误选项上高分组选择又多于低分组；某个选项无人选择；未答的人数较多。 第1题：正误答案配比较好。 第2题：除C答案缺乏鉴别能力外，其余都不错。但值得注意的是，为什么在C答案上，高低分组的选答人数相同。 第3题：未答得人数比例过大，且答案B、C、D均属于负向的，高分组选C的人数较多，等于选正确答案D的人数，这些均要研究。 第4题：A项选答的人数较少，是否因为该选项错得太明显而缺乏似真性，另外D选项也有负向性，须找出原因加以

17、适当修改。五、项目分析的特殊问题（一）选择题反应模式的分析 对于选择题，除了分析其难度和区分度外，还要分析被试对每个备选答案的反应情况。一般主要做一下分析：1、如果正确的备选答案被所有被试所选择,.2、如果某个错误答案没有一个被试选择，3、如果所有被试都选择了同一个错误答案，.4、如果高分组被试的选择集中在两个答案上，.5、如果高分组对正确答案的选择与低分组相等或低于后者，6、如果一个题目被试未答人数过多或选择各个备选答案人数相等，. （二）标准参照测验的项目分析1.难度分析2.区分度分析方法一根据测验分数将被试分为达标组与未达标组，然后分别计算它们在某一项目上的通过率，两组考生通过率之差，便

18、是该项目的区分度，其公式为： ：达标组在某一项目上的通过率 ：未达标组在某一项目上的通过率表中后测分数表示掌握者分数，前测分数则表示未掌握者分数。D1 = 1-0 = 1D2 = 0-1 = -1D3 = 5/10-6/10 = -0.1D4 = 8/10-4/10 = 0.4D5 = 1-1 = 0方法二用同一测验对同一组被试在教学前后各施测一次，分别统计各项目前后测的通过率，二者之差便是项目的区分度。其公式为： 式中和分别为项目在后测和前测中的通过率。D值越高，说明项目对教学效果越敏感，所以有人将其称做教学效果敏感指数，其公式也可以写为：式中S为敏感指数，RA和RB分别为前测、后测通过的人数，N为学生总数。方法三取两组条件相近的考生，一组接受过同测验有关的学科的教学，另一组没有接受过此种教学。施测同一测验后，分别统计每组考生答对某题的人数，两组考生通过率之差便是该题的区分度，其公式为：式中和分别为教学组和