项目分析中的难度分析与区分度课件

第六章项目分析第六章项目分析项目分析就是根据试测结果对组成测验的各个题目（项目）进行分析，从而评价题目好坏、对题目进行筛选。包括质的分析和量的分析，如表6.1项目分析就是根据试测结果对组成测验的各个题目（项目）进行分析表6.1研究生入学考试英语近3年数据对比分析项目1999年2000年2001年平均分43.1056.6145.31标准差12.0013.5013.10难度0.430.570.45表6.1研究生入学考试英语近3年数据对比分析项目1本章目的掌握难度的估计方法了解测验难度水平的确定依据掌握项目区分度的求法及区分度对测验质量的影响了解难度与区分度的关系本章目的掌握难度的估计方法一、项目难度（一）定义（二）估计难度的方法（三）选择题的难度修正（四）项目难度的等距量表（五）测验难度的确定go一、项目难度（一）定义go（一）定义难度就是指测验项目的难易程度。

能力测验：项目的难易水平非能力测验：“通俗性”或者“流行性”水平（popularitylevel）。难度分析,是对项目的难度进行估计以确定适宜的难度。back（一）定义难度就是指测验项目的难易程度。back（二）估计项目难度的方法

测验的计分方法不同，项目难度的计算方法也不同。1、二值记分项目的难度2、多值记分项目的难度（二）估计项目难度的方法测验的计分方法不同1、二值计分项目的难度（1）通过率二值计分：项目的计分只有答对和答错两种情况，计为1或0通过率：以答对百分比（或比率）当项目以1、0计分时，难度等于通过率例如：在200个学生中，答对某题的人数为120人，则该项目的难度为1、二值计分项目的难度（1）通过率1、二值计分项目的难度（2）极端分组法当项目以1、0计分，而人数较多时，难度等于总分上高分组与低分组通过率的平均数1、二值计分项目的难度（2）极端分组法例：假设有370个被试，取其中成绩最高的27%（100）人定为高分组，成绩最低的27%（100）人定为低分组，对于某一道试题，若高分组有60人答对，低分组有30人答对，则：Ph=60/100=0.60Pl=30/100=0.30所以该题的难度为P=（0.6+0.3）/2=0.45例：假设有370个被试，取其中成绩最高的27%（100）人定2、多值计分项目的难度当项目以多值计分时，难度等于平均分与满分之比。例如：设某一问答题满分是20分，全体考生在该题上所得的平均分为10分，则该题的难度为：P==10/20=0.502、多值计分项目的难度当项目以多值计分时，难度等于平均分与当测验不是二值记分，且受测者人数很多时，难度等于总分上高分组与低分组平均分之和与2倍满分之比。P=2、多值计分项目的难度back当测验不是二值记分，且受测者人数很多时，难度等于总分上高分组（三）选择题的难度修正在选择题测验中，猜测的成功概率受项目备选答案数目（K，选项数目）的影响（P=），为平衡机遇对难度的影响，采用下矫正公式：如果要比较两个选项数目不同的测题难度，必须应用以上矫正公式分别将两个测题的难度进行矫正，然后才能进行比较分析。（三）选择题的难度修正在选择题测验中，猜测的成功概率受项目备例如：一个五择一的测题难度指数为0.50，一个四择一的测题难度指数为0.53，哪一题的难度大？五择一的测题矫正后难度指数为CP=四择一的测题矫正后难度指数为CP=可以看到，和未矫正前相反，五择一的测题更难一些。back例如：一个五择一的测题难度指数为0.50，一个四择一的测题难（四）项目难度的等距量表通过率是以何种量表水平表示难度？1、使用项目难度等距量表的理由

第一，测题的难度一般用答对某题的人数比率或百分比表示。百分量表是等级量表，不是等距量表。因此不能比较题目之间的具体差异。第二，难度量表是反序而行的，P值越大，项目越容易，转换成等距量表后更清晰明了。（四）项目难度的等距量表通过率是以何种量表水平表示难度？2、转换为等距量表的方法查标准正态分布表，将以等级量表表示的P值转换成具有相等单位σ的等距量表Z值。P值作为正态曲线下面积时，要从右向左而行。转换好的Z值在平均数以下是负数。为了避免负号出现的情况，使用Δ

。2、转换为等距量表的方法查标准正态分布表，将以等级量表表示的例在正态分布中，平均数之上或之下一个标准差的距离约占全体人数的34%如果在一个测验中某项目A通过率为84%（0.84），那么这项目的难度-1σ如果某项目B的通过率只有16%，则这个项目的难度为+1σ若某题C恰好有50%的人通过，则此题的难度为0back例在正态分布中，平均数之上或之下一个标准差的距离约占全体人数Δ=13+4ZΔ：常态化等距难度指标，13为平均数，4为标准差，Z为以σ为单位的Z值。如，上面所举的例中，其Δ难度值为：题目A：通过率P=0.84Z=-1Δ=13+4×(-1)=9

题目B：通过率P=0.16Z=1Δ=13+4×1=17

题目C：通过率P=0.50Z=0Δ=13+4×0=13

如果一个题目几乎所有被试都通过（99.8%）,

则其Z=-3,Δ=13+4×(-3)=1

如果一个题目答对的人很少（0.13%）,

则其Z=3,Δ=13+4×3=25backΔ=13+4Zback（五）测验难度水平的确定1、项目难度的确定2、测验难度的水平的确定（五）测验难度水平的确定1、项目难度的确定1、项目难度的确定

难度分析的主要目的是筛选项目，项目的难度水平取决于：测验的目的测验的作用项目形式back1、项目难度的确定难度分析的主要目的是筛选项目，项目2、测验难度水平的确定整个测验的难度取决于组成这个测验的各个试题的难度。整个测验难度水平的确定，需要根据测验分数的分布作出。2、测验难度水平的确定整个测验的难度取决于组成这个测验的各个正偏态由于缺少难度低的项目，所以大部分被试分数会集中于左侧低分端，说明测验过于困难。负偏态大多数被试集中在右侧高分端，接近满分，这说明测验很多项目太容易了，缺少难的项目。正态假如在难度中等（P为0.50）并且项目组间相关为零的条件下，分数的分布将为正态。back正偏态由于缺少难度低的项目，所以大部分被试分数会集中于左侧二、项目区分度（一）区分度的定义（二）区分度的估计方法（三）区分度的相对性二、项目区分度（一）区分度的定义三、项目分析的特殊问题（一）选择题的项目分析（二）标准参照测验的项目分析三、项目分析的特殊问题（一）选择题的项目分析（一）区分度的定义项目区分度（itemdiscrimination）是指测验项目对于所测量的心理属性的鉴别能力和区分程度，也称鉴别力。（一）区分度的定义项目区分度（itemdiscrimina（二）区分度的估计方法1、鉴别指数法

2、方差法

3、相关法（二）区分度的估计方法

基本概念：

难度通过率区分度项目鉴别指数

练习与思考：

1、测验项目分析的作用是什么？

2、设受测者在某题上的通过率为10%，试求该题的常态化等距难度指标Δ。基本概念：

难度通过率区分度项目鉴3、对于一个5中选1的选择题，120人中有80人通过了，试求该题的难度（通过率），并作矫正。

4、设一次数学测验题目的区分度以统计学成绩为效标。统计学成绩满分为100分，数学测验第12题以1、0计分。试求数学测验第12题的区分度。在数学测验第12题上的1分者、得0分者的统计学成绩如下：3、对于一个5中选1的选择题，120人中有80人通过了，试求项目分析中的难度分析与区分度课件推荐阅读大学生艾滋病知识问卷的难度和区分度分析.中国学校卫生，2004，01画人智力测验评分项目的再确定.应用心理学,1998,4(2):9-14推荐阅读大学生艾滋病知识问卷的难度和区分度分析.中国学校卫生1、鉴别指数法

比较测验总分高和总分低的两组被试在项目通过率上的差别例如：某高中物理测验，高分组在第5题上的通过率为0.75，低分组的通过率为0.35，则该项目的鉴别指数为：D=0.75-0.35=0.401、鉴别指数法比较测验总分高和总分低的两组被试在项目续上1965年，美国测验专家伊贝尔（L.Ebel）根据长期的经验提出用鉴别指数评价项目性能的标准，如下表所示。续上区分度与难度有密切关系back区分度与难度有密切关系back2、方差法当n<30时，属于统计上的小样本，改用实际进行项目分析时，被试不能少于30人，提到该公式是由于练习的需要。back2、方差法back3、相关法

以项目分数与效标分数或测验总分的相关作为项目区分度的指标

3、相关法以项目分数与效标分数或测验总分的相关作为项项目分析中的难度分析与区分度课件续表续表（1）二列相关二列相关适用于两个连续变量，但其中一个变量被人为分成两类。公式为：或（1）二列相关二列相关适用于两个连续变量，但其中一个变量被人例：下表有20个学生语文测验总分以及在作文题和一个选择题上的得分情况，假设作文37分（包括37分）算通过，试计算作文题的区分度。

例：下表有20个学生语文测验总分以及在作文题和一个选择题上的解：解：项目分析中的难度分析与区分度课件（2）点二列相关点二列相关适用于一个变量为连续变量，另一个变量为二分变量的数据资料。公式为：

（2）点二列相关例如：根据上例的资料，计算选择题的区分度。解：back例如：根据上例的资料，计算选择题的区分度。back(三)区分度的相对性1.不同的计算方法，所得的区分值不同两种相关值的比较2.样本容量的大小影响相关法区分度值的大小3.分组标准影响鉴别指数4.被试样本的同质性程度影响区分度值的大小

back(三)区分度的相对性1.不同的计算方法，所得的区分值不同（一）多重选择题的项目分析1、步骤2、对选择项的反应模式注意从以下几方面进行分析3、项目分析实例back（一）多重选择题的项目分析1、步骤back1、步骤

1）选取有代表性的样本370人，按规定的程序，进行预测工作；2）把370份试卷按测验总分的高低次序排列，然后从最高分数的人开始向下取足27%（100人）为高分组，再从最低分数的人开始向上取足27%（100人）为低分组；3）计算高分组与低分组通过每一题的比率，分别以Ph和Pl表示；4）按照区分度与难度的公式，分别求出每一测题的难度与鉴别力指数；5）比较高分组、低分组在测题不同答案上的反应；6）根据测题统计分析的结果，修改测题或选择适当的测题。back1、步骤1）选取有代表性的样本370人，按规定的程序，进行2、对选择项的反应模式注意从以下几方面进行分析1.如果正确的备选答案被所有的受测者选择，说明该项目太容易，或者可能是项目中提供某种暗示，使正确答案过于明显。2.如果某个错误答案没有任何被试选择，说明该选项不具有迷惑性，错得过于明显，除了增加阅读时间外，不起任何作用。3.如果所有被试都选择了同一个错误答案，可能是编制测验时把正确答案搞错了，也可能是在教学中发生了错误。2、对选择项的反应模式注意从以下几方面进行分析1.如果正确的4.如果高分组被试的选择集中在两个答案上，二者选择率相近，说明该题可能、本来就有两种正确答案，或者在某种意义上另一个选择项也有一定道理。5.如果高分组对正确答案的选择率与低分组相等或低于后者，说明该题所考查的东西与被试水平无关，即不具有鉴别力。6.如果一个题目被试未作答的人数较多（速度性测验除外），或者选择各个备选答案的人数相等，说明该项目可能过难或题意不清，被试无法作答或凭猜测作答。back接上4.如果高分组被试的选择集中在两个答案上，二者选择率相近，说3、项目分析实例3、项目分析实例1）区分度取舍题目时，首先看区分度，低区分度的题目不能有效鉴别被试。2）难度

P值一般在0.35到0.65之间为好，但就整个测验而言，难度为0.5的测题应占多数，同时也需要一些难度较大或者较小的题目。3）选项第一题：正误答案配比较好。第二题：除C答案缺乏鉴别能力外，其余都不错。第三题：未答的人数比例过大，且答案B、C、D均属于负向的。第四题：A项选答的人数较少，D项也有负向性。1）区分度4）找出原因，对各题进行修改不要丢弃不符合要求的项目，因为用内部一致性分析所求得的鉴别力不一定能代表试题的效度。鉴别力指数低的试题不一定表示该试题有缺点。课堂测验的项目分析资料的有效性是随时空而变化的，并非固定不变。有研究表明，编制新的项目需要的时间几乎比修订现存项目长5倍。back4）找出原因，对各题进行修改back表1四种测量水平和量表对应数据特征量表名称有无相等单位有无绝对参照点数的特性可进行的运算适用的统计方法实例类别量表无无同一性区分性不能加减乘除，不能排序计算次数、百分比、列联相关、χ2检验、比率差异检验。０（男）１（女）等级量表无 无还有等级性可以排序，不能加减乘除 还可求中位数、百分位数、斯皮尔曼相关系数、肯德尔和谐系数、符号检验、等级方差分析。第１名第２名

等距量表 有无还有等距性 可以加减不可乘除还可求平均数、标准差、方差、积差相关、作Ｚ检验、Ｔ检验、方差分析。温度比率量表 有有还有等比性可以加减乘除 还可几何平均数、差异系数。 长度GO表1四种测量水平和量表对应数据特征量表名称有无相等单位有测验目的教育工作中，若测验的目的是为了了解被试在某方面知识技能掌握的情况，可以不必过多的考虑难度。大多数测验希望能较准确地测量个体之间的差别，选择题目时，最好使试题的平均难度接近0.50，而各题难度在0.50±0.20之间。back测验目的教育工作中，若测验的目的是为了了解被试在某方面知识技一般能力测验和成就测验的平均难度在0.50左右比较合适。筛选性测验（选拔性，竞争性测验）则要采用难度接近录取率的项目。back测验的作用一般能力测验和成就测验的平均难度在0.50左右比较合适。ba对于选择题而言，P值一般应大于概率水平对于是非题而言，其难度值应该为0.75最为合适对于四择一题目，其难度值约为0.63时最为合适项目的形式back对于选择题而言，P值一般应大于概率水平项目的形式back1213456back1213456back第六章项目分析第六章项目分析项目分析就是根据试测结果对组成测验的各个题目（项目）进行分析，从而评价题目好坏、对题目进行筛选。包括质的分析和量的分析，如表6.1项目分析就是根据试测结果对组成测验的各个题目（项目）进行分析表6.1研究生入学考试英语近3年数据对比分析项目1999年2000年2001年平均分43.1056.6145.31标准差12.0013.5013.10难度0.430.570.45表6.1研究生入学考试英语近3年数据对比分析项目1本章目的掌握难度的估计方法了解测验难度水平的确定依据掌握项目区分度的求法及区分度对测验质量的影响了解难度与区分度的关系本章目的掌握难度的估计方法一、项目难度（一）定义（二）估计难度的方法（三）选择题的难度修正（四）项目难度的等距量表（五）测验难度的确定go一、项目难度（一）定义go（一）定义难度就是指测验项目的难易程度。

能力测验：项目的难易水平非能力测验：“通俗性”或者“流行性”水平（popularitylevel）。难度分析,是对项目的难度进行估计以确定适宜的难度。back（一）定义难度就是指测验项目的难易程度。back（二）估计项目难度的方法

测验的计分方法不同，项目难度的计算方法也不同。1、二值记分项目的难度2、多值记分项目的难度（二）估计项目难度的方法测验的计分方法不同1、二值计分项目的难度（1）通过率二值计分：项目的计分只有答对和答错两种情况，计为1或0通过率：以答对百分比（或比率）当项目以1、0计分时，难度等于通过率例如：在200个学生中，答对某题的人数为120人，则该项目的难度为1、二值计分项目的难度（1）通过率1、二值计分项目的难度（2）极端分组法当项目以1、0计分，而人数较多时，难度等于总分上高分组与低分组通过率的平均数1、二值计分项目的难度（2）极端分组法例：假设有370个被试，取其中成绩最高的27%（100）人定为高分组，成绩最低的27%（100）人定为低分组，对于某一道试题，若高分组有60人答对，低分组有30人答对，则：Ph=60/100=0.60Pl=30/100=0.30所以该题的难度为P=（0.6+0.3）/2=0.45例：假设有370个被试，取其中成绩最高的27%（100）人定2、多值计分项目的难度当项目以多值计分时，难度等于平均分与满分之比。例如：设某一问答题满分是20分，全体考生在该题上所得的平均分为10分，则该题的难度为：P==10/20=0.502、多值计分项目的难度当项目以多值计分时，难度等于平均分与当测验不是二值记分，且受测者人数很多时，难度等于总分上高分组与低分组平均分之和与2倍满分之比。P=2、多值计分项目的难度back当测验不是二值记分，且受测者人数很多时，难度等于总分上高分组（三）选择题的难度修正在选择题测验中，猜测的成功概率受项目备选答案数目（K，选项数目）的影响（P=），为平衡机遇对难度的影响，采用下矫正公式：如果要比较两个选项数目不同的测题难度，必须应用以上矫正公式分别将两个测题的难度进行矫正，然后才能进行比较分析。（三）选择题的难度修正在选择题测验中，猜测的成功概率受项目备例如：一个五择一的测题难度指数为0.50，一个四择一的测题难度指数为0.53，哪一题的难度大？五择一的测题矫正后难度指数为CP=四择一的测题矫正后难度指数为CP=可以看到，和未矫正前相反，五择一的测题更难一些。back例如：一个五择一的测题难度指数为0.50，一个四择一的测题难（四）项目难度的等距量表通过率是以何种量表水平表示难度？1、使用项目难度等距量表的理由

第一，测题的难度一般用答对某题的人数比率或百分比表示。百分量表是等级量表，不是等距量表。因此不能比较题目之间的具体差异。第二，难度量表是反序而行的，P值越大，项目越容易，转换成等距量表后更清晰明了。（四）项目难度的等距量表通过率是以何种量表水平表示难度？2、转换为等距量表的方法查标准正态分布表，将以等级量表表示的P值转换成具有相等单位σ的等距量表Z值。P值作为正态曲线下面积时，要从右向左而行。转换好的Z值在平均数以下是负数。为了避免负号出现的情况，使用Δ

。2、转换为等距量表的方法查标准正态分布表，将以等级量表表示的例在正态分布中，平均数之上或之下一个标准差的距离约占全体人数的34%如果在一个测验中某项目A通过率为84%（0.84），那么这项目的难度-1σ如果某项目B的通过率只有16%，则这个项目的难度为+1σ若某题C恰好有50%的人通过，则此题的难度为0back例在正态分布中，平均数之上或之下一个标准差的距离约占全体人数Δ=13+4ZΔ：常态化等距难度指标，13为平均数，4为标准差，Z为以σ为单位的Z值。如，上面所举的例中，其Δ难度值为：题目A：通过率P=0.84Z=-1Δ=13+4×(-1)=9

题目B：通过率P=0.16Z=1Δ=13+4×1=17

题目C：通过率P=0.50Z=0Δ=13+4×0=13

如果一个题目几乎所有被试都通过（99.8%）,

则其Z=-3,Δ=13+4×(-3)=1

如果一个题目答对的人很少（0.13%）,

则其Z=3,Δ=13+4×3=25backΔ=13+4Zback（五）测验难度水平的确定1、项目难度的确定2、测验难度的水平的确定（五）测验难度水平的确定1、项目难度的确定1、项目难度的确定

难度分析的主要目的是筛选项目，项目的难度水平取决于：测验的目的测验的作用项目形式back1、项目难度的确定难度分析的主要目的是筛选项目，项目2、测验难度水平的确定整个测验的难度取决于组成这个测验的各个试题的难度。整个测验难度水平的确定，需要根据测验分数的分布作出。2、测验难度水平的确定整个测验的难度取决于组成这个测验的各个正偏态由于缺少难度低的项目，所以大部分被试分数会集中于左侧低分端，说明测验过于困难。负偏态大多数被试集中在右侧高分端，接近满分，这说明测验很多项目太容易了，缺少难的项目。正态假如在难度中等（P为0.50）并且项目组间相关为零的条件下，分数的分布将为正态。back正偏态由于缺少难度低的项目，所以大部分被试分数会集中于左侧二、项目区分度（一）区分度的定义（二）区分度的估计方法（三）区分度的相对性二、项目区分度（一）区分度的定义三、项目分析的特殊问题（一）选择题的项目分析（二）标准参照测验的项目分析三、项目分析的特殊问题（一）选择题的项目分析（一）区分度的定义项目区分度（itemdiscrimination）是指测验项目对于所测量的心理属性的鉴别能力和区分程度，也称鉴别力。（一）区分度的定义项目区分度（itemdiscrimina（二）区分度的估计方法1、鉴别指数法

2、方差法

3、相关法（二）区分度的估计方法

基本概念：

难度通过率区分度项目鉴别指数

练习与思考：

1、测验项目分析的作用是什么？

2、设受测者在某题上的通过率为10%，试求该题的常态化等距难度指标Δ。基本概念：

难度通过率区分度项目鉴3、对于一个5中选1的选择题，120人中有80人通过了，试求该题的难度（通过率），并作矫正。

4、设一次数学测验题目的区分度以统计学成绩为效标。统计学成绩满分为100分，数学测验第12题以1、0计分。试求数学测验第12题的区分度。在数学测验第12题上的1分者、得0分者的统计学成绩如下：3、对于一个5中选1的选择题，120人中有80人通过了，试求项目分析中的难度分析与区分度课件推荐阅读大学生艾滋病知识问卷的难度和区分度分析.中国学校卫生，2004，01画人智力测验评分项目的再确定.应用心理学,1998,4(2):9-14推荐阅读大学生艾滋病知识问卷的难度和区分度分析.中国学校卫生1、鉴别指数法

比较测验总分高和总分低的两组被试在项目通过率上的差别例如：某高中物理测验，高分组在第5题上的通过率为0.75，低分组的通过率为0.35，则该项目的鉴别指数为：D=0.75-0.35=0.401、鉴别指数法比较测验总分高和总分低的两组被试在项目续上1965年，美国测验专家伊贝尔（L.Ebel）根据长期的经验提出用鉴别指数评价项目性能的标准，如下表所示。续上区分度与难度有密切关系back区分度与难度有密切关系back2、方差法当n<30时，属于统计上的小样本，改用实际进行项目分析时，被试不能少于30人，提到该公式是由于练习的需要。back2、方差法back3、相关法

以项目分数与效标分数或测验总分的相关作为项目区分度的指标

3、相关法以项目分数与效标分数或测验总分的相关作为项项目分析中的难度分析与区分度课件续表续表（1）二列相关二列相关适用于两个连续变量，但其中一个变量被人为分成两类。公式为：或（1）二列相关二列相关适用于两个连续变量，但其中一个变量被人例：下表有20个学生语文测验总分以及在作文题和一个选择题上的得分情况，假设作文37分（包括37分）算通过，试计算作文题的区分度。

例：下表有20个学生语文测验总分以及在作文题和一个选择题上的解：解：项目分析中的难度分析与区分度课件（2）点二列相关点二列相关适用于一个变量为连续变量，另一个变量为二分变量的数据资料。公式为：

（2）点二列相关例如：根据上例的资料，计算选择题的区分度。解：back例如：根据上例的资料，计算选择题的区分度。back(三)区分度的相对性1.不同的计算方法，所得的区分值不同两种相关值的比较2.样本容量的大小影响相关法区分度值的大小3.分组标准影响鉴别指数4.被试样本的同质性程度影响区分度值的大小

back(三)区分度的相对性1.不同的计算方法，所得的区分值不同（一）多重选择题的项目分析1、步骤2、对选择项的反应模式注意从以下几方面进行分析3、项目分析实例back（一）多重选择题的项目分析1、步骤back1、步骤

1）选取有代表性的样本370人，按规定的程序，进行预测工作；2）把370份试卷按测验总分的高低次序排列，然后从最高分数的人开始向下取足27%（100人）为高分组，再从最低分数的人开始向上取足27%（100人）为低分组；3）计算高分组与低分组通过每一题的比率，分别以Ph和Pl表示；4）按照区分度与难度的公式，分别求出每一测题的难度与鉴别力指数；5）比较高分组、低分组在测题不同答案上的反应；6）根据测题统计分析的结果，修改测题或选择适当的测题。back1、步骤1）选取有代表性的样本370人，按规定的程序，进行2、对选择项的反应模式注意从以下几方面进行分析1.如果正确的备选答案被所有的受测者选择，说明该项目太容易，或者可能是项目中提供某种暗示，使正确答案过于明显。2.如果某个错误答案没有任何被试选择，说明该选项不具有迷惑性，错得过于明显，除了增加阅读时间外，不起任何作用。3.如果所有被试都选择了同一个错误答案，可能是编制测验时把正确答案搞错了，也可能是在教学中发生了错误。2、对选择项的反应模式注意从以下几方面进行分析1.如果正确的4.如果高分组被试的选择集中在两个答案上，二者选择率相近，说明该题可能、本来就有两种正