项目反应理论与自适应测验学时

第五讲项目反应理论与自适应测验（4学时）一、教学目标1、能阐述经典测验理论的不足，以及项目反应理论发展和应用的背景。2、掌握项目反应理论的基本原理。①能解释逻辑斯蒂模型中被试能力参数与项目参数的物理意义以及两者间的关系。②能阐述项目信息函数的定义及计算方法，会解释项目信息函数的物理意义。③能运用一定的统计方法对被试能力参数和项目参数做出适当估计。④能定性地表述项目反应理论的基本原理。3、掌握基于项目反应理论的计算机自适应测验的实现方法。①能说出一个典型的计算机自适应测验系统的基本构成及功能。②能说明设计一个典型的计算机自适应测验系统需要解决的基本问题。③学会运用自适应测验的基本流程和算法。④能定性阐述自适应测验的优点。4、了解项目反应理论和自适应测验的实际应用的情况。二、教学方法与教学媒体1、教学方法：以讲授法为主，着重介绍项目反应理论的基本原理及其在自适应测验中应用的基本思路和方法。本次课结束后，让学生在课后进行自适应测验系统设计实践，并写出设计报告，然后用1-2学时组织学生就项目反应理论实际应用中的相关问题进行讨论，以培养学生的实践能力。2、教学媒体：用黑板与讲授同步地展示讲授的内容要点，用MicrosoftExcel作为工具讨论项目反应模型及其相关参数的物理意义，用PowerPoint展示结束总结的内容要点和实践任务要求。三、教学重点、难点苹重点：源项目反应模晌型及参数估摸算方法垄；自适应测驼验的施测程盏序及算法。晶难点：否被试能力参片数和项目参家数的估算方吊法；项目信孙息函数的定壳义及意义。丈四纲、教学椒内容与农过程凉整个教学过析程分为引入茅、展开、结汉束三个阶段衡进行。伞引入阶段遍：首先分析答经典测验的译局限性，由腐此引出如何熔提高测验的绣精度和效率怪的问题，在撕此基础上提预出自适应测膀验的基本思抄路及其理论欣基础，从而议引出本节课序的学习内容吗。然后以框脸图形式向学赠生预告本节魂课学习内容基的基本结构乎和要求。勒1、经典测狂验的局限性碰及自适应测姥验的提出年经典测验的垫特点是：所置有被试不论控能力水平高可低都使用相彩同的测试项柿目进行测试优。通常有两床种基本类型汪：所有试题恭（项目）难艇度相同，即恼所谓削“秋尖峰疮”锁型测验。这反种情况下，功当被试水平狸与题目难度刮接近时，具足有较高的测刑验精度，两纯者偏离越大然，测验精度冶越低；第二毛种类型为所蔑谓布“唤平矩蜘”悼型测验，试伙题中有较难岗、难度中等辉、较易等不杆同难度的题丹目，因此在总多数水平上努能提供相对采均等的测验艇精度，但整糠体精度却相甚对较低。商从上述分析洪不难看出，假经典测验难你以很好兼顾责到测验的精字度和精度的俯跨度问题。羽于是人们自赶然想到，能躺否做到化“狂因人施测压”箩---不同断能力水平的梦被试都能接个受一组难度汤跟自己水平饺相适应的试份题？被试能力参数与项目参数的关系----项目反应模型测试项目对被试能力的分辨能力----项目信息函数某次测试的整体测量精度----测试信息函数被试能力参数与项目参数的估算方法被试能力参数与项目参数的关系----项目反应模型测试项目对被试能力的分辨能力----项目信息函数某次测试的整体测量精度----测试信息函数被试能力参数与项目参数的估算方法如何做到测试项目对被试能力的自适应？如何开始？如何选择下一个项目？如何结束？对不同的被试能力水平实现有效测试陷（二）展开驾阶段：轨首先介绍项坛目反应理论驴的基本原理枯，然后讨论蔽一个计算机垃自适应测验病系统的实现伞原理和算法枣。纠1、弄项目反应模乎型众测验的实质窑过程：氧向被试呈现芹测试项目（奏试题）--厉---被试怕对测试项目必做煎出反应（应派答）---滩--根据被予试反应结果奥判断被试能竖力水平。显装然，被试对秆某个项目的侍反应情况不卫仅与被试的危能力水平有甚关，而且还曾与测试项目略的特性有关转。那么，被膝试的应答、智被试的能力泥水平、测试岔项目特性之恒间有什么样北的关系呢？笼要回答这个笔问题，我们葱可以建立相坐应的数学模枕型来描述三盏者间的关系葛，即所谓的辽项目反应模中型罪。指引入相应的激物理量：低被试能力水膝平：由于参申试人数一般负较多，可认卷为被试的能滨力水平是连江续变化的货，用吵表示，嗽值越大，表娇示被试能力骆水平越高。下被试的应答缓情况：恢从经验可知轿，一个被试昆能否正确回恶答某个问题器，常常带有阵一定的偶然扫性（随机性遵），因此引储入申来跪表示寿各种不同能疯力水平的被册试对某一测槽验项目做出清正确回答的案概率。槐越大，回答缩正确的可能蛋性越高。悦项目特性：榨常用来描述间项目特性的巷参数主要是吉难度参数甚和区分度参歪数牺。碎伯恩鲍姆于耕1957年埋提出了被广芝泛使用的逻润辑斯蒂模型粥。下面我们馒就向大家介荡绍这一模型猪。掠（1）二参否数逻辑砖斯蒂模型及厉其参数的意幅义糟具有难度参吼数和区分度这参数的逻辑半斯蒂模型为哑：券这一模型有茅何意义？其密中的各个参治数的意义是降什么？下面骨我们用数值集方法对这一惩模型进行一管些讨论。炒我们世选点,用Exc考el傻作爱出吊值在-3诱—哨3间的策曲线，如俘图倦1扯所示。摧从图1可以愉看出：该项燥目反应曲线良反映正答概防率随被试能富力水平的变欧化规律--螺-随着被试锹能力水平的款增加，正答肿概率也增加残，最终趋于悲1，呈现指钩数规律变化女.律难度参数的颜意义非图2给出了伞和赏时的两条项溜目反应曲线驼。略由图2可知秤：疫难度参数高改的项目需要葵能力水平高碌的被试才能怕做泻出正确应答辫。支值越大，表稻示项目难度梦越高。当其时，喉，表明在二差参数逻辑斯需蒂模型中，植项目难度参优数在数值上抄等于该项目疏正答概率为恢0.5的被萝试能力参数蓄值，难度参体数表示了项张目的困难程旷度。家区分度参数束的意义狂项目区分度真参数表示了见在一定难度残参数的情况版下，由于被定试能力不同掩，其正答概协率有多大程此序的不同。肢显然，这种平不同的程度送越高，项目形对于不同能拜力参数被试助的区分能力课越强。图3材给出了两条饮难度相同区盏分度不同的掘项目反应曲受线。聚从图3可知俗，寄越大，项目约反应曲线越叨陡。让我们页来比较一下宏和羞的两个被试抄在项目1和省项目2中的曾正答率之差汗，前者为0际.24，后激者为0.9困1。显然区望分度大的项三目，正答率砍之差也大。哗这表明：屠区分度反映乳了测试项目境对被试应答泪能力的区分冠程度。务（2）竟三角参数逻辑斯元蒂模型魔在测验实践嫁发现，被试辈对某项目的扒正确回答不段一定只与其滨能力参数名的大小有关象，还可能存妈在由于某种抚推论、猜测即等偶然因素暴而对某个项史目做他出正确回答况,比如在多点重选择题中缸。因此，我葡们再二参数汗模型的基础昨上再引入一腾个猜测参数浴，其值的大这小反映了由慨猜测等因素服而使用被作海出正答的可剧能性。于是曲得到了三参同数的逻辑斯筹蒂模型：破若二参数模孕型以败表示，三参混数模型以咳表示，由有鸣：抖上式表示被间正确应答概笨率由两部分劲构成：一是增基于对项目傲的正确理解宿而正答的概骄率安；二是被试覆对项目不理喊解但由于猜烛测、推断而驳正答的概率闪。掀图4给出了躲二参型数和三参数拢模型的两条慢项目反应曲舒线。鞭从图4可以洁看出：当测浪试项目可以版通过猜测等公因素而作出拍正答的可能乓时，选用三揭参数模型比薯二参数模型衫更适宜。旨最后需要指练出的是，以昨上只介绍了忍使用广泛的后两个项目反详应模型，实冰际上，项目掏反应模型有胜许多不同的些数学模型，宇如考虑部分震正答的项目典反应模型、器考虑项目难唐度和被试能丰力变化的项忍目模型等。休实际应用中驼，我们需要棋根据模型色—跟数据拟合良侧度检验来选怜择合适的模挠型。牌2、项目信骡息趴函数选和测试举信息函数的协定义及意义存对于一个给猴定的项目（司项目参数一思定），它对据不同被试的恨能力水平的懂分辨能力如潮何呢？或者傅说，被试对租一个项目作括答后能带给斤我们关于被雷试能力水平再的信息有多延少呢？被试剑作答一个项仁目的得分反今映其能力水法平的精度有事多高呢？为解了回这一问盆题，项目反腔应理论引入抖了一个项目谨信息函数。凳项目信息函漫数的定义：呈根据上述定反义，我们可睁以计算出：盗二参数项目买反应模型的罗项目信息函掩数为：谱.初三参数模型挤的项目信息派函数为：寄。钳为了帮助学冲生理解项目小信息函数的蔽意义，我们达仍采用数值疼方法来讨论闪项目信息函凡数。虾（1）就某耗一个测试项景目而言，当士项目参数一辆定时，郊只是瞒的函数，因版此它可用来魔描述测试项辽目对不同能孟力水平的被权试进行测试炉有有效性。食经典测验中阀将测验的效斜度用于所有庭被试，而无猪论其能力水朋平如何。蝴（2）陶当和一定时，旧某一测试项萌目所能提供劲的信息量只扇取决于项目趋参数。送图5蹄(贺,b=0.苹921,c踩=0.2)奥表明：项目异区分度参数雨越大，项目氏信息函数值毒也越大。事图6右(洋,b=0.资921,a纵=2.0龙)蝴表明：猜测名参数越大，话项目信息函迹数越小。波图7见（a=2.奋0,b=0英.921,诊c=0.2宫）欠表明躁：同一个项础目在测验高智、中低水平阿的被试时，吓它所提供的应信息量是不昨一样的。当脚被试能力参窝数接近项目射难度参数时宗，信息函数齐取得极大值蔑。由事实上，只叶有当被试能颜力水平略大诵于项目难度编时，提供的尚信息量最大城，且测验结升果的效度和目信度以及被蜜试接受测验泡的积极性均首可大提高。叔这就为我们枕在自适应测脊试中选择试闹题提供了理秧论依据。趴由上述分析周，不难计算诵出信息函数宏为最大时的强能力参数为才：芹综上分析，警我们可鞭以看出，航项目信息函振数是反映试自题优劣的一叫个综合指标旗。欢若我们假设亮被试参加各户个项目的测满试是相互独糟立的（不同由测试项目之叔间没有相互晓影响），则块当测试中包约含n个项目孔，且每个项价目j的项目陪信息函数为煮,各测试项袋目总的信息涨函数为畅测试信息函悉数：饲测试信息函升数表示了对增于各种上天功堂同被试，唐测试整体的骡测量精度。听信息函数的帖可加性表明捆：组成测验秩的各个项目离的质量越高灯（项目信息抱函数越大）博，它所提供监的信息量也集越大，从而绢根据整个测换验所获得的孕数据资料而鱼估算出来的雅被水平也越败精确、越可极靠。可见，碗测验信息函催数是反映测节验有效性的目一个客观而冤精确的指标鲜。江3、参数估趣计方法寻测验的作用酸就是通过测惩验分数对被参试的相应能夺力或特质水话平做出有效匪的估计，而胸高质量的测誉验项目是做宗出精确估计甜的重要前提读。因此，项奉目反应理论寄的实际应用棋中，我们需神要脂根据实际的凳测验数据搜资料客观而锯准确地估算泪出项目参数峡和被试能力殖参数，为题点为建设、测浮验编制、教吊学决策提供抱有效的数据予依据。下面届介绍参数估凤算的基本方必法。红参数估算的属基本思路为薯：赏实测数据（吃被试的得分萄矩阵）-哄选择合适的序项目反应模目型（因子分沙析确定参数行个数---亲模型及—三资料拟合选虾择最优模型思）-后运用统计方朴法估算瑞项目参数和笛被试参数（谅已知项目参健数估算被试删能力参数、敢项目参数和告能力参数的养联合参数估巾计）。春下面以三参完数逻辑斯蒂输模型为例介烧绍两种情形报下参数的估夕计方法--群--极大似种然估计法。熄（1）被试盏能力参数的手估计菜项目参数蚂已知，由测五试数据估算宏被试能力参宁数的算法：灵设项目反应衫变量夺=0表示答寨错，禾=1表示答砌对，答对概期率为艳,答错概率嚼为瓣,则耕被试在全部腹项目上反应叠的联合概率寄为垂上式中的住由项目反应威模型计算，依如对于三参武数项目反应猛模型，有玉定义似然函撇数：挠,其取值最猎大时的慌值即为被试糕能力参数的扑估计值。即拾求解方程：牺.肥(2)被试锁能力参数与至项目参数的劳联合最大似辟然估计其两类参数均供为未知的情亚况下的参数昨估计算法流汪程为：三点说明：纠（1）在第叔（3）步中锄，可求解跨等三个方程艘估算出项目浅参数。桐（2）疑通常，设定陡迭代结束的叮条件奶有两种绵：粪一是最后两象次的估计值健相关不超过溉给定误差；冒二是事先指语定迭代次数采。匹（3）能力益参数估计的痒标准差为漂.（2）令项目参数为已知，利用极大似然估计法估算被试的能力参数初步值（2）令项目参数为已知，利用极大似然估计法估算被试的能力参数初步值（1）设定初值：（3）以上一步估算出的能力参数为已知，利用极大似然法估算项目参数（5）项目参数和能力参数的最后一次估计值即为最终估计值（4）是否结束迭代？YN敌4、计算机甘化自适应测狠验的实现方厉法俊（1）题库市的建设我以选择型试况题为例：庆试题数据库政存的字段构布成：编号、颜试题内容、州试题答案、胡难度参数、榆区分度参数笛、猜测参数脊、被试应答廊信息、使用炒次数、出题蒜人、审核人压、录入时间丈、分数、答汤题时间等。毙试题库管理绍的基本功能客：安全管理语、试题录入廊、试题修改忍、试卷生成械、测试记录欣、测试结果放分析等。赌（2）自适端应测验的基蛋本实现方法说明：旁在第（1）患步中，确定窃被试的能力孙参数初始估沾计值有两种李策略：一是谅如测试前对林被试的情况胶一无所知，影则可采用参捧加过该测验说的所有被试咬的平均水平偷作为初始估址计值；二是摔当在测试前妻对被试的相累关背景有所福了解时，可票采用斜同类被试的经平均水平作真为初始值。异此值的选取仆对测验精度辛影响极小，叙但影响测验辛的效率启。口在第（2）选步中，项目插的选择呈现早主要考虑项旨目的难度参昂数应接近（贯略高于）被卖试的能力参馒数。实际应鸦用时可利用务（对于三参济数模型）来赶选择。循在第（4）靠步中，可利擦用极大似然眨法对能力参辅数做出估计故。纲在第（8）岸步中，决定葱是否终止一起个被试的测宗试有三种策呈略：一是固链定测验长度仰（不同被试朱的测量精度辈不同）；二睛是消时终止测验属（测验长度盟较长、效率免较低）；三敌是靠最后两的能危力参数估计磨值小于预定旧值时终止测仓验（测验长槽度常小于第脾二种策略）若。（2）选择并呈现一个最佳的测验项目（2）选择并呈现一个最佳的测验项目（1）确定被试能力的初始估计值（6）是否终止测试？（8）结束（3）记录并评价被试的反应情况（4）校正能力参数的估计值（7）是最后一个被试？结束测试NYNY俱（三）结束奥阶段：彼总结本讲内衔容，简介项两目反应理论隶和自适应测绪验的潜发展及错应用情况，徐指出自适应砌测验的优点静，布置课外炕实践任务。茶1、本节课独我们向大家旁介绍了项目旦反应理论的诵基本原理及饼基于项目反兆应理论的计阅算机化自适资应测验的基研本实现方法陡。在此，我吩们只介绍了冠关于此理论添及应用的基祥本知识，若恢大家希望对尾项目反应理坝论及其应用候有更加深入幼的了解，可即参阅许祖慰灵编著的《项叨目反应理论禽及其在测验采中的应用》隆（华东师范钩大学出版社开，1992钢年版）。活2、薪项目反应理选论的发展和鲜应用情况综铅述及项目反应理饭论起源于上踏世纪30年忙代末40年烫代初，其发宿展过程大致棵可分为三个娱阶段：交项目反应理陆论的提出（扶上世纪30醒年代末-4填0年代）：裙1946年膨，塔克（T明ucker阔）盼提出萄“球项目反应曲乎线艰”莫概念（能力沿水平与正答谢概率之间的辈关系曲线）头。伏项目反应理摩论的发展阶赔段（上世纪本50-60张年代）：1昨952年，际洛德（Lo斩rd爷）杨提出了正态泥卵形模型及铺其参数估计基方法，并成扶功地用于实蚕际测验；1筛957年，血伯恩鲍姆（笨Birnb唤aum性）自提出了易于聋处理的逻辑惹斯蒂模型愁及相应的统挖计处理方法落；1960馒年，拉什（曾Rasch架）秘提出了拉什案模型，后经查赖特（Wr榴ight搁）房等人的发展找，1969侮年推出了拉划什模型参数展估计的计算迫机程序BI举CAL；1胸969年，池赛麦吉玛（轿Samej双ima舅）糠提出了可用锯于二级评分榆测验、多级搭评分测验和里连续评分测朽验的项目反忙应模型，并萌对这些模型疏进行了应用捡研究。麦项目反应理拾论的推广应始用阶段（上乏世纪70年民代至今）：只有效的参数寿估计方法及料相应的实用掏计算机程序器的开发是这影阶段的研究搅重点。19共79年召开耐了国际计算钢机化自适应堡测验会议。冰上世纪70项年代以后，扶项目反应理飘论得到广泛比应用扶，胸如测验设计耐、能力估计猎、测验等同搅化、自适应石测验等。垄目前，虚项目反应理壮论的研究，锯在理论方面排主要是连续宜变量测验资极料和多维情图况下的数学蚁模型的探索兵上；在实际派应用方面主啊要集中在模洽型---资吹料拟合良度愚检验方法和效参数估计方们法的改进，觉以及项目反剩应理论在测申验编制、题的库建设、测界验参数等值药等实际问题炼的应用上。押项目反应理式论的应用概甩况：侧国外，教育撑部门和工业巾组织用来指乐导测验编制幻以及进行与减测验有关的贷问题的研究俊，特别是自才适应测验受灯到了教育界内、心理学界掉和军队的高容度重视，应糟用极为广泛橡。庸国内泻，起步较晚列，但近年来际在题库建设液和测验编制绪方面的应用屯取得了进展晃