计算机辅助测验计算机辅助测验

第四章计算机辅助教育的评价一、體的概念1.评价的概念——衡量人物与事物的价值。——“决定事物、产品或过程的优点和价值的过程。评价的本质：判断事物的优点和价值。2.评价的分类（什么时候进行、目的是什么、评价标准）——形成型评价——总结型评价3.计算机辅助教育评价——是衡量和估计计算机辅助教育的活动过程或者说计算机辅助教育系统产品（如课件产品等）的教胄价值的过程。教育应用价值是由它们帮助实现教育作用的程度和水平反映出来。4.教育评价的常用方式—实验研究方式——专家评价方式5.计算机辅助教育评价的作用＞帮助决策；＞促进推广应用；＜进一步提商产品质量。6材算机辅助教育评价的趋势面向决策的评价、I財时价值的评价＞自然评价面向系统的评价二、评价方法1.评价的模型是一种过程框架——规划评价的步骤和计划：包括如何确定Q标，如何将其划分阶段，找到评价的最佳途径的步骤等。评价模型的作用：——对于受过训练的评价人员——对子评价组织者评价模型的类型：＞帕罗乌斯的差异模型＞斯塔夫勒宾的CIPP模型＞我1+1的三级评价模型计算机辅助教育评价工作是一个系统过程，不沦运用什么模型，都包含有收集信息、分析处理信息、判断及报告等阶段。2.信息收集的方法〃从开发者处收集信息，从试验运行收集信息〃从现场教学收集信息＞观察记录法＞联机结果记录法，教学活动后收集信息＞调査法＞测试法3,信息处理的方法〃非数据类型倍息的处理处理办法是归纳整理列出一系列清单：文档资料清单、必须改正的错误清单、修改建议清单、应用建议清单等。这些都是修改应用计算机辅助教育系统的重要信息。分类保管，以利于查询。，数据类型信息的处理数据整理核査录入最简单的处理方法：加权累计记分法mpj=第j个观察人员的综合评价1pt=士£p：

评价小组的综合评价j=I4.评价倍息的报告（报告对象、报告内容、信息组成）——形成型评价——总结型评价三、评价内容与标准1.评价内容体系如何把笼统的教育价值细分为一系列可以观察或测量的，便于处理、判断的信息分量，从而使评价人员可以从各个方面来观察、衡量教育价值，并以此为依据得出综合判断。这种对于计算机辅助教育系统的教育价值的结构化就是停价内容体系。2.评价内容体系建立的基本原则——完备性、合理性和可操作性等。3.建立评价内容体系的方法——调查综合法和系统分析法。调查综合法：自底向上的体系建立方法1分类归纳整理-*结束系统分析法:a顶向k的体系建立方法rt一聆化内容中有否无有一般化内容取出一般化内容，苒返冋计论，钿化为可澡作性n容,列入总表。来完备完盛化：写下应补艽的内容运回重护徘列。宪备化鼴觀I价誦_溫讨论是否.所^f內整埋，结東，4.标准与权值的讨论标准——用何种度量方式来测定各项目的价值权值——采用自顶向下的系统分析方法5.评价内容而而观：评价标准按照CAI课件的内容特性、教学特性和技术特性等三方面来衡量。/内容特性内容特性包括科学性、教育性和适当性，即看内容是否准确反映客观规律和符合科学原理；内容对于教育对象来说是否具有较高的教育价值；内容是否符合社会道徳法律、伦理规范。〃教学特性指是否有明确的教学n标；是否达到预定的教学目标；教学思路是否清晰合乎逻辑；难度是否适当；是否能激起学生学习动力；是否能激发学生创造性思维；是否能提供有针对性的即时反馈;学生是否控制学习的主动权；是否和学生原有知识基础相结合（教学的继承性）；是否有助于进一步的学习（学习的迁移性）。f技术特性信息显示有效性，即信息显示的格式和位置安排是否得当，图形、色彩、声音的运用是否服从于教学的需要。发挥计算机特点，即是否充分应用了计算机的有关功能；使川的方便性，即学生和教师是否毫无困难地进行橾作使用；程序的可靠性，即不因为学生误操作时产生不可恢复的中断；后援资料的充分性，即使川说明、学习指导手册等应完备，简中明了而有效。6.—些有代表性的评价体系-美国数学教师协会软件评审表A我国的屮小学教育软件评审标准1993年国家教委制定丫《屮小学教学软件审查标准及其说明》1999年教育部颁发CD-ROM教育软件评帘指标体系按照CAI课件的教育性、科学性、技术性、艺术性和使用性五个方面来衡量。，教育性：＞指选题恰当，适应教学对象的需要；＞突出重点，分散維点，深入浅出，笏于接受;＞注意启发，促进思维，培养能力；＞作业典型，例题、练习份量适当，善于引导。f科学性：＞内容正确，逻辑严密，层次清楚；＞模拟仿真形象举例贴切、准确真实；＞场景设晋、素材选取、名词术语、操作示范符合有关规定。〃技术性：＞阁象、动画、声音、文宇设计合理;Hfflj而清晰，动画连续，色彩逼真，文字醒目;〃声音清晰，音量适当，怏慢适中;，交互设计合理，智能性好。＞艺术性:＞媒体多样，选用适当，设置怡当，创意新颖，构思巧妙，节奏合理；＞両面悦H，声音悦耳。＞使用性：＞界面友b，操作简中、灵活;＞容错能力强；＞文《资料齐备。四、评价实施课件评价实施包括组织培训评价人员，评价实施过程，写出评价报告。评价人员的选择评价计划组人员计划安排选拔人员培训组织外界联系计划人员行政人员课件管理组人员课件评审组人员登录、筛选、分类、保管、评后综合、分析、信息发布准备软件管理人员统计分析人员初评人员各学科课件评审评价专家（可以是兼职人员）开发过程评价过程形成型评价流程不合格登录准备筛选——I初步合格I设置学生情况*试用观察信息采集报告*停止未完总结型评价实施ini®目前仍未出台广泛认可的网上学习评价标准。“提供网上课程评判标准的将是私人机构而非政府部门。”几个比较成熟的评价标准，在线学习的认证标准(E-LearningCertificationStandards)＜虚拟学4环境的教育评价框架(AFrameworkforPedagogicalEvaluationofVirtualLearningEnviroments)，在线学习质量(QualityoftheLine)第五章计算机辅助教育管理一、计算机辅助学校行政管理计算机辅助学校行政管理(ComputerManagedEducationAdministration,CMEA)是一个以计算机为工具，对学校管理信息进行全面管理的人机系统，能准确、及时地反映学校各项工作的当前状态，利用过去的数据预测未来，能从全局出发辅助学校各职能部门以及校长管理学校。LCMEA的功能＞建立数据库＞处理数据2.CMEA的应用范围＞学生档案管理，教职工档案管理＞教务管理＞学校资源管理＞财务管理，人事组织管理3.CMEA的系统构成相对应应用范围的六个子系统，共同使用三个数据库：学生数据库、财务数据库和教职工数据库。二、计算机辅助教学管理计算机管理教学(ComputerManagedInstruction，CMI)是计算机管理信息系统在教学中的应川，即利用计算机管理和指导教学的全过程。CMI不是直接向学屯传递教学信息，而是观察、检测和分析学生在学习过程屮的行为表现，从而影响向学生传递信息的方式和内容。CMI是利用计算机管理信息系统來支持各类教学管理职能，它主要为教师服务，能帮助教师监控、评价和指导学生的学习过程，并为教师及时地提供教学分析报告，也能代为决策。此外还能为学生提供学习咨询信息。1.CMI的兴起＞CAI的个别化教学＞教学行为的目标性＞教学方式的多样性——要求教师同吋也是教学管理员2.CMI的开发与应用、作为CAI的支持系统而构成于CBE系统中＞用于传统的课堂教学信息的管理——“反应分析器”＞在考试測评方面的应用——CAT＞应用于虚拟课堂、开放大学、远程教育和成人教育等领域目耗库罢震id:梓处理倒稔芽分教学仁息的采实，根杏战草CMI系统的模型3.CMI的功能结构1）教学活动和教学信息的采集、记录与处理教学活动是指师生在各种形式下的共同活动。在教学活动过程中，必然地需要各种教学倍息，同时也会产生各种教学信息。教学信息可分为：静态信息和动态信息。2）教学目标库、教材库、教学资源库、题目库这些庳可统称力教学库，是师生进行教学活动的主耍知识基础和支撑者。教学目标库：有对各课程的基本教学0的和耍求，教学大纲及其说明，以及教学指导书等。教学H标库还吋随时输入某些特定的教学要求。教材库：有各课程的教材和教学参考材料等，包括印刷文字教材和非印刷声像教材，CAI课件等。教学资源库：有教师基本情况，学生名单及其学习历史情况，教室与实验室使用情况以及教学媒体的配置情况等。题目库：有各课程的大量测验考试与学习作业题A3）测验生成、测验评分和成绩分析。根据教学考核的要求，从题冃库屮按一定规则选取适度的题目组成一次测验，可联机测试，可试卷测试，计算机系统自动评分。根据学生的测试成绩，可对教与学进行各种分析，既可对全班学生成绩作总体分析，也可对学生进行个别化分析。同样对测验题也讨进行总体与个别分析。能问参与教学过程的各类人员提供多项报告。报告町分三个管理级别：第一级是教学单元管理级，第二级是课程管理级，第三级是教学计划管理。4）诊断和处方。为r确定学生的学4进程是否朝着预定的教学id标前进，必须进行学习诊断。诊断分为：表征诊断与因理性诊断。表征性诊断是根据学生的测试成绩，不需参考学习历史。因理性诊断是当学生在当前单元的学习遭到失败吋，力了确定造成失败的原W和寻求适当的补救办法，这种诊断要充分利用学习历史。处方则是根据诊断的结果为学生指派适当的学习任务。按其性质可分为前进处方和补救处方。5）调度、控制与通信问题。根据教学目标要求，并參考教学资源的配备情况可对教学活动进行调度安排，必要时可给出一份课程表，在教学进行过程中，系统还吋参照诊断处方情况对教学活动安排给予及时的适当修改与补充，形成一个闭环控制系统，使教学活动过程能始终处于较好的状态，朝着预定的教学n标前进。在CMI系统屮，提供“信箱”的功能，允许教师，学和教学管理人员之间相互通信，以保证CMI功能正常。CMI软件方块图很告（授块）1

r数《库管s软忤包和实角程序效据库课件学生行政学生教学秩学资濂文忤官S文件历史文件文件CMI硬件框架图4.CMI的三个典型应用1）教学监控系统教学监控系统是一种对学生个別化学习活动进行检测、控制与管理、引导和评价，同时也为教师提供各种报告和服务的CMI系统。＞教学监控系统的功能(1)能对学生的个别化学习活动进行系统的控制与管理(2)能跟踪学生的学习行为并记录相应的学习数据(3)能根据学生的学习记录诊断学生的学习情况并给出学习处方(4)能为教师提供报告和各种服务＞教学监控系统的控制结构(1)与CAI相结合的教学监控系统(2)補助教师监控教学过程的教学监控系统选择课程内容<教学监控系统的信息收集及处理(1)问题应答(2)教学内容(3)教学R标及其实现/教学监控系统的检测方式(1)检测学生测验的答对率___(2)检测学生犯某类错误的频率2)课堂教学信息处理系统课堂教学信息处理系统(ClassroomInstructionInformationProcesssystem,CUPS)是一种能A动采集、处理和分析课堂教学中学生反应数据的实时处理系统。>CIIPS的基本结构>CIIPS的硬件组成学反馳卜■■终生■接<_>反帥□翻12345抛灯0000000回00区_及应器>CIIPS的软件结构课堂信息处理系统丄丄丄1初治化反应曲线处理|S-P表分析姗分析登录报a数据采集数据整理1记录保存显示数据分析课堂信息七理系统软卢结构产CIIPSS-P表分析的工作过程课堂信息处理系统工作流程>CIIPS的处理分析'反应曲线：显示对问题反应的学生人数在时间上的积累分布情况，能够刃教师提供有关全班学生当前学习状况的電要信息。二维矩阵（ti,ri）ioaK(a)容易问题的反应曲线1Ofl(b)较建问题的反应曲线*S-P表分析：利用学生的问题得分表进行教学情况分析的一种信息处理方法。使用这种方法既可评价学生个体的学习状况，乂能对班级整体的学习倾向及整个问题的妥当程度作出衡量。学生一问题的得分姐阵。>S-P表的形成>S-P表的性质>S-P表的分析\问题学生\PlP2P3P4P5P6P7PSP9PLOUiS101100010115「S20111"1100106S301000010103「S4111110f

110'107S5■111110119rS6t1101'10[01

0二。15S7~r~111I1111110S8i0000010002r89'0111111f1108S10'01110[011r

01

116Sil'i-1"0010"01

100]4S1200100000001S1501110101005S141■1110010■005S1510110010004Uj8121196710485SP表处理规则：1.将学生顺序从上到下按得分递减排列。2,将问题顺序从左到右按答对次数递减排列Q3.如果几个学生总得分相同，则把每一个学生答错的各题被其他学生答对的次数求和，和小的排在上面。4+如果几个问题答对次数相同，则求出每一个问题答错的学生，他们的得分和，和小的这个问题排在左面。5.作S线，对毎一个学生両竖线段，竖线段左边的问题数目等于相应学生的得分，然后用橫线连接。6+作P线，对每一个问题画横线段，横线上方的学生数为答对该问题的次数，然后用竖线连接。学生一问题得分矩阵，经I:述处理后，称S-P表。例如：SI、S6、S13、SI4这四位学生总得分都是5分。S1答错题是Pl、P4、P5、P6、P8,它们被答对的次数和为8+9+6+7+4=34S6答错题是P3、P6、P7、P8、P9,它们被答对的次数和为11+7+10+4+8=40S13答错题是Pl、P5、P7、P9、P10,它们被答对的次数和为8+6+10+8+5=37S14答错题是P6、P7、P8、P9、P10,它们被答对的次数和为6+7+4+8+5=30则从上到下排列为S14、SI、S13、S6例如：Pl和P9这两个问题答对次数都是8。P1籠的学生是SI、S2、S3、S9、S10、S12、S13,这些学生总的得分之和是5+6+3+8+6+1+5=34。P9韻的学生是S6、S8、Sil、S12、S13、S14、S15,这些学生总的得分之和是5+2+4+1+5+5+4-26。则从左到右排列为P9、Pio\^题学心\P2P3P7PIP9P1P6P5P10PSUiS71111111111110S5111111111i09S91111101丄018S41111111|0007S10111010t0106S211011011006S1411110100005S111101000105S1311010010015S610010101105S1501110100004S11100,0，0101014S310101000003SS00100100002S120I10000000011211109887654\^题学心\P2P3P7PIP9P1P6P5P10PSUiS71111111111110S5111111111i09S91111101丄018S41111111|0007S10111010101106S211011011006S14111101010005S1111010nr0105S1311010010015S610010101105S150111'0100004S111厂000，0101014S310101000003SS00100100002S120I10000000011211109887654S-P表的性质①由于学生的得分总和与问题答对次数的总和是相等的，所以S线左方的而积与P线上方的面积扣等。②S线既是学生得分曲线，也可以看作是按得分累积的人数曲线。P线是对各问题正确回答数的累积分布曲线。③S线与P线总是相交的，而且若不蜇合，则P线的左端总是在S线的上方，P线的右端总是在S线的下方。④S线与P线之间的面积称作两线的离差。离差的大小反映r学生对问题的回答情况与问题难易之间的关系，越小说明学生对问题的回答情况与问题难易之间的关系正常，如果S线与P线重合，说明全体学生的学习状态是绝对稳定的。S-P表的分析>•整体性分析：>学生与问题之间的差別分析——断层/学生网答情况与问题难度之间的均匀稈度分析——离差断层是指两线中间的直线部分。—s线的幅(a)［线与P线的盱E愔况离差是S线与P线之问的面积。S-F表面积S线和P线之间的离差面积差;昇里.D=S-P表面积=学生数X何題数15X10150＞个体性分析：＞对学生的学习状况作出评价——学生的警告系数＞对问题的妥当程度作出估计——问题的警告系数s^P表<P2PSP7P4P9nnsP5morsXiS711111"iI1ll1（，S511111ll1l09S91111]0l10iS41111110007SLO111010「i01「06S21101101111006SL41111010J0005SL11101_01一■1□0105~L-c-卞-0~L~rr-VS6丄0!1010丄05SL50l:i10100004SL11:00c010104S3T0101000003SS00100100002SL2o11000000001U11109sa7554具中实线为S托r曲找为P过，对问题警吿系数的计算公式为:Wj(p)=l-COVj(P)COVj(C)对学生警吿系数的计算公式为:Wi(s)=l-covys)COVi(C)3)计算机辅助測验计算机辅助測验(Computer-AssistedTesting,CAT)是计算机在测验及其评价屮的应用。＞完整的CAT系统＞题库系统＞CAT系统的功能。帮助教师或教学管理人员进行测验设计与生成考卷＞在一定条件下实施测验＞进行测验分析、管理成绩与提供报告一个完整的CAT功能模块图＞题库系统题库是CAT系统各种功能有效实现的基础，因此，对于CAT系统的设计开发来说，题库的建立是关键。题库系统是支持题库建立和对题库进行有效管理的计算机软件。。题库建设中使用的两种测量理论。题库系统的基本构成＞题库结构设计＞组卷策略设计题库建设中使用的测量理论有两种:经典测量理论(CTT:ClassicalTestTheory)项目反应理论(IRT:ItemResponseTheory)两种理论的核心部分是数学模型，它们是基T不同的假设提出的。经典测量理论采川的是线性的确定性模型;项FI反应理沦采用的是非线性的概率模型。经典测量理论(CTT)经典测量理论通过项目分析和整体分析来鉴定测验试题的质量和衡量测验的有效性和可靠性。⑴项目分析：项目分析是对考试中的每一试题进行分析。学业成绩考试可以用来衡量学生的实际水平，也可以用于衡量学生的相对水平。当用作衡量学生的相对水平时，对测验所做的项U分析一般包括难度分析、区分度分析和迷惑答案的有效性分析等。〃难度分析难度足衡量测验试题难舄水平的数量指标。pj=l-n采用（0,1｝记分法，即答对1题记1分，答错时记o分，式中Pj表示第j题的难度，cj为答对第j题的人数，n为考生数。由上时的式子讨知，Pj取值范围为O^Pj^l。Pj=i时表明无一人做对该题，该题难度大；Pj=o时表明每个考生都做对了该题，该题难度小。在组成试卷吋，应尽量使试卷题目的平均难度接近0.5，同吋要使试题的难度有一个较合理的分布。>区分度分析区分度是衡量测试题对不同水平被试者区分程度的指标。计算区分度的方法常川的是两端分组法，SP:先将考生的总成绩从高分到低分排列，然后从屮划出一个高分飢旧组｝和一个低分组（L组），二组人数相等，并分別统计两组对某题j的答对人数。设各组人数为n,1^和1^分别为高分组和低分组答对第j题的人数，则该题的区分度D按下式计算：D:Rh—RlnD的取值在d和+1之问，D>0且D值越接近+1，

题目的区分能力越强。一般认为，D在0.4以上的试题就有足够好的区分能力了。＞迷惑答案的效力迷惑答案的效力是指多重选择题屮供选择用的非正确答案被挑选的町能性。如果在考试屮某一选项无一人挑选，则说明该选项没迷惑力；如果被选川的人数多且低分组选用的多于高分组，则说明该选项具有较强的迷惑力；如果高分组和低分组对某选项选用的人数都很少ri人数接近，说明该选项的迷惑力很小。迷惑力很小的选项被认为有效性低或没有效性，对这样的选项要修改或调整。(2)整体分析：利用测验的结果对试卷进行全面的分析和评价。它是通过信度和效度两个数量指标来描述的，用以衡量测验的有效性和nf靠性。吋靠性是指多次测验的测量结果是一致的；有效性是指测验的测量是准确的。而信度则是对测量一致性程度的佔汁；效度是对测量准确程度的估计。项目反应理论__项冃反应理论是