教育技术学研究方法2

1、2021-9-241教育技术学研究方法刘明祥，信息技术与传播学院，2021-9-24210 学习反应信息分析法n学习反应信息分析法以应答分析器应答分析器为手段，分析的结果以S-P表、S-P线和集体反应曲线的形式显示。n广泛用于课堂信息分析、教育质量管理、标准测验题的编制以及试题难度、效度的检验分析，以及文字或视听教材的评价，是教育技术研究中的有效方法之一。n重点在于如何对得分信息和反应时间信息进行分析。2021-9-24310 学习反应信息分析法n1 学习反应信息分析法概述n学习反应信息分析法，就是通过应答分析器应答分析器一类的专门装置或以普通多重选择方式命题的试卷或问卷，收集各种学习反应信息

2、，并做出分析判断的一种研究方法。n1969年日本藤田广一等人，提出采用S-P表的方法来处理分析课堂信息的一种方法。n20世纪90年代初，华东师范大学华东师范大学利用微机设计了一套学习反应信息分析系统。2021-9-24410 学习反应信息分析法n学习反应信息分析的特点n1 集团倾向性的动态描述nS-P表、S-P线和集体反应曲线所描述的是一组受试者的集体倾向，而且是描述时间和得分积累的效果，是描述变化的动态结果。n2 模型化的直观结果n图表结果以模型化形态出现，分别与测验类型的标准形态及应答分布函数形态相比较而获得直观的结果。n3 学习反应信息分析的实时性n以微机为主体，做出实时的处理和显示20

3、21-9-24510 学习反应信息分析法n学习反应信息分析系统的构成n1 信息的采集部分n设置在学生座位上的答案选择器组成。n2 控制器部分n以微机为核心的数据处理器，负责对数据进行处理。n3 显示部分n主要包括荧光屏字符显示器、正确答案表示器或回答分布表示器等。2021-9-24610 学习反应信息分析法n学习反应信息分析系统的构成n显示的几种结果n1 个别学生应答分布及对问题回答的分布n2 S-P表n3 学生警告系数n4 问题警告系数n5 各问题间的相互关系数n6 问题正答分布百分率n7 学生得分分布百分率n8 时间积累曲线，即集体反应曲线2021-9-24710 学习反应信息分析法n学习

4、反应信息的类型n在学习反应信息分析法中，若在课堂进行，则可利用投影器或其它提问方式，向学生提出具有多重选择答案的问题，在规定时间内学生选择其中一个答案。n也可通过选择性问题的考卷或问卷，让受试者进行选择回答。n在几个可选答案中，只有一个是合理的答案只有一个是合理的答案，其余则是带有倾向性的典型错误答案。n需要收集、处理的学习反应信息主要包括：得分信得分信息息和反应时间信息反应时间信息。2021-9-24810 学习反应信息分析法n学习反应信息的类型n1 得分信息n每个受试者对每道问题回答的得分情况，得分信息用得分矩阵表示。nXij为第i个学生回答第j个问题时的得分1111nmmnxxxxXij

5、=2021-9-24910 学习反应信息分析法n学习反应信息的类型n2 反应时间信息n每个受试者对每道问题做出反应的时间，可以用反应时间矩阵表示。nTij为第i个学生对第j个问题做出反应的时间1111nmmnttttTij=2021-9-241010 学习反应信息分析法n2 得分信息的处理n1 原始得分矩阵n现有10个学生，对5个问题做出反应，每个问题有5个可选答案，正确答案只有一个。n首先得到原始得分表，如表表10.210.2所示。n对原始得分数据进行规格化处理，并转换为原始得分布尔矩阵。n转换规则：正确为“1”，不正确为“0”。对记分式的转化为：超过该题平均得分者为“1”，低于该问题平均得

6、分者为“0”。2021-9-241110 学习反应信息分析法n2 S-P表的形成nS-P表是在原始得分矩阵的基础上，经处理而形成的。把原始得分矩阵进行重新排列，原则是：n学生排列顺序按得分多少，从上到下上到下排列。n问题排列顺序按被学生正确回答人数的多少，从左到右左到右排列。n参考参考P255P255，S-PS-P表的形成表的形成。2021-9-241210 学习反应信息分析法n3 得分累积分布处理n1 求第i个学生所得总分Yi,即S-P表中第i行各元素值累加。n2 求第i个学生的得分率n3 求第j个问题被正答总数Yj，即S-P表中第j列元素值累加。n4 求第j个问题的正答率。2021-9-2

7、41310 学习反应信息分析法n4 作S线和P线nS线即学生得分分布曲线，它是S-P表上的阶梯状实线，对于第对于第i i个学生，实线左面的格个学生，实线左面的格数等于该学生的得分总数。数等于该学生的得分总数。(自上向下)nP线即问题正答分布曲线，它是在S-P表上的阶梯状虚线，对于第对于第j j个问题，虚线上面的个问题，虚线上面的格数等于该问题的正答总数格数等于该问题的正答总数。(由左到右)2021-9-241410 学习反应信息分析法n5 警告系数的计算n警告系数是为了确定某个研究对象与整体倾向性之间的偏离程度而规定的一个判断指数。n学生警告系数Csi(对应于S线左边为“0”的问题答对人数之和

8、）(对应于S线右边为“1”的问题答对人数之和）(S线左边各题目正答数之和)(Si学生的得分率）(全体学生得分总和)2021-9-241510 学习反应信息分析法n5 警告系数的计算n问题警告系数Cpi(对应于P线上方为“0”的学生得分总数之和）(对应于P线下方为“1”的学生得分总数之和）(P线上方各学生的得分总数之和)(Pj问题的正答率）(全体学生得分总和)2021-9-241610 学习反应信息分析法n3 得分信息的分析n1 S线的断层与幅n如果在S线的中间部位出现有较长的水平部分，则这一水平距离称为S S线的断层线的断层。断层的存在，说明学生中出现了成绩优劣悬殊的两部分；如果断层很长，说明

9、学生中出现了两极分化的现象。n从S线的最右端(表示最高得分)到最左端(表示最低得分)的范围称为S线的幅，幅的大小，反映学生之间的差别程度，幅越大，学生之间的差别程度就越大。2021-9-241710 学习反应信息分析法n3 得分信息的分析n2 P线的断层和幅nP线中间部位出现有较长的垂直部分垂直部分，则此垂直部分的距离称为P线的断层。断层的存在，表明问题的难易程度出现悬殊的差别，反映出测试设计的问题不合理，影响测量的效度。nP线的最上端(表示最低正答数)到最下端(表示最高正答数)的范围称为P线的幅，幅的大小，反映了试题难度的差别程度。2021-9-241810 学习反应信息分析法n3 得分信息

10、的分析n3 学生警告系数Csi与S线两边的“1”和“0”的分布nCsi数值的大小，反映了该学生与学生集团的整体倾向之间的偏差程度。此数值的大小，与在S线两边“1”和“0”的分布相联系的。n正常情况下，S线左边“1”的个数应多于“0”的个数，因为在S线左边的问题，是大多数学生能正确回答的。因此，学习稳定的学生，其“1”值应基本在S线的左边。n如果某学生在S线左边的“0”值偏多，或S线右边的“1”值偏多时，都说明该学生的学习稳定性差。尤其是当“0”值处在S线最左侧，而“1”却在S线的最右侧时，这意味着，大多数学生能正确回答的问题，他却不能正确回答；大部分学生不能正确回答的问题，他却能正确回答。此学

11、生的可靠性或偏离程度较大。2021-9-241910 学习反应信息分析法n3 得分信息的分析n经验表明，警告系数CSi0.50时，可以忽略n当0.75 CSi 0.50时，就要提醒注意。n当CSi0.75时，就要对这个学生进行分析，给予特别注意。2021-9-242010 学习反应信息分析法n3 得分信息的分析n4 问题警告系数CPj与P线两方的“1”和“0”的分布n问题警告系数CPj的大小反映了问题的合理性。CPj数值的大小，是与P线两方“1”和“0”的分布相联系的。n通常情况下，P线上方“1”的个数多于“0”的个数，因为在P线上方，代表学生是成绩较好的学生，他们应有较多人能正确回答这个问题

12、。因此，合理的问题，应该是能被较多的成绩好的同学正确回答。n如果P线上方的“0”较多，或者“0”处在较高的位置(即对应成绩优秀的学生)，而在P线下方的“1”较多，或“1”处在较低位置时(即对应成绩较差的学生)，这就表明这个问题存在不合理性。2021-9-242110 学习反应信息分析法n3 得分信息的分析n当CPj0.50时，可以忽略n当0.75 CPj 0.50时，就要提醒注意。n当CPj0.75时，就要对这个问题进行分析，给予特别注意。2021-9-242210 学习反应信息分析法n3 得分信息的分析n5 总得分率与S线和P线的形态关系n总得分率Gn定义为：nGn=G/G0*100%=G/

13、(m*n)*100%nG为全体学生的得分总和， G0为全体学生对全部问题都正答时的理论满分值，m为学生总数，n为问题总数。n总得分率Gn的大小，又决定了S线左边或P线上方面积占S-P表总面积的大小。由于S线左方或P线上方都是以“1”为主的，所以得分率越高，S线越往右移，而P线越往下移。2021-9-242310 学习反应信息分析法n3 得分信息的分析n得分信息的分析n通常，在不同条件下进行测验，总得分率是不同的，S、P线具有不同的形态特征。nS、P线的几种标准形态如图10.4所示。2021-9-242410 学习反应信息分析法n4 时间信息的处理n1 原始反应时间矩阵n反应时间信息是指每个受试

14、者对每道问题做出反应的时间，它可以用反应时间矩阵表示。n规格化的原则是：若第i个学生回答第j个问题的反应时间，若大于第j个问题的平均反应时间则规定为“0”，若小于或等于平均反应时间则规定为“1”，这样反应时间矩阵元素就只有两种状态：“1”或“0”。n规格化后，得到反应时间矩阵。2021-9-242510 学习反应信息分析法n4 时间信息的处理n2 集体反应曲线的形成n集体反应曲线就是对某一个问题，在规定的时间内，回答人数随时间变化的积累曲线。n图图10.5 10.5 集体反应曲线集体反应曲线n响应曲线：记录在规定时间内，每个受试者反应时间积累曲线，不考虑反应是否正确。n正答曲线：只记录在规定时

15、间之内正确回答者的反应时间的积累曲线，即同时考虑受试者的得分情况。2021-9-242610 学习反应信息分析法n5 时间信息的分析n1 正答曲线类型的考查n根据正答曲线的形状，可以归纳为三类模型，即指数分布型、正态分布型和阶段型。nP264，表10.1 正答曲线类型。n三类正答曲线蕴涵的意义n指数分布型n正态分布型n阶段型2021-9-242710 学习反应信息分析法n2 T-R平面分析nT-R平面就是以平均反应时间T为横坐标，以某问题正答人数R为纵坐标所构成的平面。n在T坐标上，以限定停止回答时间te为上限，在R坐标上，以全体应答人数N为上限，取te/2和N/2位置为中点，得到四个象限。n

16、P265 P265 ，图，图10.7 T-R10.7 T-R平面平面n利用集体反应曲线所得的直观结果，可以根据T和R两个数值在T-R平面上所在的象限位置，判断题目的难易程度。2021-9-242810 学习反应信息分析法n2 T-R平面分析n第象限，RN/2、Tte/2，表示问题很富于想象，许多人在经过长时间思考才能做出正答。n第象限，RN/2、Tte/2，表示问题偏于容易，许多人在很短时间内便能做出正答。n第象限，RN/2、Tte/2，表示问题似是而非，把学生引入迷途，尽管在短时间内作答，但正答者甚少。n第象限，Rte/2，表示问题难度较大，长时间内只有少数人可做出正答。2021-9-242

17、910 学习反应信息分析法n案例研究n小学语文“四结合”阅读理解效果的研究n重点理解如何做S-P表分析nP270，学生的分析模型n补充案例n作业nP271，第2题2021-9-243011 评价研究方法n评价研究要依据明确的目的和目标，测量对象的功能、品质和属性，对评价对象做出价值性的判断。n评价研究主要由评价对象、评价指标体系和评判者三个要素组成。n根据事物发展的进程中不同时期的目的和重点不同，可以将评价研究分为诊断型评价、形成型评价、总结型评价三类。n具体从评价指标体系设计的原则、目标分解、评价标准的建立、指标加权等方面论述了评价指标体系的设计n“网络教学的评价模型”案例2021-9-24

18、3111 评价研究方法n1 评价研究的基本概念n评价，就是依据明确的目标，按照一定的标准，采用科学方法，测量对象的功能、品质和属性，并对评价对象做出价值性的判断。n评价研究的关键是要依据目标，利用收集的资料做出价值性的判断。n在评价研究中，可以通过问卷调查、量表测量等收集资料，但它们只是评价研究中收集资料的工具，而不等同于评价研究。2021-9-243211 评价研究方法n评价研究的特征n评价研究的目标性n评价的目标性是指评价研究是一项具有明确目的和目标的研究活动。评价的目的是通过评价活动所期望达到的结果，通常有三种不同类型的期望结果。n比较评等：属于相对性评价，通过对两个不同对象的评价，以期

19、对这两个对象的差异性做出判断。n达标衡量：属于绝对性评价，以某一对象作为比较的标准。n发展比较：属于自我评价，以自身的前后状况进行比较。2021-9-243311 评价研究方法n评价研究的特征n评价研究的价值判断性n评价研究的价值判断性表现在评价过程中，需要根据目标分解出若干评价要素(项目)，由评判者根据一定的标准，对评价对象的各项功能、品质和属性进行等级的判断。n在获得逐项的评判结果之后，还要根据各项目的重要程度制定权重，把各项目的评判等级与权重综合，从而对总体做出等级比较、达标状况或发展程度的判断。2021-9-243411 评价研究方法n评价研究的要素n评价对象：指被评价、被研究的人或事

20、物。n评价指标体系：是评价研究工作的工具，通过它有目的地进行资料的搜集、整理、分析；同时它又是评价判断的依据，依据它做出价值性的判断。评价指标体系包括有评价要素(指标项)、评价标准和指标权重三个部分。n评判者：包括组织领导机关、研究人员、专家、同行、教师、学生以及评价对象本身。2021-9-243511 评价研究方法n评价研究的基本步骤n1 建立评价指标体系n评价要素、评价标准、指标权重n2 资料的收集n通过多种途径收集资料，例访问调查、个案调查、问卷调查、量表测量(专家评判)等。n3 资料的鉴别n4 价值判断n5 评价结果的综述2021-9-243611 评价研究方法n评价的类型n1 诊断性

21、评价n事物发展进程的某一阶段开始之前所做的评价，是了解人们对这一事物某一发展阶段的兴趣、态度，以及发展所必须具备的条件存在程度等。n诊断性评价的目的是为了摸清条件、基础，发展问题和诊断原因，根据评价的结果，可以修定阶段发展目标，提出指导发展的计划。2021-9-243711 评价研究方法n评价的类型n2 形成性评价n是一种在事物发展进程中所做的评价，具有反馈的功能。其目的是监督事物的发展，并调整、修正发展进程。此评价是按照原来预定的发展目标作为评价依据。n对于学生学习，形成性评价就是通过平时的小测验、期中考试、作业等测量手段来进行评价，起到督促学生学习，有助于改进教师教学的作用。2021-9-

22、243811 评价研究方法n评价的类型n3 总结性评价n是一种在事物发展某一个阶段之后所进行的评价，这种评价目的是了解整体的效果，提供一个总体评价成绩的资料。n总结性评价往往又具有后续新阶段的诊断性评价的作用。2021-9-243911 评价研究方法n2 评价指标体系的设计n评价指标体系n把评价对象根据某种特定的目标分解为若干层次，每个层次又可分解出若干组成要素，依据每个要素和每一结构层次所起的作用和功能形成评价指标体系。n指标实际上是目标在一个方面的规定，它是具体的、可测的、行为化和操作化的目标。2021-9-244011 评价研究方法n指标体系设计的原则n1 与目标的一致性n指标要充分地反

23、映目标，要与教育目标或管理目标相一致。体系内各条具体指标必须具有一致性，不能互相冲突。n2 直接的可测性n指标作为具体的目标，可用操作化的语言加以定义，它所规定的内容可通过实际观察加以直接测量，以获得明确的结论。2021-9-244111 评价研究方法n指标体系设计的原则n3 体系内指标的相互独立性n评价指标体系是由一组相互间有着紧密联系的指标结合而成，体系内的各条指标又必须是相互独立的。n4 指标体系的整体完备性n指标的整体完备性就是指标体系的指标全面性，要能够全面地、毫无遗漏地反映教育目标和管理目标。2021-9-244211 评价研究方法n指标体系设计的原则n5 指标的可比性n指标必须反

24、映被评价对象共同的属性。这种属性的一致性，是可比的前提，也是可比的基础。n6 可接受性n指标的可接受性具有两层含义：其一是符合我国的国情，从实际出发提出指标才是可接受的。其二是指按指标进行评价是可行的。2021-9-244311 评价研究方法n目标分解n指标必须与目标相一致，可以通过分解目标的方式来形成指标体系，这是建立指标体系的基本途径。n我们可以把目标分解为三个基本层次，分为总体指标(零级指标)、结构指标(一级指标)、单项指标(二级指标)三部分。2021-9-244411 评价研究方法n评价标准的建立n1 描述式标准n运用文字描述每个不同要素的等级，并赋给每个等级的分值。n这种标准形式要求

25、所描述的各要素概念明确、清楚、合理、方便辨别。nP281 ，表11.2 描述式标准的形式2021-9-244511 评价研究方法n描述式标准指标标准分值数字卫星地面站的资料收集与保存状况已全部收集并妥善保存4只把系统课程以及部分教学参考资料收录保存3有计划地收集其中部分资源作为参考资料2无目的无计划，临时性收集其中部分资料12021-9-244611 评价研究方法n评价标准的建立n2 期望评语量表式标准n这种标准是根据目标要求，写出期望达到的评语或要求，同时把该项指标分为若干等级，给每个等级赋予分值，评判者根据达到期望评语或要求的程度逐项打分。nP281页，表11.3 期望评语量表式标准形式2021-9-244711 评价研究方法 等级期望评语43210非常满意满意基本满意不满意非常不满意讲授概念准确，条理清楚抓住了重点难点能联系实际，有独到见解讲述生动有启发性2021-9-244811 评价研究方法n评价标准的建立n3 客观可数等级式标准n对于某些条件指标，可以采用客观、可数的定量数值作为标准，标准分成不同的等级，凡达到一定的数额者则可归属到某一等级之中。2021-9-244911 评价研究方法n客观可数等级式标准学校拥有的技术设备54321计算机(台)网络教室(间)多媒体教学平台2021