第九讲-评价研究方法

1、第十一讲评价研究方法第一节 评价研究的基本概念-评价，就是指依据明确的目标，按照一定的标准，采用科学方法，测量对象的功能、品质和属性，并对评价对象做出价值性的判断。在评价研究中，可以通过问卷调查、量表测量来收集资料，但它只是评价研究中的收集资料的工具，而不等同于评价研究。 一、评价研究的特征评价研究的特征表现在评价的目标性与价值性的判断。（一）评价的目标性评价的目标性是指评价研究是一项具有明确的目的和目标的研究活动。评价的目的是指通过评价活动后所期望达到的结果。通常有三种不同类型的期望结果。比较评等，这属于相对性评价，目的是通过对两个不同对象的评价，以期对这两个对象的差异性做出判断。假如用a和

2、b代表两个不同对象，比较评等就是要判断是否存在ab或ab。达标衡量，这属于绝对性评价，是以某一对象作为比较的标准（a0），经过对另一对象a的评价研究，对对象a做出是否达到aa0的判断。 发展比较，这属于自我评价，是以自身的前后状况进行比较，通过对对象a不同时期的评价研究，对对象a做出是否存在a2a1的判断。 评价目标是要做出上述评价结论的依据。在教育技术学研究中常用的评价依据是：条件水平，例如拥有教学环境和资源的数量和质量。品质水平，例如对教学软件通常是从教育性、科学性、技术性、艺术性等方面进行品质评价的。效果水平，例如对于教学效果，是从教学目标来分类，即从认知、理解、应用、分析、综合、评价等

3、出发，判断目标达到的程度。管理水平，例如在教育技术学研究中，着重在对教学资源的开发、运用、流通、发展方面的管理。（二）评价研究的价值判断性评价研究的价值判断性表现在评价过程中，需要根据目标分解出若干评价要素（项目），由评判者依据一定的标准，对评价对象的各项功能、品质和属性进行等级的判断。在获得逐项的评判结果之后，还要根据各项目的重要程度制定权重，把各项目的评判等级与权重综合，从而对总体做出等级比较、达标状况或发展程度的判断。 二、评价研究的要素评价研究由三个基本要素构成： （一）评价对象 这是指被评价、被研究的人或者事物。在教育技术学研究中，评价对象主要是教学过程、教学资源、学生学习效果，教育

4、技术事业的管理等多方面。（二）评价指标体系 它是评价研究工作的工具，通过它有目的地进行资料的搜集、整理、分析；同时，它又是评价判断的依据，依据它作出价值性的判断。 评价指标体系包括有评价要素（指标项）、评价标准和指标权重三个部分。（三）评判者评判者包括组织领导机关、研究人员、专家、同行、教师、学生以及评价对象自身。评价研究的三要素及其关系可用图11-1表示。 图11-1评价研究的要素三、评价研究的基本步骤评价研究的基本步骤可用图11-2来表示： （一）建立评价指标体系评价指标体系包括三个部分，即:评价要素，它是反映被评对象特征的各个成分评价标准，它是衡量事物特征各个成分的比较基准指标权重，它是

5、指各个成分在总体中所具有的重要程度的标志如果是要对于某个研究方案进行评价，则可以按照如下的步骤：识别方案的目的与目标（因变量）用行为的词语重述目的与目标（操作定义）构造内容有效（适当）的测验以测量在行为上陈述的目的和目标（因变量的测量）识别和选择与测验组相对比的控制（建立自变量），如果没有这一步，就是形成性评价 （二）资料的收集为了进行评价，通常通过多种途径收集有关资料，主要有:访问调查个案调查问卷调查量表测量（专家评判） （三）资料的鉴别把所收集的资料按照评价指标要素分类整理，鉴别资料的可使用价值。 （四）价值判断 按照评价指标体系所给出的标准对每个成分要素资料进行比较、判断，作出价值等级的

6、归属。 （五）评价结果的综述 综合各个要素的得分及其权重，得出评价总分，并根据总分和各要素得分率，作出对品质的等级评定或差异比较，或达标程度，或发展程度的价值性的描述和判断。四、评价的类型 教育技术学研究中的评价，根据事物发展的进程，在不同的时期，有不同的目的和重点，大致可分为诊断性评价、形成性评价、总结性评价三类。（一）诊断性评价诊断性评价是在事物发展进程的某一阶段开始之前所作的评价。它是了解人们对这一事物某一发展阶段的兴趣、态度，以及发展所必须具备的条件存在程度等。诊断性评价的目的是为了摸清条件、基础，发现问题，诊断原因，根据评价的结果，可以修订阶段发展目标，提出指导发展的计划。 对于一项

7、事业的发展，例如，计划要设计与开发一门网络课程，诊断性评价实际是对制作条件的评价，对人们思想准备的评价。这些评价有助于进行决策，并对今后的工作有指导作用。对于学生的学习，诊断性评价就是在一个新的学习阶段（如单元、学期或学年）开始之前进行的一种事前考核（或称前测），它要了解学生为学习新内容所必须预备的知识、技能和经验等实际掌握的程度，了解学生对计划学习的内容的兴趣、爱好和要求；根据评价的结果，按照学生的条件和预备知识、技能、经验的掌握程度，修订教学目标、方法，或作出必要的决策（如进行合理编班，编写必要的指导性资料，决定制作辅助教学软件等）。（二）形成性评价 形成性评价是一种在事物发展进程中所作的

8、评价，具有反馈的功能。其目的是监督事物的发展，并调整、修正发展进程。这类评价是按照原来预定的发展目标作为评价依据的。由于形成性评价的宗旨是判断发展中的材料是否适宜，研究者往往要求小规模实验组中的受试者填写问卷和参加作业测验，研究者随后评价材料的成功或失败并据以重新编写方案。对于一项事业，如在网络课程的开发过程中，形成性评价实际是检查进度、检查阶段成果，发现问题，以修订进度和解决存在问题。对于学生学习，形成性评价就是通过平时的小测验、期中考试、作业等测量手段来进行评价，它起着督促学生学习，有助于改进教师教学的作用。形成性评价技术变化不定，不象总结性评价那样有系统性。（三）总结性评价总结性评价是一种在事物发展某一个阶段之后所进行的评价，这种评价目的是了解整体的效果，提供一个总体评价成绩的资料。总结性评价往往又具有后继新阶段的诊断性评价的作用。 对于一项事业的完成，例如，网络课程开发完成后，