高等教育评价的元评价及其量化分析模型

1、1.本文发表于教育科学2001年8月第4期高等教育评价的元评价及其量化分析模型1贺祖斌（广西师范大学广西桂林541004）摘要该文阐述了高等教育评价的元评价的内涵和意义、元评价的内容和标准、元评价的方法和程序，并提出了元评价的信度和效度的量化分析模型。关键词元评价；量化分析；模型高等教育评价目的是为高等教育决策服务的，如果评价出现偏差将会导致决策的失误。而在开展教育评价过程中，并不是一切评价都十分合理恰当的，在实际操作中往往会产生一些负效应，难以实现评价的预期目的。 因此,开展教育评价，应当研究对教育评价的评价 ，即元评价 （Metaevaluation），以促进教育评价的发展与完善 ，并通过

2、对评价的监控，使之减少偏差，更好地发挥评价的作用。一、元评价的内涵和意义按照一定的理论和价值标准对教育评价技术的质量及结论进行评价与研究称为元评价。元评价就是对评价本身的评价，其目的是对评价者指出他们工作中存在的问题和偏差。元评价的提出是评价理论发展的新课题，也是教育评价走向成熟的重要标志。教育评价理论的进展，方法的完善，必然要求教育评价科学以其自身为对象加以研究和 规范，这是科学发展的规律所决定的。从教育评价过程来看，由于各种教育评价活动在具体实施中，往往存在着这样或那样的不当之处，不同程度地存有偏差与失误 ，影响着教育评价功能的发挥，这就要求我们对既定的评价活动作必要的鉴定和监控，使它与评

3、价的目的要求更加吻合，与目标更趋一致。元评价的主要目的是检验评价中可能出现的各种偏差，运用统计和其它的方法来估计产生的偏差对评估结论的影响。在采用统计方法进行的评价工作中，量化技术对评价结果的分析是必不可少的。同时元评价所指的偏差并不仅仅局限于统计性质，对评价问题的错误理解以及评价过程的方法失误也是造成偏差的主要原因。高等教育评价的元评价研究与高等教育评价有着密切的联系。进行元评价，则是为了规范教育评价的研究，监控教育评价活动，使其减少偏差，顺利地实现评价目的，更好地发挥教育评价的功能，获得良好评价效 益。二、元评价的内容和标准元评价的研究对象是教育评价本身，高等教育评价包含有教育评价理论和教

4、育评价实践两大部分，因此，元评价的内容和标准应分别在教育评价理论和实践 两方面加以概述。（一）高等教育评价理论的元评价内容和标准。1. 教育评价原理。要求教育评价的原理正确、科学，其本体论、认识论研究具有深刻性与合理性。理清教育的价值主体与客体及其尺度，以及评价的主体与客体及尺度 ，科学地把握其内容、要求和关系。无论是制定方案、编制量表还是进行观察访谈和测试，无论是对学生评价，还是对教师、学校的评价，都应有明确合理的科学依据和法规依据。并要求教育评价的 原理、原则明确合理，其理论框架科学完备，理论正确适用、概括性强。2. 教育评价结构与功能。教育评价的结构应具有组织统一性，各部分之间要协调一致

5、能够充分发挥合乎各种情况和层次需求的功能。3 .教育评价方法体系。教育评价方法要科学、合理，要满足各个环节的需要，方法体系要完善，使方案制定得科学可行，信息搜集准确可靠，信息处理方便全面，符合方法的系统整体律、 功能互补律或简便优化律。4.教育评价的临控机制。作为一个系统，教育评价应用良好的监控机制，能够较好地控 制、调节和自我完善，以实现系统目标。（二）高等教育评价实践的元评价内容和标准。1. 对评价方案的评价。评价对象明确；评价目的明了正确；评价标准合理，权重分配恰当 评价工作的计划周密得当，量表科学、可操作。2. 对评价组织实施的评价。 评价的组织机构健全，职责明确；思想正确，协调一致，

6、正确运 用评价方法客观公正地实施评价；被评者态度积极，提供的资料完备。3. 对评价结构和效用的评价。评价结果可靠有效，通过对评价信息采集和处理过程的分析，并结合必要的抽样复核，认定评价有较高的信度和效度 ；评价结果的解释合理，结论恰当， 被评者对评价结论认可接受 ；评价功能发挥较好，对被评有促进作用；评价有较好的实用性和 适时性；评价在时间和人力财力上的投入合理，社会反响好。三、元评价的方法和程序元评价作为一种特定的评价，有其自身的特点和适合元评价的方法，其内容分析法是元评价中一种重要的分析方法。 内容分析法是对评价中各种材料的内容及其有效性按照评价的目 的和要求，进行客观深入的研究、分析和评

7、判的方法。对于高等教育评价理论的元评价来说，主要用于教育评价的理论基础、框架结构和理论体系以及评价依据的元评价研究。对高等教育评价实践而言，内容分析法则主要用于内容效度、结构效度等的分析和评价。内容分析法 要求客观科学、系统全面，并采用定性与定量相结合的方法进行分析。在实施的过程中，每步程序都要有具体要求。其程序包括：（一）确定目的及研究对象。在元评价中进行内容分析应明确目的和对象：首先研究理论体系的合理性。其次鉴定评价方案的科学性。（二）设计内容分析指标及标准。 这应根据具体的研究对象和要求进行设计，对一般的评价理论及评价模式而言，应按其科学性、概括性、普遍性、可靠性和适用性等加以分析。对具

8、体的评价来说内容分析应充分与该项评价的具体要求和情况相一致，内容指标体系中各指标的不同层次应当制定具体的可操作标准。（三） 搜集信息资料并归类。搜集信息资料应按设计要求和需要进行 ，既要全面、系统、 准确，又要富有代表性、典型性，因此，选取样本要合理，并注意方法的科学性。 应用观察、访谈、 问卷个案分析、查阅文献等方法。（四） 系统分析与评判。这是进行内容分析的主要工作，应注意严格按照设计的分析维 度和标准操作，力求客观公正，标准统一；认真作好记录；设计记录表，将分析评判的结果填于表 中，以便统计分析。（五）对结果的处理与分析。在结果的处理上，既要注意通过资料的分析汇总进行定性 描述，又应对一

9、些数据资料作定量的分析与综合。可以运用分析集中趋势、差异程度、相关及进行假设检验等有关统计方法进行分析。对于教育评价理论体系、方法体系及评价模式的元评价研究，可作一些横断分析或时间序列的纵向分析，也可作不同体系与模式的比较研究，以分析其发展现状和趋势。四、元评价的量化分析模型以信度和效度分析为依据在高等教育评价的元评价中建立相应的科学量化分析模型，可以使元评价更进一步科学化、合理化。（一）评价信度的分析模型。在高等教育评价活动中，在有可行的评价方案，并制定了正确科学的评价标准的条件下，要提高评价质量，其关键在于搜集信息和评定成绩等环节做到准确可靠。教育评价的信度正是 结果可靠程度的反映，对信度

10、的评价一般通过评价者信度、内部一致性、稳定性和等值性等 定量分析进行。1评价者信度分析技术。进行教育评价，主评对被评者成绩的评判的稳定可靠程度，对整个评价的可靠性具有重要作用。评鉴主评的评分信度主要采用肯德尔和谐系数法。肯德尔和谐系数法是一种非参数的相关度量方法。设有K个评价人员对N个被评评分，用肯德尔和谐系数法分析评分的一致性，步骤如下：第一步，将每个评价人员对各个被评的评分按顺序排号，化为等级分。第二步，计算和谐系数，公式为：W = S 112K 2(N 3-N)其中，W为和谐系数 飞为每个被评所得等级分数之和Rj与所有等级分的平均数R之差的平方和，即 :S = Enj =1( Rj -

11、R )2为计算方便，将上式化为:S =Enj =1 R 2 j -(ERj )2N第三步，进行显著性检验。有两种情况：(1) 当KW 20且NW 7时，属小样本，检验统计量为S。此时，可将计算得到的S值与“肯德尔一致性系数S临界值表”中的临界值对照。若S值大于或等于临界值，认为意见是一致的，否则认为不一致。(2) 当K 20或N 7时,检验统计量为X 2, x 2= K (N-1)Wx 2服从自由度为df = N-1的X2分布，若x 2的计算值大于或等于给定显著性水平的临界值，认为意见一致，否则为不一致。2 评价指标内部一致性分析技术。高等教育评价指标体系的各指标间或一项测验的各项目间如果有较

12、高正相关，那么这个指标体系或这项测验就具有较好的内容一致性，并称为同质的。一般地说，内部一致性越高，项目越同质，它的分数的意义越明确。在综合评价中，其指标体系和测验试题往往包括了不同性质的评价内容，这时，虽然从总体上看内部一致性可能不太高但对于各部分的内部应当有较高的内部一致性。分析内部一致性的方法采用克朗巴赫a系数法。a系数的计算公式：a =( KK -1)(1-ESi 2S 2x )式中K为项目数，S 2 i是第i个项目得分的方差 ，S 2 x是整个评价的方差。3. 稳定性与等值性分析技术。对评价的稳定性和等值性的考查是通过计算相关系数进行的，前者是计算对同一群体用同样的项目在不同时间进行

13、的评价所得的结果间的相关系数，目的是检查评价的组织与实施是否稳定一致；后者则是出于同一评价目的和要求，但采取不同的评价方案对同一群体实施评价所得的两组结果，求它们之间的相关系数，借以研究和评判两种方案的异同，如果有资料说明其中的一个是高质量的，那么可以据此推断另一个方案的质量高低。(二)评价效度分析模型。评价的效度是对评价的准确有效程度的反映。对效度的分析与评鉴可根据不同情况采用不同方法，其中内容效度和结构效度可用内容分析进行定性分析。在许多情况下，仅仅以定性为主进行效度分析，难以作出中肯评价，必须用定量分析以提高元评价的可靠性。1 因素分析技术。因素分析方法是通过对相关矩阵的分析，从众多变量

14、的交互相关中概括 和推论出起决定作用的基本因素。进行教育评价，在设计评价方案时，因素分析可以更好地把握评价的主要因素，使指标体系和评价标准制定得更合理。在元评价中，利用因素分析可以对内容效度和结构效度等分析得更准确，使方案的修改更加完善。因素分析的数学模型为：Zji =Emk =1 ajkFki + djiUji式中，Zji为被评i在指标j上的分数，Fki为被评i在第k个共同因素上的分数，ajk为因素负荷，Uji为被评i在特殊因素上的分数，dji为特殊因素的加权系数。计算各个指标两两间的相关系数，可得相关数矩阵R ，因素分析的主要任务就是由相关矩阵解出负荷矩阵。在元评价中，应用因素分析时应该先

15、搜集利用原评价方案进行评价所得的评价指标的数据。在此基础上计算出它们的相关系数矩阵。然后求得基本因素矩阵，根据变 量在各因素上的因素负荷，运用特征值方法，进行因素抽取，确定因素数目。再按照简单结构原 则进行转轴，通过旋转变换，使因素与变量的关系以及因素的含义进一步明确。最后依据评价 理论和实际负荷对因素作出解释。这是探索性的因素分析。2.对效标关联效度的评鉴技术。 效标关联效度是以评价结果与效标之间的相关程度表示的效度。所谓效标是指根据所评价的特性或预测的行为的对照标准，这种对照标准一般是通过权威性的评价或依据后来的实际水平加以确定的。效标关联效度所关注的是评价的结果与特定标准之间关系密切的程

16、度，它所强调的是效标行为，以及对这些行为预测得如何。对于产生效标的标准测度的质量要求，主要有四个方面： 第一，关联性，标准测度所测定的特性必须与效标的要求有密切的关联性，即标准测量本身必须有较高的效度；第二,抗偏性，在获得效标的时候，一定要严格控制各种偏向因素的干扰；第三，可靠性，提供效标的标准测度必须可靠 ，其结果应当稳定；第四，可能性，标准测度应当简便可行， 省时、经济。直接计算评价结果与效标的相关系数是确定效标关联效度的重要方法。用积差相关式等级相关所求得的相关系数为效度系数，而相关系数的平方就是效度。例如，一项评价创造力的 测验结果与效标的相关系数为fxy=0.94,相关系数的平方为f 2xy =0.942=0.88。这说明，在这项创造力测验中，其分数变异有88%反映了效标的变异。即这个评价创造力的测验有效 变异和总变异的比是 0 88,这就是测验的效度。开展高等教育评价必须同时对评价进行评价