第十一章政策评价政策是否发生作用课件

1、第十一章政策评价：政策是否发生作用关键问题为什么学校领导应该掌握政策评价知识人们如何确定酝酿中的或完成了的政策评价的质量为什么政策始终具有政治意义学校领导如何推进政策评价过程第十一章政策评价：政策是否发生作用关键问题令人不安的话题 评价是所有教育者专业生涯中必不可少的组成部分。教师评价学生，校长评价教师，越来越多的教育管理者也在接受评价。各种各样的评价制度普遍存在于教育领域的各种方面，相关的术语不断地出现于学校和学区，诸如观察、访谈和资料收集等等。许多州建立了指标体系，在学区的众多工作领域收集信息，分析和比较这些数据，然后公布数据分析结果和比较结果。一些州教育厅甚至运用评价结果对学区进行分类，

2、或者是标明优秀学区和有效学区，或者标上无效学区，分别给予奖励和处罚。我们处于其中的时代是一种强调责任的时代，这种时代必然也是一种崇尚评价的时代。令人不安的话题 评价是所有教育者专业生涯中必不可少的组成 因此，政策同样必须接受评价。最理想的情形是，人们不仅应对政策进行公正的和全面的评价，政策制定者也应该基于评价结果制定、修正或终止政策。但是，我们这个世界并非如此令人满意，许多政策压根儿从未受到评价，还有一些政策的评价粗制滥造，没有人依据政策评价结果制定、修正或终止政策。 与政策过程的其他阶段一样，政策评价也是一项极为困难的工作，一个主要原因是，政策评价具有政治意蕴，因为政策评价总是威胁到某些人士

3、。 因此，政策同样必须接受评价。最理想的情形政策评价相关概念界定本节界定四个关键术语： （1）评价；（2）项目（project）;（3）项目系统（program）；（4）关系人（stakeholder）。评价是指对“某一客体的价值和优点进行系统的考查” 。政策评价是一种应用研究，包括在具体的场合下运用规范的研究方法和严格的研究标准，实现实用性的研究目的：确定政策达成目标的程度。政策评价相关概念界定本节界定四个关键术语： 项目政策一开始常常通过项目付诸实施，后者是“一段特定时间内开展的教育活动”。一旦诸多项目具备组织系统和制度特征，就形成项目系统（program），在项目系统之下，“人们持续地长

4、期开展项目列明的教育活动” 。在这一意义上可以看出，大多数学区拥有持续的阅读项目系统或专业发展项目系统，反映着学区在这些领域的基本的政策取向。 项目政策一开始常常通过项目付诸实施，后者是“一段特定时间内开关系人所有评价都有一些关系人：即“参与项目系统评价或受其影响的个体或团体” 。在学校制度中，主要关系人一般是指教师、教育管理者、教育职员、学生、家长、教师工会和其他工会、学校委员会成员，以及其他利益攸关的组织。 关系人所有评价都有一些关系人：即“参与项目系统评价或受其影响评价的专业化大约在1973年，评价开始走向成熟，在教育研究中成为一个独特的专业领域。其诞生的一个重要标志是一些专业刊物问世，

5、包括教育评价与政策分析（Educational Evaluation and Policy Analysis）、评价动态（Evaluation Review）。另一个重要标志是一些教育评价研究书籍出版，包括教育评价教科书。许多大学开设教育评价课程，一些大学甚至在研究生教育阶段开辟教育评价研究方向。此外，联邦政府和几所名牌大学联合建立了专事政策评价研究和发展的中心。 评价的专业化大约在1973年，评价开始走向成熟，在教育研究中政策评价的基本特征：评价过程无论是大型全国性组织进行的评价一项适用于全国的教育政策，还是一位基层学校校长评价本校的一个政策项目，两者之间并没有本质差别。所有政策评价遵循着基

6、本的和同样的程序。 政策评价的基本特征：评价过程无论是大型全国性组织进行的评价一政策评价过程的基本环节 确定政策目标选择评价指标选择或设计收集数据的工具收集数据分析和总结数据撰写评价报告依据评价建议作出反应 政策评价过程的基本环节 确定政策目标确定政策目标评价的第一步是，尽可能精确地确定政策目标或目的。评价必须与人们假定政策应该实现的目标联系起来，政策评价才是合理的。 如果学区推行新的薪酬政策的目标是提高学生的出勤率和鼓舞学生士气，那么政策评价便应指向薪酬政策在何种程度上实现了提高学生出勤率和鼓舞学生士气的目标。薪酬政策对学校其他活动发生的影响诸如考试成绩与政策成功与否无关。 确定政策目标评价

7、的第一步是，尽可能精确地确定政策目标或目的。选择评价指标政策目标是否达成，通常并非是显而易见的事情，因而，在确定政策目标之后，教育者必须选择指标，这是评价政策目标实现程度的测量工具或标志。例如，在评价薪酬政策中，政策实施过程中5年时间里具有比较意义的是学生出勤率，每个学年伊始实施的学校校风调查得分，就是可行的指标。选择评价指标政策目标是否达成，通常并非是显而易见的事情，因而选择或设计收集数据的工具教育评价的第三步是选择或设计收集数据的工具。在评价薪酬政策方面，教育评价者可以设计一种表格，记录过去5年学区出勤数据；还可以选择一种市场上出售的校风调查问卷，对学生进行调查。选择或设计收集数据的工具教

8、育评价的第三步是选择或设计收集数据分析和总结数据在资料收集完成后，对数据进行分析。数字性数据（例如测验分数）通常运用统计方法进行分析，计算平均数、全距、频率，判断这些数据是否在统计上存在显著差异。这些分析结果通常利用图形、曲线和表格表示。言语性数据（诸如访谈记录）通常依据整个评价范围中言语性数据经常出现的主题分类，然后依据主题进行编码，这样就可以看出每个主题的发生情况。电脑程序既可以用来分析数字性数据，也可以用来分析言语性数据。分析和总结数据在资料收集完成后，对数据进行分析。数字性数据（撰写评价报告仔细分析数据后，教育评价者需要撰写评价报告，说明评价结果，依据评价结果提出建议。例如，在评价报告

9、中全面讨论薪酬政策的评价过程，表明实施新的薪酬政策以来，出勤率得到改善，学生的士气却没有明显进步。教育评价者可能据此建议继续推行新的薪酬政策，同时附加新的政策内容，尝试促进学生的士气。 撰写评价报告仔细分析数据后，教育评价者需要撰写评价报告，说明依据评价建议作出反应学区的领导者们受到了评价报告后，或者用来修改薪酬政策，或者终止薪酬政策。依据评价建议作出反应学区的领导者们受到了评价报告后，或者用来判断教育政策评价的标准 尽管教育评价的目的是判断政策的效用，但教育评价自身也必须接受评价。实际上，教育领导者们需要知道如何判断一项计划中的或完成了的评价的质量。倘若他们签订了合同实施一项评价，那么就需要

10、知道这项计划中的或完成了的评价是否完善。如果面对一项已经完成的评价，领导者们也需要知道应该对之采取何种态度。 判断教育政策评价的标准 尽管教育评价的目的是判断政策的效用，判断教育政策评价的标准（1）实用程度（usefulness）；（2）可行程度(feasibility)；（3）合适程度(propriety)；（4）准确程度(accuracy)。 判断教育政策评价的标准（1）实用程度（usefulness）实用程度 报告的言语表述应当清晰，政策目标对象能够理解，避免使用技术术语和难以理解的统计数据。如果必要，应当采用不同文本的评价报告，运用不同的政策目标对象的语言。 报告内容都必须充分，全面说

11、明接受评价的政策的信息，主要评价结果都应该与实际的情形之间存在清晰的联系。政策评价报告的篇幅不应该过长，在开首部分，应该包括一个概括的实施过程和意义说明。实用程度 报告的言语表述应当清晰，政策目标对象能够理解，避免可行程度 时间成本经济成本工作秩序政治影响意料之中可行程度 时间成本评价必须是可以操作的，而不是给学区或学校带来不合理的压力。可行程度的一个重要方面是基于实际，通过实践可以完成。评价的设计便于在规定的时间范围内完成，同时避免对相关的教育者履行专业职责造成不适当的干扰。如果一项政策评价要求学生停学一周或两周，以便进行访谈，或者实施测验，这样的政策评价项目就是不可行的或不切实际的。可行程

12、度的另一重要方面是没有引发政治冲突。本章开篇部分指出，评价是一项“令人不安”的工作。那些不安的人士很有可能试图阻挠评价的部分内容，从而保护自我和自己的工作。这种情形表明，评价始终无法排除政治因素。一项好的评价不会无视这一事实，而是始终将其列为设计评价的考虑因素。一种最小化围绕评价发生政治争议的方法是，评价者在设计评价过程中，与政策目标对象讨论，聆听其建议，顾及所有利益团体和政策目标对象的利益。在评价过程中，项目负责人还应该在访谈、观察、收集数据时，避免表扬，或者似乎表扬一群人，从而淡化另一群人。在评价报告公布之际，没有人会大吃一惊和措手不及，或者感到不愉快。可行的评价是经济上负责任的评价，其预

13、算准确，足以完成评价，相对于评价发生的环境而言，成本适度。合适程度合适程度主要关注法律问题和道德问题。良好的政策评价必须与公认的研究规范一致。第一，在政策评价中，没有选择与政策情境存在利益冲突的人士担任评价者。无论谁来担任评价者，都必须避免自己的个人、专业、经济利益与评价结果发生关系，倘若有希望实施评价的亲朋好友，那么也应该回避。第二，评价者与委托实施评价的组织应该签定合同，说明研究（政策评价）目的、评价什么和何时完成。第三，评价者在实施评价时，应当尊重政策目标对象作为人的基本权利，形成合适的信任关系，告知参与者政策评价目的。此外，评价者应当有礼貌地对待全体参与者，征求各种意见，而不应听任参与

14、者受到其在组织中地位，以及受到种族、性别、年龄的限制，从而对政策评价一无所知。最后，最终的政策评价报告应该是全面公开的，即便评价者在实施评价的过程中发现经济作弊或其他问题行为。合适程度合适程度主要关注法律问题和道德问题。良好的政策评价必准确程度评价应该是准确的。评价者必须研究政策实施环境，熟悉其文化和社会经济特点，只有在这样的基础上才能形成准确的评价报告。在评价报告中，评价者应该提供足够详细的信息，说明数据来源，这样，报告的读者才能确定数据的价值以及基于其上的报告结论的价值。 准确程度评价应该是准确的。评价者必须研究政策实施环境，熟悉其评价的目的：（1）总结性评价许多政策评价是总结性评价(su

15、mmative evaluation)。 这一类评价指向已经实施一段时间的政策的质量，尤其是在其实施历程中处于一种关键阶段。 否定性的评价结果可能意味着某一政策的终结，因为国会可能否决这项政策，拒绝继续给予拨款，或者获得重新生效，条件是该项政策必须接受重大修改。在这一意义上可以说，总结性评价的基本目的就是明确赋予政策实施者一定的责任，这就是为什么施行总结性评价的利害关系重大的原因，也是为什么总结性评价总是通过外部评价者施行的原因。 评价的目的：（1）总结性评价许多政策评价是总结性评价(sum形成性评价(formative evaluation) 形成性评价的目的是在一项政策的实施过程中，帮助政

16、策实施者对政策进行必要的修正，从而对政策进行改进，因而，形成性评价是持续的经常发生的过程。虽然评价者在事先指定的时间撰写和完成评价报告，其收集相关数据的工作却是正常性的和持续的。因为形成性评价的意图是帮助实施者对如何更好地开展正在进行的工作选择更好的方法，所以不象总结性评价那样令人忌惮。同时，由于关系不甚重大，内部评价者通常也会参与形成性评价。形成性评价(formative evaluation) 形成“政治控制评价”虚拟性评价（pseudo-evaluation）。 遗憾的是，政策评价并不总是声誉良好，令人信服。常见的情形是，一项表面上看来是真诚的评价，实际上却被称为虚拟性评价的一种。虚拟评

17、价的目的分为两类。第一类是“政治控制评价” 。这样的评价是基于政治因素而启动的，数据的收集，以及最终政策评价报告的发布，都会受到严格控制，目的是制造某些人士期望的政策印象。这种预先期望的政策印象既可能是否定性的，也可能是肯定性的，但绝不会真实反映政策实施成功与否，而是提供政策评价委托者所需要的政治理由。 “政治控制评价”虚拟性评价（pseudo-evaluatio公共关系评价公共关系评价目的是“打造学校、学区、项目或政策过程的肯定性的良好的公共形象” 。与政治动因启动的虚拟性评价一样，那些公共关系研究项目的委托者通常明确告知评价者，政策评价的结果应该是什么。在这样的情形下，政策评价的最终报告不

18、仅必须是肯定性的，而且必须在已经树立起来的良好的公共形象上附加光环。为了实现这样的目的，评价项目的委托者细心地框定和选择研究者能够收集数据的范围和类型，限制研究者能够在哪儿工作，可以与谁交谈，应该提什么问题。无庸置疑，虚拟性评价是不道德的。公共关系评价公共关系评价目的是“打造学校、学区、项目或政策过政策评价的方法论：量化方法论 量化研究设计包括数值型数据的收集和统计分析。许多数值型数据都可以在学区和学校获取。图11.2列出了可以在学区和学校收集的最为常见的数值型数据。量化政策分析有时依托实验或准实验设计完成，这些实验研究调查参与某一项目的小组与没有参与这一项目的小组之间的统计差异。 政策评价的

19、方法论：量化方法论 量化研究设计包括数值型数据的收量化评价的优点是，结构优秀的量化评价有着很好的信度，许多人尊重使用统计术语或图形表达的评价结果，或者是使用图形描述的评价结果。实施过程相对快捷，成本相对低廉。但是，量化评价的主要缺点是由于其结构封闭，研究问题精确具体，因而很难用于追求那些没有预料到的研究内容，而这些内容可能正是作为评价对象的某些政策的重要效果或作用 量化评价的优点是，结构优秀的量化评价有着很好的信度，许多人尊教育研究量化数据例举 考试成绩在读学生在读率（Retention rates）出勤率辍学率生均成本教师工资师生比接受免费午餐或减价午餐的学生比入学率取得硕士学位的教师比例

20、教育研究量化数据例举 考试成绩质化方法论 质化研究设计涉及言语性的和形象性的数据收集。在学校和学区可以收集到许多这样的数据，研究者也很容易生成这种数据。图11.3列举了一些最为常见的质化研究数据类型。质化研究设计常常需要收集多种数据，并对之进行比较，这一过程称为三角互证（triangulation）。例如，一个评价预防辍学项目的评价小组可能访谈学生和教师，听课，分析作业和其他与本项目相关的材料。质化评价能够探索富有意义的内涵和解决问题的观点。此外，质化评价常常获取一些量化评价无法发现的却是富有价值的结论。 质化方法论 质化研究设计涉及言语性的和形象性的数据收集。在学质化数据例举 访谈记录焦点小

21、组讨论记录观察记录开放问卷个人观点日记会议记录正式报告法律文件书籍和类似材料照片 质化数据例举 访谈记录指标“指标是指与教育中的某种基本结构相关的单个或复合的统计数值，用以测度这种基本结构（例如，教育政策）的一种或数种情形” 评价者必须界定指标，用于确定实现政策目标的程度如何，这是任何政策评价必不可少的一个环节。选择评价指标时，必须特别慎重，因为倘若指标不合适，将会产生病态反应。 指标“指标是指与教育中的某种基本结构相关的单个或复合的统计数评价的政治学分析第一，接受评价的政策和政策系统都是政治过程的产品；第二，评价报告影响着政治领域发生的一切，包括一项政策是否应该持续，应该获得多少拨款；最后，

22、许多人的职业生涯、专业声望和教育利益取决于评价结果：评价领域的相关者；政策制定者；政策实施者；委托人；评价者； 评价的政治学分析第一，接受评价的政策和政策系统都是政治过程的运用评价报告 没有行动局部修改政策大幅修改政策终止政策运用评价报告 没有行动修改政策的主要方法 方法解释 替代提出新的政策项目，其目标与原有的政策一致，替代原有的政策。巩固统合两个或者更多的政策项目，或者统合一些项目的部分内容。分离分离政策项目的某一方面内容，将其融入其他政策或项目之中。削减经费削减政策项目的拨款，政策中的许多措施没有经费实施。修改政策的主要方法 方法解释 替代提出新终止政策的时机 管理阶层变化经济发展周期陷

23、于低迷阶段预算发生困难组织内部其他岗位空出原有的政策易于被新政策替代的时候 终止政策的时机 管理阶层变化问题和活动1.讨论为什么人们对评价感到不安。2.找出一项量化评价和一项质化评价，说明两种评价分别使用了什么方法，比较两种评价得出的信息和结论。3.找出一份评价报告的结论，运用本章的评价标准，对其进行评价。4.列举你所知道的一项或数项评价项目，辨别其主要指标。这些指标是否在某种程度上曲解了政策？怎样对其进行改正？问题和活动1.讨论为什么人们对评价感到不安。个案研究：中学建议书引发激烈争论一位学校督学决定对本学区初中（79年级）的课程和组织进行评价，成立了一个评价小组，包括小学、初中、高中校长和

24、一位教师。督学要求评价小组在开始评价工作后五周内完成一份书面报告。评价小组根据自己对本学区学校制度的了解、信念及其需要，以及通过问卷收集的部分教师、学生的感受准备了一份书面评价报告递交督学。报告中的内容包括本学区初中学生的学术成绩、全美初级中学组织变化趋势（强调中学概念实施的优点）、现存的和未来预期的入学率、初中课程之间的不连贯和初中年龄段学生的心理和社会发展水平。个案研究：中学建议书引发激烈争论一位学校督学决定对本学区报告建议改革本学区学校制度，建立中学组织，包括第六、七、八三个年级，而把第九年级并入高中。报告公布后，小学和高中家长十分激动，因为他们关心的问题没有在报告中反映出来。其中小学家

25、长尤其愤怒，他们担心六年级学生从小学分离后，孩子的成长没有了表率。在他们看来，六年级的学生能够帮助低年级小孩做很多事情，其中最重要的事情就是安全地陪伴着低年级小孩来往于学校和家庭之间。与这一切相映，高中家长深深忧虑在9年级学生进入高中后的学校拥挤现象。两组家长代表向学校委员会提出抗议。学校委员会同样非常气恼，因为报告没有评价重组学校的缺点和成本，以及其他可供选择的学校组织变革方案的优点和缺点。结果，学校委员会站在家长一边，拒绝了中学概念及其实施。问题：1.运用本章讨论的评价标准，说明上述评价的缺点。2.如果你是学校委员会成员，你对报告的建议如何表决？为什么？3.督学能够做些什么来增加评价的可信

26、程度？评价小组能够做些什么来增加评价的可信程度？4.仔细阅读上述案例，怎样理解评价的政治学对政策环境形成的影响？报告建议改革本学区学校制度，建立中学组织，包括第六、七、新闻分析学区相信双语教育任何时候，只要教育管理部门实施一项变革，就会谣言四起，道听途说难以抵制地纷至沓来。正如人们预料的那样，奥斯丁独立学区开始启动其建设规划，处理那些长期教学质量低劣的学校的问题时，这样的情形又发生了。在流行的谣言和道听途说中，一种说法是学区管理机关不支持双语教育。作为学区负责双语教育的管理者，我们现在就让这种说法住嘴。这里没有任何模棱两可学区管理机关明确支持有效的双语教育，视此为面向不会或很少说英语的孩子的最好的教育方式。我们的主张基于多项重要原则：日常生活中使用的主要语言，是所有学生获得智力和社会发展的最强有力的工具。在家庭中习得语言的方式，在所有英语教学课堂上都是学业进步的基础。新闻分析学区相信双语教育任何时候，只要教育管理部门实施在双语教育和英语作为第二语言的课堂教学中，使用日常生活主要语言掌握词汇、提高理解能力和获得语言机制，是富有成效的提高学术成绩的途径。伴随