学前教育评估人员专业素养指标体系的构建

［摘要］明确学前教育评估人员专业素养是保障和提升学前教育评估人员专业水平、推动学前教育评估队伍专业化建设的起点。本研究采用三轮德尔菲法，建构了学前教育评估人员专业素养指标体系，具体包括评估理念与道德、评估知识与技术、组织与实施3个一级指标，评估理念、职业道德、评估知识、评估技术、组织协调和沟通交流6个二级指标和23个三级指标。该指标体系为遴选、培训、指导、考核学前教育评估人员提供了参考框架，并为学前教育评估人员的自我反思与专业提升提供了依据。［关键词］学前教育评估；评估人员；专业素养；德尔菲法一、问题提出为了满足我国人口变动趋势和教育事业发展的要求，高质量发展成为新时期学前教育事业发展的重要战略目标。学前教育高质量发展要求深化学前教育评估改革，切实发挥学前教育评估的支持促进作用。评估能否发挥促进作用取决于评估活动质量的高低，而评估活动的质量又受到从业者能力、评估环境和支持资源等多方面因素的交互影响。[1]其中，评估人员作为评估活动的直接实施者，是影响评估活动质量的关键因素。[2][3]由于受教育对象的年龄和能力的制约，学前教育阶段的评估相比其他学段更强调基于教育现场、融入教育过程的直接信息的采集和解释，评估活动的质量更多地依赖评估人员自身的专业素养。但是，长期以來，我国学前教育评估制度和实践未能重视评估队伍的专业化建设，多数地区的学前教育督导评估人员以兼职人员为主体，遴选方式以推荐为主，培训内容缺乏科学系统的设计。[4][5]整体而言，评估人员队伍流动性大、专业性不足的问题突出，在一定程度上阻碍了学前教育评估的功能发挥。因此，当前学前教育评估改革亟须加强评估队伍的专业化建设。近年来，我国学前教育相关政策日益重视评估人员队伍的专业化建设，但相关主题的科学研究较为滞后，未能积极、及时地回应学前教育政策要求和实践需求。2018年，《中共中央国务院关于学前教育深化改革规范发展的若干意见》首次明确要求“建立一支立足实践、熟悉业务的专业化质量评估队伍”。2022年，《幼儿园保育教育质量评估指南》再次强调要切实加强评估队伍建设，强化评估人员专业能力建设。这些政策的贯彻落实要求科学认识评估人员专业素养指标体系。但是，国内教育评估领域仅有少数文献关注到评估人员的资质问题，[6][7][8][9]已有学前教育评估研究主要集中在评估工具和体系、质量标准和现状等主题上，虽有学者关注到当前学前教育评估人员专业素质问题，[10][11]但主要是提出理论构想或介绍国外经验，[12][13][14]鲜有实证研究严谨地考察分析包括学前教育在内的评估人员专业素养的内涵与结构。因此，研究学前教育评估人员专业素养具有重要的政策价值和实践意义。近20年来，美国、加拿大、日本、新西兰、英国、南非等国家的评估协会致力于推动评估专业化，对评估人员专业素养做了较多的探索和研究，陆续出台了评估人员专业能力框架或资格标准，促使评估实践不断成熟，逐渐走向制度化和专业化。[15]其中，美国、加拿大、日本的评估协会还开展了评估人员认证项目。日本评估协会提供的三种证书认证之一就是学校评估人员。[16]但是，这些评估人员能力框架都是指向一般的项目评估，涵盖面向政府、企业、社会公益组织等不同内容领域开展评估的人员，并没有细致区分评估所涉内容领域的特殊要求。目前，仅有少数研究专门考察了教育项目评估人员的专业能力。例如，迪亚兹（Diaz）等人采用德尔菲法调查了美国合作共育项目来自31个州的46名评估专家，分析了评估专家对合作共育教育者（为兼职工作者，评估教育项目是其职责之一）这种非正式教育评估人员的能力期望，结果发现能力期望侧重在评估方法技术方面。[17]虽然国外评估协会和学者在建构评估人员专业素养指标体系时的思路和侧重点上存在差异，但就职业道德、评估技能、评估实践、人际交往等方面提出了一些共同要求，这为研究我国学前教育评估人员的专业素养提供了有意义的参考框架。然而，评估是一种根植于价值和意义体系的价值判断活动，必然受到文化、制度等情境因素的影响。不同国家和文化对什么是评估、为什么评估、如何评估等基本问题的认识与态度，以及对评估制度、模式和评估人员角色职责的安排都存在较大差异。由此，对评估人员的角色标准期待也会有所不同。多个国家的评估协会和学者以美国评估协会（AmericanEvaluationAssociation，AEA）和加拿大评估协会（CanadianEvaluationSociety，CES）的评估人员专业能力框架为基础进行了本土化研究，都发现了一些具有文化特殊性的期望要求。例如，韦希佩哈娜（Wehipeihana）等人分析认为，新西兰评价协会研制的评估人员能力框架的独特之处就在于对文化与价值的重视。该框架不是将文化能力作为独立并行的维度，而是将其作为核心融入到情境分析与参与、系统的评价实践、评价项目管理、反思性实践和专业发展四个维度之中。[18]李（Lee）等人以斯蒂文（Stevahn）等人的“项目评估人员核心能力”（EssentialCompetenciesforProgramEvaluators）为基础框架，先采用德尔菲法对台湾高等教育评估与认证委员会的12教学评估专家进行了两轮征询，[19]然后采用李克特评定和模糊评定对236位教学评估专家进行了再次调查。[20]先后两次研究的样本量和研究方法不同，但教学评估专家的判断结果都是评估专业实践的重要性最高，而项目管理和情境分析最低。就具体条目而言，“回避可能的内部利益”“确保信息的保密性”等职业道德要求的重要性很高。这些研究结果意味着在考察教育项目评估人员专业能力框架时必须重视文化特殊性。为了解我国背景下学前教育这一特殊领域的评估人员应具备怎样的专业素养，本研究尝试在分析我国相关政策要求、国外项目经验与实证研究文献的基础上，参考AEA和CES的评估人员专业能力框架，采用德尔菲法征询来自学前教育评估各领域专家的意见，构建学前教育评估人员的专业素养指标体系，以为评估人员遴选、考核、培训、指导的标准研制和体系设计提供科学依据，推动我国学前教育评估队伍的专业化建设和学前教育评估质量的提升。二、研究方法和步骤（一）研究方法本研究采用德尔菲法建构学前教育评估人员的专业素养指标体系。德尔菲法是在项目规划、政策制定、需求评测等领域广泛应用的一种研究方法，许多学者也采用了这种方法来构建评估人员专业能力框架。[21][22]一般来说，专家咨询小组的人数一般在8到20人。[23]在大多数情况下，三轮咨询通常足以收集所需信息并达成共识。[24]本研究采用目的性抽样邀请了21位从事学前教育评估研究或实践的专家参与问卷咨询，包括高校教师、教育行政人员、教育督导、幼儿园园长、教研员等，涵盖了评估研究者、评估实施人员、被评对象负责人等角色。专家组成员构成及基本信息如表1所示。本研究通过专家自评的方式调查了参与专家的权威程度。专家权威程度与其对指标作出判断的依据（Ca）和对指标的熟悉程度（Cs）有关，其中Ca根据内容的可信程度分为实践经验、理论依据、同行了解和直觉四类，Cs采用李克特6点计分法（0=不熟悉；1=非常熟悉）。专家权威程度系数（Cr）为判断依据系数和熟悉程度系数的算术平均值，即Cr=（Ca+Cs）/2，专家权威系数越高，专家权威程度越高。[25]本研究统计数据显示，几轮咨询的Cr总体均值为0.75（Cr≥0.7即可接受），参与专家在学前教育评估领域具有一定权威性，研究结果可靠。专家积极系数反映了专家对本研究的重视和关心程度。本研究共进行了三轮专家咨询，发放问卷数量依次为21、21、17份，回收问卷数量依次为21、19、15份，专家积极系数依次为100%、90.48%、88.24%。总体上，专家积极系数较高，大多数专家重视并积极参与本研究。（二）研究工具本研究自编三份《学前教育评估人员专业素养指标调查问卷》（以下简称《问卷（一）》《问卷（二）》《问卷（三）》）。《问卷（一）》用于咨询专家对初步拟定的学前教育评估人员专业素养维度和指标的意见和看法，分为四个部分：第一部分为基本人口学信息；第二、三部分征询专家对初拟维度划分和指标的态度和看法（1=删除；2=修改；3=保留），通过开放性问题收集修改建议；第四部分要求专家对自身权威程度进行自评。《问卷（二）》及《问卷（三）》用于咨询专家对经过前一轮征询后修改的指标体系的认可程度，采用5级量表（1=非常不认同；5=非常认同）。（三）研究步骤本研究分两个阶段进行，第一阶段为文献分析。在该阶段主要分析国内21个省市的学前教育评估和督导人员遴选规定、国外重点国家和地区的学前教育评估项目的人员规定、AEA颁布的《AEAEvaluatorCompetencies（2018）》和CES颁布的《CompetenciesforCanadianEvaluationPractice（2018）》，以及国内外有关项目评估或教育评估人员专业素养的研究文献，初步拟定学前教育评估人员专业素养的维度和指标，编制专家咨询问卷。第二阶段采用德尔菲法进行三轮专家征询，每轮征询预留大约两周的作答时间。第一轮征询向21位专家发放《问卷（一）》，计算均值、标准差、差异系数、满分率、专家积极系数、权威程度等统计量，并依据专家建议修改专业素养指标。第二轮征询向专家发放修订后的《问卷（二）》，获取第二轮反馈意见，进一步优化专业素养指标。第三轮征询向专家发放《问卷（三）》，呈现再次修改后的指标体系，获取专家的认可程度，最终形成学前教育评估人员专业素养指标体系。（四）數据统计与处理本研究使用Excel软件计算各指标的均值（M）、变异系数（CV）、满分率（F）和标准差（SD）。其中，均值表示专家认可程度，均值越大，得分率越高，专家认可程度就越高；变异系数是标准差与平均数的比值，表明专家协调程度，值越小，专家意见协调程度越高；满分率表明指标满分的比率。此外，还计算了每个统计量的均值、范围和标准差。本研究主要采用界值法筛选指标，根据统计数据调整专业素养指标，即删除低于均值界值和满分率界值并高于变异系数界值的指标。为避免重要指标被剔除，对于有一个或两个尺度不合要求的指标（例如只有变异系数高于界值），在充分考虑专家提出的修改意见的基础上，经由研究团队讨论后修改。[26]三、研究结果（一）初始学前教育评估人员专业素养指标体系通过分析国内政策要求、国外项目经验以及相关实证研究结果可以发现，评估人员专业素养框架普遍涉及以下三个方面。其一，良好的专业态度和职业道德。[27]评估人员既要积极学习、不断反思提升，又要具有职业承诺。[28]教育评估活动对评估人员的职业道德提出了较高要求。我国香港地区在选拔教育督导评估人员时会引入外部独立人士，即目前不在教育界服务的幼儿教育专家担任观察员，以保证督导评估的公平性与公正性。[29]深圳市教育督导评估专家遴选也明确要求督导评估人员“未在第三方评估机构任职或兼职”。[30]其二，丰富的专业知识与技术。一般项目评估人员专业能力框架都包含评估专业知识与技术这一维度。例如，美国学者斯蒂文（Stevahn）和金（King）等人将61种不同能力划分为专业实践、系统调查、情境分析、项目管理、反思性实践、人际交往能力6个领域。[31]这一评估人员专业能力框架得到广泛认可和使用，许多评估协会和学者都是以此框架为基础展开研究的。加尔珀特（Galport）和阿扎姆（Azzam）对403名AEA成员进行个人调查和焦点小组访谈后发现，专业实践和系统调查能力是最为重要的两项能力。[32]但大多数学前教育评估项目仅仅要求具备学前教育相关的学历和工作经验，并未就评估知识与技术提出具体要求。例如，湖南省衡阳市要求教育督导评估专家“具有大学本科以上学历或者同等学力，从事本行业、领域或者机关行政管理、教育管理、教学、教育研究工作10年以上，工作实绩突出，在本地域、本行业（学科）有一定影响力”。[33]美国KeystoneStars项目[34]和北卡罗来纳州幼儿教育评估项目[35]都要求评估人员有幼儿教育经验。其三，良好的组织协调和沟通能力。这包括具有韧性、决策能力、沟通技巧、团队合作和组织协调能力。[36][37]例如，北京市教育督导专家遴选要求就提出“具有较强的组织协调、沟通表达、综合研究分析能力”。[38]除了以上三个方面，AEA和CES的评估人员专业能力框架还包含情境分析和组织管理两个维度。其中，情境分析是指评估人员关注、理解和回应评估环境、利益相关者、文化传统等特征的能力。如AEA（2018）的“情境领域”（ContextDomain）涉及评估场地、利益相关者、组织结构、文化多样性、历史传统、价值观、政治、经济、权力和其他特征。组织管理包括评估人员在评估工作计划、时间安排、资源分配等方面的能力。又如CES（2018）的“管理实践能力”（ManagementPracticecompetencies）中包括“确定并有效使用评估所需的人力、财务和技术资源”“协调其他团队成员的工作”“与所有利益相关者传达评估实施进度”等。为了解我国背景下人们对学前教育评估人员的角色期待，充分揭示评估人员专业素养的领域特殊性和文化特殊性，本研究在初始专业素养指标体系中加入了组织管理和情境分析两个维度。综合以上分析，本研究拟定初步的学前教育评估人员素养指标体系包含5个一级指标，43个二级指标。具体包括五个方面。A评估理念与道德，主要关注评估人员的评估理念与道德素质，包含9个二级指标，例如学前教育理念，对评估标准、指导方针和道德规范的遵守与应用，专业自我发展意识等。B评估知识与技术，主要关注评估人员的评估知识与实施评估的专业技术，包含11个二级指标，例如评估领域相关的学科背景知识、评估所需的方法等。C评估实施与管理，主要关注评估人员的项目管理与实施能力，包含9个二级指标，例如确定、监督和协调评估项目所需的工作计划、资源等。D评估情境理解，主要关注评估人员对评估情境的理解、分析能力，包含8个二级指标，例如关注评估所处的自然及社会文化环境、评估涉及的利益相关者等。E人际交往与沟通，主要关注评估人员的社会交往和沟通能力，包含6个二级指标，例如与利益相关者建立积极关系的能力、是否具备良好书面沟通技能等。见表2。（二）三轮专家意见征询情况及指标调整1.第一轮专家征询。第一轮征询中各级指标的均值、满分率以及变异系数如表3所示。统计结果显示，一、二级指标总体变异系数CV的均值为0.173（一般认为CV在0.00～0.25之间即符合要求）。总体上，专家意见协调度较好。第一轮征询后，结合专家意见，经过研究团队讨论，对初始学前教育评估人员专业素养指标体系做出了大幅度的调整，主要包括修改框架层次、删除或增加指标、变更指标所属领域、修改指标名称及表述。具体情况如下。第一，将整体框架由原来的二级指标体系改为三级指标体系，一级指标由原来的5个改为3个，并根据三级指标提炼出二级指标。其中，A评估理念与道德包括评估人员的评估理念（A1）、职业道德规范（A2）和自我发展（A3）3个二级指标以及10个三级指标；B评估知识与技术包括评估人员实施评估活动所需的评估知识（B1）以及评估实施所需的专业技术（B2）2个二级指标及8个三级指标；C组织与实施包括评估人员在实施评估过程中的组织协调能力（C1）和沟通交流能力（C2）2个二级指标以及8个三级指标。第二，原有的43个二级指标经删减或合并，形成了26个三级指标。根据统计结果，首先删去了低于均值和满分率的界值并高于变异系数界值的指标。例如原指标“参与专业评估活动，为评估行业及其实践社区做出贡献”的均值为2.476（M<2.760）、变异系数为0.303（CV>0.189）、满分率為0.619（F<0.779），故删除该指标。对于有一个或两个尺度达到删除标准的指标，若专家的详细意见为表意不清或表述不够具体，则不予删除，仅调整指标表述；若专家的详细意见为质疑指标本身的适宜性并说明删除缘由，则删除。例如，原指标“在评价的所有程序和各个方面保持公开、透明”（M=2.810>2.760，CV=0.214>0.189，F=0.905>0.779），专家指出“任何评估都有讨论和商榷的地方，过于公开反倒不利于开展工作”，因此将该指标删除。此外，合并了范畴重合的指标并调整所属领域，如将原本在D评估情境理解维度下的“D1尊重、识别并回应评估项目所处的多种人文和自然环境”“D2确定利益相关者的需求及其参与能力，同时承认、尊重并回应”和“D5在评估过程中，关注并响应组织的变化和评价项目环境的变化”合并为一个指标——“理解、分析并回应社会文化、组织、利益相关者等因素与评估的相互影响”，并纳入C组织与实施中。第三，增加三级指标。例如，评估理念方面增加“坚持以发展为目的、以事实为依据，开展科学评估，扭转不科学的教育评估导向”，以及评估技术方面增加“准确解读和应用学前教育评估标准”。第四，修改含义或表述模糊的指标，使得指标的内涵更加清晰明确、切合主题，表述通俗易懂。例如，将原指标“在评估中利用自我发展意识和反思性思维来不断改进实践”修改为“针对评估工作中的现实需要与问题，进行探索和研究”。因此，经过第一轮专家征询，修改形成具有3个一级指标、7个二级指标以及26个三级指标的学前教育评估人员专业素养指标体系。2.第二轮专家征询。第二轮专家征询将修改后的学前教育评估人员专业素养指标体系通过电子问卷的形式发放给专家。统计结果显示，一级指标、二级指标、三级指标的总体变异系数CV均值为0.096。整体来说，专家对于修改后的学前教育评估人员能力指标体系认可程度较高。第二轮仅有少数专家提出了不同意见，数据处理方式与第一轮相同。专家意见和数据统计发现的问题集中在三个方面：一是质疑部分素养指标对于评估实施人员而言要求过高，例如，学习新的评估理论；二是A3自我发展达到删除标准，是否需要将其纳入评估理念和道德维度；三是组织协调下的两个指标“C1-2协调、监督评估过程和质量”（M=4.474<4.618，CV=0.216>0.185，F=0.684<0.760）和“C1-5理解、分析并回应社会文化、组织、利益相关者等因素与评估的相互影响”（M=4.421<4.618，CV=0.217>0.185，F=0.632<0.760）都达到了删除标准。根据专家意见做出以下修改：第一，在二级指标上删除A3自我发展指标，删减原“A3-1认同学前教育评价的专业性，积极参与专业学习活动，不断学习最新的评价理论和实践”并合并到“A1-2理解学前教育评价的意义，认同学前教育评价的价值”中，删减原“A3-2自觉反思和克服自己的偏见和局限，改进评价工作”并合并到“A1-3坚持以发展为目的、以事实为依据，开展科学评价，扭转不科学的教育评价导向”中，同时删除“A3-3针对评价工作中的现实需要与问题，进行探索和研究”。第二，在三级指标上，根据专家的详细意见修改表述。第二轮修改后形成了包含3个一级指标、6个二级指标以及23个三级指标的学前教育评估人员专业素养指标体系。3.第三轮专家征询。经过三轮专家征询后，指标的总体变异系数CV从第一轮的0.173逐渐缩小为第三轮的0.049，表明指标逐渐趋于合理，专家意见逐步达成一致。当共识率高于80%时，表明专家已达成共识，可以考虑结束专家意见的征询。[39]本研究认为，专家选择“非常认同”视为对该指标的认可，即在所有指标上该选项所占比例在80%及以上，且标准差小于1时，通过专家一致性。经过两轮专家意见征询与修改，在第三轮专家征询中，专家对3个一级指标的共识率均在80%以上，表明专家对于各个指标的看法已达到共识，因此结束专家咨询，最终形成了包含3个一级指标、6个二级指标以及23个三级指标的学前教育评估人员专业素养体系（见表3）。四、讨论明确学前教育评估人员专业素养的构成是保障和提高学前教育评估人员专业素养的起点。本研究借鉴国内外研究成果，采用德尔菲法，通过三轮专家征询，提出了一套包含3个一级指标、6个二级指标及23个三级指标的专业素养指标体系。该专业素养指标体系既反映了不同被评领域评估人员专业素养的共同成分，也体现了中国背景下对学前教育评估人员专业素养的特殊要求。（一）学前教育评估人员专业素养具有跨领域的共同成分本研究中，被访专家提出的指标修改建议充分证实了国内外对于评估人员专业素养的期待具有某些共性。评估理念与道德、评估知识与技术以及组织实施能力都被视为评估人员专业素养的重要组成部分。评估人员应当具备怎样的专业素养首先取决于评估活动的本质。评估活动本质上是在事实判断基础上做出的价值判断。信息采集与分析、组织与实施是揭示被评对象是什么样的事实判断过程，而评估理念与道德则是影响价值标准的关键。这三个维度成分是不同文化、不同模式和内容领域的评估都必须涉及的过程和特征。因此，我们可以看到，针对不同国家的政府评估人员、教育项目评估人员等不同领域的评估人员提出的专业能力框架都包含了这三个维度成分。同理，学前教育评估人员专业素养也应该包含这三个成分。（二）我国学前教育评估人员专业素养同样具有文化特殊性在本研究的三轮意见征询中，来自各层面的学前教育评估相关专家最重视评估理念与道德，而对反思实践能力、管理能力、情境分析能力作为独立的评估素养维度的认可程度较低。这与李（Lee）等人的研究结果有较高的一致性。可以说，这种差异在一定程度上反映了我国社会文化价值观念以及学前教育评估制度和实践的特点。首先，我国社会文化中的差序格局、高权力距离、人情关系为重等特征容易影响评估过程和结果的公正客观，降低评估质量和被评对象的评估满意度。[40][41]因此，评估人员的职业道德操守在中国背景下的学前教育评估中尤显重要。其次，我国20世纪80年代末90年代初建立实施的学前教育评估制度一直重视由政府主导的、以问责为导向的外部评估，评估人员只是既定评估方案和标准的执行者，无需考虑评估模式的选择和方案设计，因此，我国学前教育评估实践较少强调评估人员的管理能力。再次，以问责为导向的外部评估重在被评对象之间的横向比较和排序，强调要确保评估标准的统一、信息的客观、结果的公正，要求评估人员尽量避免因被评对象及其所处情境的差异和多样性造成评估的相对性与主观性。因此，我国学前教育评估实践较少关注评估人员的情境分析能力。最后，在我国当前学前教育评估制度安排中，评估人员主要由督学、学前教育行政人员、教研人员、幼儿园园长、骨干教师、高校专家等兼职担任，具有较强的临时性和流动性，导致对这些兼职评估人员的管理较少，也较难从评估人员专业成长发展的角度进行长远规划，因而对评估人员的反思实践能力重视不足。五、建议基于上述研究结果，本部分尝试提出如下提高学前教育评估人员专业素养的对策及建议。（一）出台学前教育评估人员专业素养指标框架，完善评估人员遴选和考核制度目前，我国学前教育评估人员主要是由教研员、幼儿园园长组成的兼职队伍。而以兼职人员为评估人员主力是当前许多国家学前教育评估的普遍做法。英国学校督导政策自2012年开始，要求增加学