(高清版)GBT 40552-2021 教育服务效果测评指南

GB/T40552—2021/ISO29992:2018教育服务效果测评指南Guidanceforassessmentofoutcomesoflearningservices国家市场监督管理总局国家标准化管理委员会IGB/T40552—2021/ISO29992:2018 Ⅲ 1 13术语和定义 1 2 46测评实施 7 8 89测评伦理 9附录A(资料性)测评文件 ⅢGB/T40552—2021/ISO29992:2018本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定本文件等同采用ISO29992:2018《教育服务效果测评指南》。本文件做了以下最小限度的编辑性改动： 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由全国教育服务标准化技术委员会(SAC/TC443)提出并归口。研究院。GB/T40552—2021/ISO29992:20181GB/T40552—2021/ISO29992:2018教育服务效果测评指南本文件适用于针对学员学习效果和进步情况的测评；不适用于针对教育服务项目和教育服务提供2规范性引用文件下列术语和定义适用于本文件。3.1基于(教育或专业方面的)参照点或标准，用以判断被测人员在特定领域的知识、能力或表现的测3.2测评者assessor对被测人员在测评过程中的表现进行评估，为被测人员和顾客提供测评报告与咨询反馈的个人或组织。3.3运用知识和技能取得预期效果的能力。注：运用知识和技能的能力指的是学员能够独立自主地、负责任地在不同环境或情景中表现恰当的态度与行为。3.4用于判断学员已掌握内容和/或可能面临困难的测评。3.5监考官invigilator2GB/T40552—2021/ISO29992:20183.6评分人员scorer打分人员rater3.73.8在测评过程中进行的或在测评结束后立即进行的人工评分。3.9依托信息技术实现的对评分项的自动评分。3.103.113.123.134测评策划测评遴选或开发宜满足测评主办方的需求、符合预期用途。在测评遴选或开发前，宜开展需求分件和其他资料宜记录在案。 3GB/T40552—2021/ISO29992:2018——拟基于测评结果做出的决策；——目标被测人员群体及因其能力障碍所需配给的条件；——测评的地点与环境；——测评的约束与局限；——测评分数的有效期。——测评安全保证；方案以需求分析结果为基础，对4.2的有关内容进行回应。——测评范围；——测评结果应用的预期影响；——测评形式与测评目标的一致性说明；——向利益相关方告知测评分数时所采用的方式。——测评时间与费用要求；——测评实施的所有必备条件； ——质量保证机制；——测评行为守则(见8.5); 既有测评的有效性及其与测评方案的一致性。测评方案宜由测评主办方批准。4GB/T40552—2021/ISO29992:20185测评开发测评内容测评时间既有知识和能力水平学习活动开始前知识和能力方面的进步学习活动过程中的恰当时机学习目标达成情况学习活动结束后本测评时间安排表仅适用于与学习活动对应的测评。任所承担的测评开发工作和任务。测评开发者宜明确所有测评开发人员的岗位职责与任职资格并记录在案，无论测评开发人员是测评开发者的内部人员或是外请人员。——接受过测评过程有效性相关培训；测评者宜根据需求分析结果(见4.2)、测评目标和测评内容选择不同的测评形式。图1给出了测评5GB/T40552—2021/ISO29992:2018知识·习题操作用知识和技能)●实操/案例分析●模拟操作●角色扮演●游戏●其他表现用知识和技能)●真实情境观察·同行评议5.5测评规范宜在测评实施过程中以及相关技术要求中，明确测评实施管理人员的培训与资格要求，以及测评实——测评的物理环境或设施；——测评实施的时间安排；——测评实施管理人员的培训与资格要求；—-—被测人员或测评实施管理人员所需的文件、材料和工具；——测评报告的保存期限。测评宜具有客观性、高信度和高效度。测评宜按照商定的统一规则评分，尽可能减少不同评分人员的评分差异。测评宜具有高信度。信度是反映不同测评时间、地点、形式和人员之间测评分数一致性的指标。在重复测评信度方面：在较短时间内重复接受同一测评的被测人员，其测评结果宜具有一致性。在评分信度方面：重复评分时，所得分数宜具有一致性。对于手动评分(非机器评分)而言，评分人6GB/T40552—2021/ISO29992:2018致性。数宜具有高信度。——实际测评内容是否符合预期；——测评结果的应用是否达到预期效果。测评题型包括但不限于选择型题目、建构型题目(包括题干、评分标准和/或预期回答)、任务型题目。测评题目宜符合测评规范(见5.5)。接受严格审查。实时评分宜采用明确的评分方案。——设定评分技术的最低要求；——通过手动评分定期核验机器评分的准确性。分材料的存储安全。测评开发者宜为评分人员提供参考答案、评分指南和分数等级，并告知评分的规定动作和禁止事项。7GB/T40552—2021/ISO29992:2018测评开发者宜设定并说明分数的有效期。利益相关方宜保存相关技术文件(见附录A)。——个人信息保密要求；——安全监管人员岗位职责；——安全监管人员培训要求；——物理环境和在线环境的安全要求；——安全漏洞应急预案；措施等。监考人员宜避免利益冲突，例如监考人员不宜由被测人员的亲属或指导过被测人员学习的人员的——确保测评环境完好；8GB/T40552—2021/ISO29992:2018——验证被测人员身份；——负责与测评实施管理人员沟通；评分人员/打分人员可能参与测评开发与管理，宜： 经培训合格，能够依据测评规范或标准对被测人员的能力水平做出判断：——具有相关专业知识和经验。7测评审核与优化测评审核旨在保持测评的信度与效度，并将相关内容记录在案，审核方案宜包含以下内容：——测评与题目审核流程、测评实施与题目执行情况的统计分析流程、评分人员再培训及认证测评宜按照审核方案定期接受审核。若审核结果为建议优化，宜按照以下步骤进行优化：-—设定题目调整的相关要求(例如题目更新范围与比例、题目更新后分数线的相应调整等);-——设定在测评内容不变的条件下分数线的调整规定；——设定测评者名录的可调整范围与比例；——设定新增题目的审核要求与流程； 明确测评优化所需资源。8测评公平8.1正式协议正式的书面协议可避免误解，并为妥善处理投诉提供依据。正式协议宜至少包括以下内容：——测评费用； 相关人员的责任和权利：——开展测评必需的所有前提条件；——测评说明；9GB/T40552—2021/ISO29992:2018——为被测人员提供测评结果的时限。——存在能力障碍的被测人员和其他被测人员在相同时限内完成测评是否公平；——为存在能力障碍的被测人员单独组织测评，测在测评过程中，各相关方均宜全程维护被测人员的尊严和体面。当测评结果可能对被测人员造成在理想情况下，指导过被测人员学习的人员不宜兼任评分人员或监考人员。当有与被测人员在学束后的离场时限等进行规定，为被测人员创造公平的测评环境。测评主办方宜确保行为守则有效落实。8.6为被测人员提供的信息测评开发者宜为被测人员提供以下信息：——监考安排；——测评对象；——测评等级；——咨询联系方式。关方均需注意自身和他人行为所产生的伦理影响。9.2信息准确性信息。GB/T40552—2021/ISO29992:2018——所采集信息的保密性；——信息管理体系有效运行并配有操作手册；GB/T40552—2021/ISO29992:2018(资料性)测评文件A.1文件A.1.1技术文件测评策划与测评开发文件包括但不限于：——需求分析的原始资料；测评应用与测评绩效文件包括但不限于：——质量保证定期记录；明测试的标准化水平；——出题人和测评内容方面的专家对于建构型题目的审核记录；——手动评分方案；——机器评分准确性的记录；——申诉与仲裁政策及记录；——重新测评的触发条件及相应记录。A.1.2使用者支持文件考人员等。可在测评的不同阶段分批为使用者提供使用者支持文件，亦可一次性为使用者提供全部使用者支持文件。A.1.3记录/分数存档(记录管理)包括测评审核结果记录在内的所有技术文件均宜妥善保存，并便于各利益相关方查询。在调整或扩展测评以适用于其他用途、人员或情境时，亦宜对文件进行定期更新和补充。更新和补充的形式包括增加补充文件和更新原有文件。GB/T40552—2021/ISO29992:2018[1]ISO10667-1:2011Assessmentservicedelivery—Proceduresandmethodstoassesspeopleinworkandorganizationalsettings—Part1:Requirementsfortheclient[2]ISO/IEC17024:2012Conformityassessment—Generalrequirementsforbodiesoperatingcertificationofpersons[3]ISO/IEC/TS17027:2014Conformityassessment—Vocabularyrelatedtocompetenceofpersonsusedforcertificationofpersons[4]ISO29990:2010Learningservicesfornon-formaleducationandtraining—Basicrequire-mentsforserviceproviders[5]ISO/IEC23988:2007Informationtechnology—Acodeofpracticefortheuseofinforma-tiontechnology(IT)inthedeliveryofassessments[6]ISO29991:2014Languagelearningservicesoutsideformaleducation—Requirements[7]AmericanPsychologicalAssociation.TheStandardsforEducationalandPsychologicalTes-ting.TheAmericanPsychologicalAssociation,Washington,DC,2013[8]European