《核电运行同行评估培训指南》（征求意见稿）

1T/CNEAXXXX—XXXX核电运行同行评估培训指南本文件规定了同行评估培训的目标、资质要求、途径、培训内容、培训等效，教员资格以及评价等本文件适用于核电厂运行阶段的同行评估培训及评价，调试阶段的同行评估可参照执行。其他组织或单位可参考本标准实施培训工作。2规范性引用文件本文件没有规范性引用文件。3术语和定义下列术语和定义适用于本文件。3.1同行评估peerreview在组织单位的统一组织协调下，由行业内的同行专家组成的评估队，对受评单位的综合或特定领域进行的评估，找出待改进项和强项，并对待改进项的纠正行动进行跟踪或回访，以实现业绩持续提升为目标的管理活动。3.2白卡whitecar评估活动中评估队在电厂巡视过程中记录问题使用的一种卡片。通常一张白卡记录1条事实，事实一般指偏差或发现的问题。3.3观察报告observations评估活动中评估队根据活动观察、人员访谈或查阅文件所发现的事实而编写的记录文件。观察报告中一般记录的是评估队发现的偏差或问题，它是评估活动的过程文件。3.4待改进项areaforimprovement在同行评估过程中发现的相较业界卓越绩效尚存在较大差距的领域，该差距表现为对电厂安全可靠运行正在产生影响或具有潜在影响的行为、管理流程或实践方面存在的短板。3.5评估领域area“基础”部分反映了所有核电工作人员行为中的目标，无论此类人员在组织中担任何职位，应每天追求卓越。“基础”目标强调了核安全文化的重要性，阐述了核职业人员的素养和领导的行为。其他领域对应了核电厂组织机构中的职能领域和交叉领域，这种划分方式在某种程度上取决于组织架构，如果某一职能领域的职责与另一部门共同承担，应视为交叉领域。3.62T/CNEAXXXX—XXXX评估队长、主评估员和评估员资格teamleader、leadreviewerandpeerreviewerqualification特指通过参与培训活动，对评估队长、主评估员和评估员的评估能力的认可，也作为推荐参与内外部组织开展的评估活动的条件。4组织机构及职责4.1培训教员培训教员职责包括：1)接受委托，在评估员培训班上讲授相关知识和技能；2)对评估员培训班学员的表现进行考评。4.2评估队长评估队长职责包括：1)接受评估员培训中与队长相关的知识和技能培训；2)接受组织方的考核；3)在评估员培训班和提高培训班上作为教员讲授相关课程。4.3评估员/主评估员评估员/主评估员职责包括：1)接受评估员培训中与评估员相关的知识和技能培训；2)接受组织方的考核；3)主评估员可以担任评估员培训班教员。5总体原则评估队长、主评估员和评估员培训大纲的总体原则如下：1)本大纲所指“评估队长、主评估员和评估员”包括评估员、主评估员和评估队长三级，评估队长是具备丰富评估和管理经验的评估队管理者；2)组织方是评估队长、主评估员和评估员培训、资格的负责机构，对评估队长、主评估员和评估员岗位培训大纲的有效性负责；3)根据不同级别评估队长、主评估员和评估员（具体包括评估员、主评估员和评估队长）的能力要求，确定每个级别的评估队长、主评估员和评估员相关培训需求和培训内容；4)评估队长、主评估员和评估员培训大纲的培训目标、内容和方式应与评估队长、主评估员和评估员在评估活动中所承担工作的范围和重要程度相适应；5)评估队长、主评估员和评估员的培训和评价应按照培训大纲的要求实施，组织方应对培训活动进行观察、参与和指导；6)评估队长、主评估员和评估员培训大纲应足够灵活，能够适应不同学历和工作经历的人员。为了达到此目的，应制定相应的培训等效原则，使新选拔的有经验的人员能够豁免相应的培训；7)当评估相关领域范围和活动出现变化或根据国内外经验反馈等情况，应及时对评估队长、主评估员和评估员培训大纲进行评价，并做相应的修订。6资质要求6.1评估员培训学员需具备良好的语言沟通能力，书面表达能力强。学员还需具备如下工作经历和资格条件：1)获得本部门领导的推荐；2)具有5年以上（包括5年）在核电行业的工作经验；3)具有3年以上（包括3年）在拟从事评估领域的工作经验。3T/CNEAXXXX—XXXX6.2主评估员培训学员需具备良好的语言沟通能力，书面表达能力强。学员还需具备如下工作经历和资格条件：1)获得本部门领导的推荐；2)具有8年以上（包括8年）在核电行业的工作经验；3)具有5年以上（包括5年）在拟从事评估领域的工作经验；4)具有3年以上（包括3年）在拟从事评估领域的业务管理经验；5)作为评估员参与过至少一次国内或国外同行评估；6)在具备评估员资格基础上，在曾参与的国内外评估活动中未获不良评价。6.3评估队长培训学员需具备良好的语言沟通能力，书面表达能力强。具备较高的管理协调能力。参与评估队长培训的学员还需具备如下经历和资格条件：1)获得上级领导推荐；2)作为核电厂高级生产管理和技术人员以及组织方核电运行评估队长人选；3)获得主评估员及OA领域的主评估员资格；4)具有15年以上（包括15年）在核电行业的工作经验及业务管理经验；5)具有在两个以上不同领域的工作经验。7培训目标7.1基础培训目标针对评估员的基础培训应为其提供必备的知识和技能，使其能够较好地完成分配的评估任务。基础培训至少包括评估所需的基础知识，具备一定的观察与访谈能力，并在指定的、有资质的教员指导下表现出以下能力。评估员基础培训目标主要包括：1)理解同行评估业绩目标与准则；2)熟悉同行评估流程；3)掌握同行评估中使用的基本方法，包括现场巡视、活动观察、人员访谈和文件查阅；4)掌握白卡、观察报告和待改进项报告的编写要求和技巧。7.2提高培训目标评估员提高培训的目标是为了使所有具备资格的评估员拥有较高的评估技能。为达到此目的，提高培训的内容包括：系统地深入学习和讨论核电厂运行评估相关领域的知识和以往协会形成的评估报告，进一步提升评估报告写作技能、人员访谈、获取跟踪信息以及待改进项原因分析等能力。提高培训目标主要包括：1)保持和提高评估员的同行评估知识和技能，使其能提升发现电厂存在的较深层次问题的能力；2)当评估业绩目标与准则发生变化时，使其理解并掌握变动部分的相关知识；3)提高评估员的观察报告、待改进项报告编制水平；4)提高评估员的访谈与沟通交流水平、待改进项原因分析水平。7.3队长培训目标评估队长一般由核电运营高级管理人员担任。评估队长培训至少包括管理评估活动所需的基础知识，使学员在独立担任评估队长前具备熟练领导评估队及管理评估活动的能力。评估队长的培训目标主要包括：1)掌握评估标准（PO&C）核心内容的含义和要求；2)理解评估队长的职责；3)掌握评估队长的技能和技巧，包括AIP的范围和内容、评估准备期间焦点领域的确定、安全文化评估方法、针对每日评估员提交的OBS报告给出指导和审查意见、评估过程中及时修订关注焦点、挑战会组织、与电厂高级管理层沟通技巧等；4T/CNEAXXXX—XXXX4)熟悉最新国内外同行评估经验反馈的评估动态，对评估相关的案例分析和专题研讨；5)掌握成员支持活动（MSM）和电力公司同行评估（CPR）的流程和方法。8培训途径8.1评估队长、主评估员和评估员的培训活动根据不同的培训和技能要求分为评估员、主评估员和评估队长三个阶段进行，其培训途径见图8-1所示，使拟参与评估活动的评估队长、主评估员和评估员分阶段完成所要求的不同课程的培训，评估员、主评估员及评估队长资格（评估能力认可）在培训颁发的证书中明确，组织方负责对资格有效期进行归口管理。8.2原则上每年至少举办一次基础培训、一次提高培训和一次评估队长培训。基础培训、提高培训及评估队长培训分散在一年中的不同时间段分别举办，不同的学员根据需要参加不同课程。8.3在培训内容方面，根据基础培训、提高培训及队长培训目标的不同点，设计与评估员培训、评估员提高培训和评估队长培训相匹配的、不同层次的培训内容。培训材料以PPT讲义为主，组织方定期（3-5年）组织对培训配套的PPT讲义进行升版，同步对已建立的培训辅助材料（案例库）进行更新。培训班包含的课程内容如表1至3所示。8.4在培训方式方面，评估员基础培训班以课堂讲授为主，课堂练习和作业点评为辅，两者比例约7:3；评估员提高培训班以课堂讲授为辅，案例教学与演练为主，两者比例约为3:7；评估队长培训方式采用课堂讲授与研讨相结合，强调互动和研讨。其中每场培训班增加拓展内容，主要是根据实际情况对培训内容进行调整，固化内容与拓展内容比例约8:2。表1评估员基础培训课程内容清单培训类别模块分类课程内容培训方式推荐学时核电运行同行评估评估员基础培训基础知识模块国内外同行评估简介课堂讲授4同行评估流程和方法介绍课堂讲授评估技能模块现场巡视和白卡编写课堂讲授+课堂练习+作业点评现场观察和观察报告编写访谈技巧课堂讲授AIP解读课堂讲授评估计划编制课堂讲授文件查阅课堂讲授事实归纳与待改进项编写课堂讲授+课堂练习+作业点评专项知识模块PO&C介绍课堂讲授6安全文化评估介绍课堂讲授CPO评估方法课堂讲授SOER评审方法课堂讲授拓展内容根据实际情况准备拓展内容课堂讲授+讨论6合计表2评估员提高培训课程内容清单培训类别模块分类课程内容培训方式推荐学时5T/CNEAXXXX—XXXX核电运行同行评估评估员提高培训基础知识提高模块同行评估理念、流程和方法课堂讲授6专项知识提高模块评估标准PO&C功能领域重点内容解读课堂讲授安全文化评估介绍课堂讲授评估技能提高模块（Part1）如何填写白卡和编制OBS回顾课堂讲授事实编写练习与讨论课堂练习+作业点评CNEA以往OBS讨论课堂讨论与点评如何获取跟踪信息课堂讲授人员访谈实战演练课堂演练与点评作业分析与讨论作业点评评估技能提高模块（Part2）事实分类与FOP编写练习小组作业与点评评估计划编制课堂讲授CNEA以往AFI讨论课堂讨论与点评AFI原因分析方法介绍课堂讲授与练习MSM流程方法介绍课堂讲授拓展内容根据实际情况准备拓展内容课堂讲授+讨论6合计表3评估队长培训课程内容清单培训类别模块分类课程内容培训方式推荐学时核电运行同行评估队长培训基础知识模块同行评估总体介绍课堂讲授与研讨6整体评估流程介绍评估标准与案例研讨模块PO&C及领域内容介绍（核心领域）课堂讲授与研讨4案例研讨队长技能模块队长技能1：AIP重点关注内容课堂讲授与研讨队长技能2：评估队重点关注和每日OBS跟踪与指导队长技能3：挑战会前OBS包的总体掌握以及方向队长技能4：主持挑战会并做决定队长技能5：与电厂管理层的沟通技巧6T/CNEAXXXX—XXXX专题研讨模块同行评估队长的角色和职责课堂讲授与研讨成员支持活动方法介绍安全文化评估方法介绍电力公司同行评估方法介绍拓展内容根据实际情况准备拓展内容课堂讲授+讨论6合计图1评估队长、主评估员和评估员培训流程8.5各单位推荐的评估队长、主评估员和评估员候选人需要进行入门条件审查，根据个人经历和参与评估活动的经历可以将候选人分为四类，采用不同的流程进行处理：1)参与过国内外同行评估但尚未获得评估员资格的人员，参考本文培训等效中的规定，可以免于评估员基础培训。7T/CNEAXXXX—XXXX2)符合评估员入门资格但未参与过评估的学员需参加评估员基础培训，通过考评合格授予评估员资格。3)符合评估队长入门资格但未参与过评估的学员需参加评估队长培训，通过考评合格授予评估队长资格。4)对于已获相应资格的人员：已经获得评估员资格的评估员参与一次以上评估活动并获得合格评价，同时按规定参与提高培训后可申请授予主评估员资格；已经获得主评估员资格的主评估员参与两次以上评估活动并获得合格评价，同时按规定参与队长培训后可申请授予评估队长资格；已经获得评估队长资格的人员需要在有效期内（5年）作为评估队长参与评估活动或担任评估员培训班教员保持其资格的有效性。8.6评估员上岗前组织方对人员进行资格考评，可根据该人员的工作经验和经历等，对部分培训科目实施等效处理，然后按以下培训途径进行培训：1)获取评估员资格并保持：对于没有评估经验的人员需要接受基础培训。2)获取主评估员资格并保持：通过参与实际评估活动方式获得经验，并参与提高培训课程。3)获取评估队长资格并保持：通过参与实际评估活动方式获得经验，并参与评估队长培训课程；符合评估队长入门资格但未参与过评估的学员需参加评估队长培训，通过考评合格授予评估队长资格。评估队成员上岗后，均要不断进行岗位相关的提高培训。9培训内容9.1基础培训内容评估员基础培训的主要内容包括：运行核电厂同行评估流程及方法、PO&C介绍、现场巡视、活动观察、学习与讨论。基础培训的主要课程及主要内容如下：1)国内外同行评估简介（课程101）主要讲授评估的历史沿革、来源和发展、国内外同行评估现状、评估使用的相关文件。2)同行评估流程和方法介绍（课程102）主要讲授同行评估的总体流程、每个流程环节的要点、同行评估使用的四种基本方法。3)现场巡视和白卡编写（课程103）主要讲授现场巡视的方法、白卡编写方法和白卡实例分析，同时开展白卡课堂练习和白卡作业点评。4)现场观察和观察报告编写（课程104）主要讲授现场评估期间观察活动的选取与观察方法、观察报告编写方法和观察报告实例分析。5)访谈技巧（课程105）主要讲授人员访谈活动中使用的提问方式、肢体语言和心理学在访谈中的运用，访谈活动容易产生的误区。6)AIP解读（课程106）主要讲授如何阅读和理解AIP文件包清单内容。7)评估计划编制（课程107）主要讲授如何制定评估计划，在制定评估计划时需要关注的重点。8)文件查阅（课程108）主要讲授电厂先期文件包的内容、如何通过这些信息发现问题并联系电厂提供更进一步的资料、如何在现场评估之前发现可能存在的问题、现场评估中如何查阅文件以验证发现的问题。9)事实归纳与待改进项报告编写（课程109）主要讲授如何将已收集到事实按领域进行分类（黄纸贴方法）、事实的归纳和提炼、待改进项报告的结构和写法、待改进项报告实例分析。10)PO&C评估标准介绍（课程110）主要讲授PO&C评估标准的结构、内容和使用方法，业绩目标与评估准则的区别和联系等内容。11)安全文化评估介绍（111）8T/CNEAXXXX—XXXX主要讲授评估过程中如何开展安全文化评估，包括事实如何标记安全文化属性、如何编制安全文化结论。12)CPO评估方法（课程112）主要讲授运行值绩效观察评估流程和方法，CPO场景设置、观察前准备、时间线编制等内容。13)SOER评审（课程113）主要讲授SOER涵盖内容、SOER评估方案、近期SOER评估结果经验反馈等内容。14)拓展内容（课程114）主要讲授根据实际情况，增加拓展的培训内容，并组织学员讨论。9.2提高培训内容评估员提高培训班的主要内容包括：系统地深入学习和讨论核电厂运行评估相关领域的知识和以往协会形成的评估报告，进一步提升评估报告写作技能、人员访谈和待改进项原因分析等能力。提高培训的主要课程及主要内容如下：1)同行评估理念、流程和方法（课程201）主要内容是回顾同行评估理念、流程和方法，尤其是对同行评估自下而上、追求卓越、基于业绩的理念进行回顾。2)评估标准PO&C功能领域重点内容解读（课程202）主要内容是对PO&C功能领域重点内容进行深度解读，包括领域工作内容、PO&C准则要点、评估发现的共性问题和良好实践、本领域相关SOER及KPI等内容。3)安全文化评估介绍（203）主要讲授评估过程中如何开展安全文化评估，包括事实如何标记安全文化属性、如何编制安全文化结论。4)如何填写白卡和编制OBS回顾（课程204）主要内容是对现场巡视和白卡编制方法、观察报告编制方法进行回顾，对培训开班前布置的白卡、观察报告作业进行点评。5)事实编写练习与讨论（课程205）主要内容是通过观看视频，对事实编写方法进行巩固练习，并对编写内容进行讨论分析，同时为人员访谈实战演练做好准备。6)CNEA以往OBS讨论（课程206）主要内容是对协会以往开展的评估活动中编写的观察报告事实进行讨论，分析存在的问题并提出改进意见。7)如何获取Follow-up信息（课程207）主要讲授如何综合运用文件查阅、人员访谈两种方式对观察发现的事实进行跟踪，以找到现场发现问题背后的管理问题或者找到问题背后的原因。8)人员访谈实战演练（课程208）主要内容是在已开展的视频观看和讨论基础上，结合教员讲解的如何获取跟踪信息的基础上，开展人员访谈问题设计和演练，教员点评访谈存在的问题和值得肯定的做法。9)作业分析与讨论（课程209）主要内容是对每日作业进行分析与讨论，包括白卡编制、OBS事实编制、事实分类和提炼等作业，该部分是提高培训的重点。10)事实分类与FOP编写练习（课程210）主要内容是对OBS事实分类与问题概述（FOP）编写开展课堂练习与讨论，事实分类采用黄纸贴练习开展，FOP编写主要通过小组作业形式完成。11)评估计划编制（课程211）主要讲授如何制定评估计划，在制定评估计划时需要关注的重点。12)CNEA以往AFI讨论（课程212）主要内容是对协会以往开展的评估活动产生的AFI进行讨论，分析AFI存在的问题和改进意见。13)AFI原因分析方法介绍（课程213）9T/CNEAXXXX—XXXX主要内容是介绍AFI原因分析方法，对已完成的事实分类与FOP编写练习结果进一步开展AFI原因分14)MSM流程方法介绍（课程214）主要内容是对协会目前开展的成员支持活动的流程和方法进行系统性介绍，学员掌握MSM的种类和实施方法。15)拓展内容（课程215）主要讲授根据实际情况，增加拓展的培训内容，并组织学员讨论。9.3评估队长培训评估队长的培训充分考虑同行评估活动实践型的特点，采用理论和实践相结合的方式。在课程安排中，更加侧重案例分析和研讨等实践内容。通过队长培训使具备相应潜力的人员迅速掌握管理评估队的方法。评估队长培训的主要课程及主要内容如下：1)同行评估总体介绍（课程301）主要讲授同行评估理念、特点、成功的同行评估特征，以及同行评估的目的、作用和注意事项等内2)整体评估流程介绍（课程302）主要讲授同行评估准备、实施及收尾阶段的整体评估流程和评估队长应发挥的作用，各评估流程的要点等内容，也包含CPO、SOER的介绍。3)PO&C及领域内容介绍（核心领域课程303）主要讲授PO&C整体结构、领域划分、结构和内容调整情况和调整的原因，以及各领域PO&C主要内容等，同时重点介绍核心领域的评估方法。4)案例研讨（课程304）主要结合PO&C功能领域重点内容开展案例研讨，如OR1\QR2\OR3\LF\PI等跨专业领域的内容介绍，适当配合案例讲解；介绍国内外AFI分析的结果介绍，重点介绍队长应该关注的AFI相对集中的领域。5)队长技能1：AIP重点关注内容（课程305）主要讲授在评估准备阶段先期文件包（AIP）内容中的敏感关注，并开展必要的AIP包阅读和讨论练6)队长技能2：评估队重点关注和每日OBS跟踪与指导（课程306）主要讲授通过每日的OBS时刻把握关键问题并提出跟踪与指导意见，指导评估员对重要事实进行跟踪和聚焦潜在问题。7)队长技能3：挑战会前OBS包的总体掌握以及方向（课程307）主要讲授挑战会前前对OBS包的总体掌握以及方向，引导评估队不断聚焦形成各领域潜在问题方向。8)队长技能4：主持挑战会并做决定（课程308）主要讲授主持挑战会并做决定的方法，重点介绍挑战会的挑战维度，形成最终挑战结果的民主集中方法。9)队长技能5：与电厂管理层的沟通技巧（课程309）主要讲授现场评估期间与电厂管理层的沟通技巧，包括每日队长与电厂管理层沟通内容和技巧，评估结果形成后与电厂管理层沟通技巧等。10)同行评估队长的角色和职责介绍（课程310）主要讲授在整个同行评估准备和实施过程中，评估队长的角色和承担的职责。11)成员支持活动方法介绍（课程311）主要讲授成员支持活动（MSM）总体介绍（包括与PR的不同点）、主要流程（援助访问和专家支持等）、MSM实施关键点和队长应掌握的重要技能。12)核安全文化评估方法介绍（课程312）主要讲授核安全文化评估方法，核安全文化的原则和属性，结合案例分析，对核安全文化开展专题研讨。13)电力公司同行评估方法介绍（课程313）T/CNEAXXXX—XXXX主要讲授电力公司同行评估（CPR）的流程与方法，CPR与PR的异同点，讲授评估队长应掌握的CPR技能和管理技巧。14)拓展内容（课程314）主要讲授根据实际情况，增加拓展的培训内容，并组织学员讨论。10培训等效培训等效是指将先前的教育、经历、考核结果等作为等效的依据，通过评定确认满足相应岗位的要求，从而免除部分课程的培训。评估队长、主评估员和评估员的培训等效原则和要求如下：1)曾以评估员身份参与WANO和IAEA组织的同行评估活动或同行评估培训班，或参加协会组织的国内同行评估活动或同行评估培训班的人员可等效于接受了评估员基础培训。2)曾担任WANO和IAEA组织的同行评估队队长或协会组织的国内同行评估队长的人员等效于接受了评估队长培训和评估员基础培训。培训等效由学员填写“培训等校核查表”，由所在单位核查后，提交给组织方审查。组织方负责控制只让有资格的人员去独立执行评估任务，对于首次参与评估的人员在评估前，应审查、考核和批准首次评估队长、主评估员和评估员的培训等效申请。11教员资格每次培训应至少邀请1名导师、2名讲师。评估员基础培训、提高培训和队长培训的教员需具备如下资格之一：1)参与过国外WANO和IAEA组织的同行评估或协会组织的国内同行评估十次以上。2)具备主评估员或评估队长资格。3)组织方技术支持单位从事同行评估的技术人员。12学员评价组织方可通过观察评估队长、主评估员和评估员的实际工作表现，对照已建立的准则，评价评估队长、主评估员和评估员培训大纲的质量、培训内容的适用性，以及教学方法的有效性。评估队长、主评估员和评估员的表现可在培训期间和培训结束后评价。评价方法包括：课堂表现考察、课后作业质量评价。课堂表现考察主要由教员对学员在课堂上的认真程度、回答问题的情况进行评价。课后作业质量评价主要由教员对学员的白卡、观察报告和待改进项报告的质量给予评价。学员评价由培训教员组开展，并提供反馈信息，它将有助于确定学员的表现和评估员培训大纲的改进要求。当学员培训完成后，由培训教员填写“学员评价表”。每次培训的学员评价结果应该记录，结果满意的录入专家库，推荐作为专家参加评估，并在评估活动中跟踪和评估其表现。必要的情况下进行专项反馈。13培训实施总结和单次培训评价培训完成后，培训班负责人需编制完成培训班总结报告，总结报告需包括培训班计划与实施的对比分析、活动变更说明、培训情况介绍、对教员和学员填写表格的分析汇总、培训班纪律遵守情况的说明等。组织方根据培训总结报告和培训中收集的各种表格对本次培训活动的实施进行单次评价，主要对以下方面进行评判：1)培训计划变更是否合理；2)培训实施是否顺利；3)培训反馈情况是否良好。14培训大纲有效性评价T/CNEAXXXX—XXXX培训大纲的有效性评价是对整个培训过程进行分析，包括培训要求、培训材料、培训教员和授课形式等方面，以及对学员绩效表现的评价，确定培训大纲的效能、作用和影响，提出是否需要对培训大纲进行修订或改进的方面，以确保培训的有效性。定期对培训大纲进行综合评价，评价包含培训大纲的各个方面，以便于发现大纲的强项和弱项，促进对培训大纲的整体优化。14.1评价方式每类评价方法可根据具体情况采用如下三种评价方式的一种或综合使用来得出评价结果：1)分值法评价方式：通过对评价对象采取打分的形式产生可量化的数据。2)问卷调查评价方式：通过设计有针对性的问卷以产生支持性的结果。3)核查表的评价方式：此类方式是事先准备好应该实现的条目，由评价表根据实际情况核查是否按该条目全部完成。对评估队长、主评估员和评估员培训大纲的评价主要使用问卷调查评价方式。14.2评价实施组织方应根据具体情况，参考系统化培训方法的原则，组织相关力量并按照14.1中的方法组织实施评价。组织方每四年组织单位培训和评估领域专家召开评审会，对大纲的有效性进行评价；首次评价安排在大纲实施后一年进行，以针对大纲实施后发现的问题及时进行修订。评价的依据包括来自于学员填写的“学员对培训实施情况的评价表”，培训活动总结报告和专家意见。评审会最终对大纲给出修改意见，由组织方技术支持单位对大纲进行修订升版。14.3反馈反馈阶段是指把从评价结果中获取的信息及有关改进工作的内容提供给相关培训组织单位和教员，以便他们及时掌握信息并做出改进。充分重视相关人员在评价阶段中提出的建议和意见是为了保持他们的主动性和积极性，以保证培训活动的完整性。培训项目评价的结果将提供给培训组织单位和教员，以便在评价中获取建议和意见并不断改进，以提高培训的有效性。组织方应根据评价阶段给出的结果，认真分析，并根据实际情况编制行动计划，并跟踪处理。15培训对标每2年定期与WANO同行评估培训内容进行对标，包括培训内容、课程及形式，进行全方位对标，并根据对标结果更新完善培训内容和形式。16记录和档案保存评估员的培训记录档案主要涉及以下方面：1)培训等效核查表：保存评估员的培训等效核查表及相关可被验证的记录。2)培训记录：保存评估员的培训记录，如培训内容、培训时间、出勤状况、培训评价结果等，以方