《培训与开发》第8章：培训评估.ppt

第8章 培训评估,8.1培训评估概述 8.2培训评估实施 8.3评估工具设计 8.4数据收集与分析 8.5培训的投资回报率计算,【学习目标】 了解培训评估的理论模型 了解培训评估的工具设计 熟悉培训评估的内涵 熟悉培训投资回报率的计算 掌握培训评估实施流程 掌握培训评估工具的使用 掌握数据收集与分析的方法,8.1培训评估概述,8.1.1培训评估的内涵 8.1.2培训评估的主要理论模型,8.1.1培训评估的内涵,1、培训评估的定义 培训评估是培训系统的重要组成部分。它是运用科学的理论、技术、方法和程序对培训主体和培训活动的构思、设计、执行过程和实际效果进行的系统考察，是社会项目评估在培训领域中的运用。,2、培训评估的内涵要素 评估目的：为什么评估？ 评估主体：谁来评估？ 评估客体：评估什么？ 评估时机：什么时候评估？,3、培训评估的种类 按照过程分类：培训的过程，可以简单分为培训前、培训中和培训后三个阶段，根据培训实施的过程，培训评估也可以细分为培训前评估、培训中评估和培训后评估。 按照方法分类：评估方法总的来说，可以归纳为定量的方法和定性的方法。按照评估方法的不同，培训评估也可以区分定量评价和定性评价两种。,4、培训评估的功能 培训评估的功能，是指开展培训评估，所能达到的整体功效和效能。培训评估功能具有较强的目的性，即评估目的不同，其功能也不同。总的来说，可以包括导向功能、反馈功能、纠偏功能、发展功能等。,5、培训评估的发展趋势 评估主体的多元化趋向 评估内容的全面化趋向 评估方法的综合化趋向 评估手段的科学化趋向 评估目标的效益化趋向,8.1.2培训评估的主要理论模型,（一）Kirkpatrick模型 （二）CIPP 评估模型 （三）汉姆布林（Hamblin） 模型 （四）Kaufman 的五级评估模型 （五）菲利浦五层次模型 （六）CIRO模型 （七）Lawshe满意效用比（Content Validity Ratio）,8.2培训评估实施,8.2.1培训评估实施的操作流程 8.2.2培训评估实施的主要原则,8.2.1培训评估实施的操作流程,（一）培训需求分析 （二）界定评估目的 （三）评估需要培训前的准备 （四）选定评估对象 （五）整体考虑评估活动 （六）完善培训评估数据库 （七）确定培训评估层次 （八）选择评估衡量方法 （九）统计分析评估原始资料 （十）撰写培训评估报告 （十一）调整培训项目 （十二）沟通培训项目结果,8.2.2培训评估实施的主要原则,（一）定性评估与定量评估相结合的原则 （二）评估标准的科学性和可测性结合原则 （三）评估的测验性和诊断性结合原则 (四)综合评估与重点评估相结合的原则 （五）实事求是原则 （六）参与性和团队协作原则,8.3评估工具设计,8.3.1培训评估工具的种类 8.3.2培训评估工具的选用,8.3.1培训评估工具的种类,1、问卷调查 问卷调查是培训项目进行评估的最常用的方式。问卷调查有多种不同格式，包括从篇幅较小的反应表格到详细的后续跟踪问卷调查。这些问卷调查可用于获得关于学员感受的主观信息，并且还可用于对投资回报率进行分析的可参考性文件。,问卷调查的优点是：第一，问卷调查可使学员脑中的信息在保持新鲜的情况下提供快速反应。到培训项目结束时，学员对于培训项目资料的效果和有用性已经形成了意见。这种反应可以帮助我们进行调整，并提供关于培训项目效果的证据。第二，问卷调查易于实施，通常只需要几分钟的时间。而且，如果设计适当的话，反馈问卷调查也很容易分析、制表和总结。,但问卷调查的三项缺点是：第一，其数据是主观的，并且是建立在学员测试时的意见和情感之上韵。个人意见的偏差有可能夸大评定分数。第二，学员通常在给出评定分数时过分礼貌。到培训项目结束时，他们通常感到愉快，也很愿意尽早有个了结。所以，只有当他们真的感到不同时，才会给出一个明确的评定分数。第三，在培训项目结束时获得的良好的评定分数，并不能保证学员将在工作中真的运用培训项目所教授的知识。,培训评估表 主题： 培训目标： 对下列最符合你观点的等级上画圈。（共5个等级，1为最差或最低，5为最高或最好） 讲师对培训目标的阐述是否易于理解？ 很深 1 2 3 4 5很容易 现在你对自己制定一个行为目标有多大的信心？ 非常自信5 4 3 2 1 非常没有把握 该小节中，有多少信息对你来说是新的？ 很多 5 4 3 2 1 一点点 讲师对问题的答复是否令你感到满意？ 基本清楚但不完整 不清楚且不完整 讲师对问题的阐述深度如何？ 很深 1 2 3 4 5 太浅 培训内容的理论和实践的比例？ 理论太多 适中 实践太多 布置个人作业和小组作业的比例？ 小组作业太多 适中 个人作业太多,2、测试 利用测试对接受培训前后的学习效果进行衡量，是培训评估中常用的方法之一。测试分数的提高可以表明培训项目对学员的技能、知识或态度所带来的改变。编制测试问卷的原则与设计和编制问卷调查和态度调查表格的原则类似。,书面测试、模拟工具、计算机辅助测试 能力测试 平均值参照测试、准则参照测试,3、面谈 面谈是开展培训评估中重要的数据收集手段之一，主要运用于第三层次的数据收集。其优点在于，可以收集工作记录以外或者难以通过书面问卷和观察得到的数据。一个训练有素、善于运用调查技巧的面谈主持者，可以通过面谈获得参与者可能不愿意在一张问卷中描述其对于培训的感受。面谈的局限性是在于费时，面谈主持者须经训练和作充分准备，以确保整个过程的一致性。面谈可由员工、参与者的主管或者外部第三方组织实施。,4、核心小组讨论 核心小组讨论，就是为征求学员对于所计划的主题或问题的定性意见或看法，由一位经验丰富的主持人主持小规模的分组讨论。这里要求所有小组成员提供各自的意见，然后将这些个人意见汇总为小组意见。核心小组的讨论，是面谈方法的一种延伸，适用于第三级、第四级评估。,核心小组讨论适用的范围，包括： 第一，评估学员对特定练习、案例、模拟或培训项目的反应； 第二，培训后对学员在培训中所取得的总体效果进行评估； 第三，在培训后，通过后续跟踪评估对培训效果进行评估。,利用核心小组讨论方法的要点： 第一，确保经理人员为核心小组讨论过程提供支持。应让经理人员了解核心小组讨论的过程及其优点，提高其对利用小组讨论所获得的信息的信心。 第二，精心编制主题、问题和策略，并确定提问次序，以便不同小组之间进行比较，确保核心小组讨论过程有效、有序。 第三，注意小组规模，为了确保能获得不同的观点，并让每个学员都有机会自由地发表观点并交换意见，讨论小组不宜太大，也不宜太小，一般应控制在6-12人之间。 第四，确保获得具有代表性抽样，使小组成员具有充分的代表性。 第五，主持人应训练有素。主持人应具备专业知识，熟练掌握和运用核心小组讨论的方法，善于创造良好讨论氛围，控制小组讨论的节奏。,5、观察 在工作中观察学员并记录学员行为的变化情况，是培训评估数据收集方法之一。观察员可以由人力资源开发的专业人士、学员的主管或是同一小组的成员，外部第三方人员构成。,6、业绩报告 通过业绩数据，来评估进行监控可使经理人员从产量、质量、成本、时间和满意度等方面衡量组织的业绩。 一种是利用现有的业绩数据和报告来判断培训的成效。 业绩报告的另外一种情况就是，在没有现成的业绩数据和报告的情况下，培训评估者需要开发新的评估办法。,7、制定行动计划 这种方法要求学员在培训项目期间制定以书面表格的形式编制的行动计划，内容包括完成与培训项目有关的特定目标的具体步骤、内容及完成者、完成期限。,制定行动计划时需要完成两项任务：确定行动范围和编制行动内容。,行动计划编制，主要包括以下步骤：第一，事先阐明行动计划的要求。第二，在培训项目开始时介绍行动计划运作方法。第三，讲授行动计划方法。第四，安排充裕的时间编制计划。第五，由主持人批准行动计划。第六，要求学员对每项改进估算货币价值。第七，要求学员分解培训项目的效果。第八，要求学员提供对估计的信心水平。第九，要求学员向小组说明行动计划。第十，解释后续工作程序。第十一，在预定的后续跟踪时间内收集行动计划。第十二，数据汇总与投资回报率计算。,8、业绩契约 虽然根据不同类型的契约和组织所采取的步骤会有所不同，但是一般应该在契约中规定以下内容： 经主管人员批准，员工（学员）决定参加一项人力资源开发培训项目。 学员与主管人员就应该改进的主题或领域达成一致。 学员与主管人员制定具体的可衡量的目标。 学员将参加契约所规定的培训项目，并制定完成上述目标的计划。 在培训项目结束之后，学员将在规定的截止日期前履行该契约。 学员向自己的主管报告工作的结果。 主管人员与学员将这些结果存档，并将该文件的以及相应的意见转交给人力资源开发部门。,9、后续跟踪活动 在某些情况下，还应对培训项目进行重新设计，使其包括后续跟踪活动，进而对其他教育和培训活动进行评估。例如，可以将最初设计为连续进行三天的互动式销售技能培训项目重新设计为讲授销售技能的为期两天的讲座，在三周之后再安排一次为期一天的课程。后续跟踪活动提供了进行额外培训和评估的机会。在授课当天的上午，可以利用小组讨论方法收集第三级评估数据，还可以对在应用技能时遇到的特定障碍和问题加以讨论。在当天的下午，可以讲授和阐述其他技能，以及克服运用技能时所遇到的障碍。这样，从效果上看，重新设计的培训项目就提供了一种进行后续跟踪的机会。,8.3.2培训评估工具的选用,1、培训评估工具的目的选择 需要什么样的数据 内容的有效性 评估的稳定性 目标适用性,2、培训评估工具的层次选择,表96 培训评估工具层次选择表,8.4数据收集与分析,8.4.1培训评估数据的收集 8.4.2培训评估数据的分析,8.4.1培训评估数据的收集,1、数据类型 有效的培训评估，需要掌握两类数据，即硬数据和软数据。,2、数据来源 组织业绩记录 学员 学员的主管 学员的下属 团队、同事小组 内部、外部团队,3、数据收集的方法 （1）抽样技术 简单随机抽样 等距抽样 分层抽样 整体抽样,（2）收集方法 数据收集的主要方法，包括问卷、调查、观察、面谈、核心小组讨论、业绩监测、行动计划、业绩契约、后续跟踪等。,4、数据收集的主要策略 （1）时间选择 事前测试 事中测评 多重测评 跟踪测评。,（2）方案设计 一次性项目评估的设计 单一小组、事前测试和事后测试的设计 单一小组、多重测评的设计 对照组的设计 理想化的实验设计 只有事后测评的对照设计,8.4.2培训评估数据的分析,1、培训评估数据分析的原则 审查一致性和准确性 使用所有相关数据 保守个人数据秘密 尽量使用最简单的统计方法,2、培训评估数据分析的主要方法 频率分布 集中趋势 差异量数 相关系数 假设检验,8.5培训的投资回报率计算,8.5.1培训投资回报率的计算 8.5.2培训投资回报率计算的注意要点,8.5.1培训投资回报率的计算,投资回报（return on investment，ROI ）这个概念最初来自于财务和会计领域，被用于表明资本投资回报的价值。文献记载，最早的投资回报术语出现在1920年的哈佛商务评论（Harvard Business Review）上。人们一直在业务中使用经典的财会投资回报概念（即，从投资中获得的回报），来显示厂房和固定资产对组织的贡献。现在，人们开始将这一术语用在其他的业务方面，培训投资回报率是其中一个突出的范畴。,1、培训投资回报率的内涵 菲利普斯在其著作中是这样表述这一定义的：培训投资回报评估是将培训所带来的货币利润与其成本进行比较，比较结果往往用百分比或成本一效益比率来表示。本文后面的论述将使这一定义逐渐丰满起来。需要再次强调的是，本节仅限于组织层面的培训效果，因此这里的培训投资回报也都是组织对培训的投资回报，不包括国家、社会、个人等相关利益者对培训的投资回报。,2、培训投资回报率的计算公式 （1）培训成本效益率 培训成本效益比率培训收益/培训投入,（2）投资回报率 培训投资回报率（培训收益-培训投入）/培训投入,（3）培训贡献率 培训价值贡献率培训总收益/组织价值新增,（4）培训投资回收期 培训投资回收期成本/月收益,（5）舍贝克和科恩效用公式 Utility = YDNTPDVNTC,（6）Earl D Honeycutt Jr等的研究 U=（TN）（dt SDy）（1+V）（1Tax）（N C）（1Tax）,3、计算培训投资回报率的实施 具体实施培训投资回报率的计算，可以包括以下几个基本环节： 区分培训成效 计算培训收益 计算培训成本 培训成果与培训成本的比较,8.5.2培训投资回报率计算的注意要要点,（一）应该针对进行了需求分析的培训项目实施投资回报率的计算 （二）投资回报率分析必须包括一种或多种分解培训效果的策略 （三）在进行估计时，应该采用最可靠和最可行的信息来源。 （四）应该采用保守方法来计算效益和成本。 （五）小心比较培训投资回报率和其他财务收益。 （六）尽量使经理人员参与到收益的计算过程之中。 （七）应该小心对待和处理比较敏感且存在争议的问题。 （八）把计算收益的方法传授给其他人。 （九）不要夸大收益幅度 （十）不要尝试在