《健康教育评价》PPT课件.ppt

1,郑州大学公共卫生学院 朱伟 ,健康教育评价,目的与要求： 了解评价在健康教育项目中的意义； 掌握健康教育评价的种类和内容； 熟悉评价设计方案和评价结果的影响因素； 熟悉成本效益和成本效果分析方法 方式与方法：讲授34学时,3,健康教育工作的一般程序,计划实施,项目计划,实施效果,目的性？科学性？可行性？,是否按计划执行？计划是否符合 客观实际、是否需要修改、如何 修改？目标人群是否满意？,如何？,4,第一节 评价概述,5,评价(evaluation)：将客观实际与预期目标进行比较 是系统收集、分析、表达资料的过程 目的在于确定健康教育计划和干预的价值，为健康教育计划的进一步实施和以后的项目决策提供依据。 不仅能使我们了解健康教育项目效果如何，还能全面检测、控制，最大限度地保障计划的先进性和实施的质量，从而也成为取得预期效果的关键措施。,6,一、评价的性质,评价是管理的重要组成部分，贯穿于计划和实施的全过程,始于计划，对计划的科学性、可行性、适宜性进行评价，并对计划实施的进度和质量进行评估。 对于干预措施执行后是否达到了预期效果，达到目标程度的评定，是质量监测与控制的重要内容。,7,一、评价的性质,评价的基本原理是比较,只有通过比较，才能鉴别，找出差异，分析原因，总结规律，完善管理，提高效率。,8,确定价值标准是评价的前提,一、评价的性质,评价是对某一特定目标与一个可接受标准做比较。 要在一定的价值体系下做出判断，它是一种主观活动，这种价值可以是一种标准，或自身的基线水平，或他人的结果。,9,测量是评价的重要手段，准确的信息是评价成功的保障,一、评价的性质,只有通过对评价指标的定性、定量测量，评价才能得出准确结论。 因此，需要有完善的信息系统的支持，需要建立一套科学可行的指标体系及各项指标的测量标准与方法。,10,二、评价的目的和意义,评价的目的,1.明确健康教育计划的先进性与合理性 2.确定计划的执行情况 3.确定健康教育活动是否达到预期目标 4.总结健康教育项目的成功与不足之处，提出进一步的研究假设 5.向公众和项目资金提供者说明项目结果，扩大影响，获取更多支持,11,评价的意义,1、保证计划设计和实施的质量。 2、科学地说明计划的价值。 3、改善计划的手段。 4、向公众和资金提供者说明项目实施所取得的结果。 5、丰富和充实理论知识,二、评价的目的和意义,12,第二节 评价的种类与内容,13,形成评价,过程评价,近期效果评价,中期效果评价,远期效果评价,计划,实施,效果,效应 评价,健康教育过程,健康教育评价,结局 评价,效 果 评 价,14,对项目计划本身进行的评价，包括目标人群的选择、策略确定、方法设计等，主要发生在计划设计阶段，部分职能将延续到实施阶段。,一、形成评价（formative evaluation）,15,任务：使计划更科学、更完善，符合目标人群的实际情况。 作用：最大限度地降低项目失败的风险，避免资源的浪费。 方式：主要的评价方式为查阅资料、专家评估或模拟试验。,16,形成评价内容,1.科学性：项目计划的目的是否明确；目标是否合理；目标和指标体系是否一致；实施方案和干预框架是否明确；监督和考核措施及其实施方案是否明确； 2.针对性：干预方案是否适合目标人群；目标体系和目标对象人群特点是否一致； 3.可及性：干预方式与方法的可及程度和可接受程度；,17,评估计划实际执行情况与计划要求之间的差异。始于健康教育项目实施启动之时，贯穿于计划执行的全过程。 作用：即时发现问题，为计划的调整提供科学依据。,二、过程评价（process evaluation）,18,过程评价内容,评估项目活动运作情况,干预是否适合于教育对象、接受程度如何 是否按计划干预及干预质量 教育材料的发放情况 目标人群参与情况 是否有信息反馈系统，各项记录完整性和质量如何 资源利用情况,19,过程评价内容,项目计划的修改,不成功的干预活动原因分析 计划的修改方案 修改方案的可行性分析,20,过程评价指标 1.项目活动进度指标：,项目活动执行率 干预活动覆盖率 干预活动暴露率 有效指数(effectiveness index，EI) 总有效指数(program effectiveness index，PEI) ,21,过程评价指标 2.目标人群满意指标：,对干预活动内容满意度 对干预活动形式满意度 对干预活动组织满意度 对人际关系满意度,22,过程评价指标 3.资源使用进度指标：,活动费用使用率 年度费用使用率 费用进度比,注意的问题：建立完善的质量控制和监测体系以及准确的资料收集方法是过程评价的基础。,23,过程评价实施方法,直接观察各项干预活动 社区和目标人群调查 举行项目工作者会议：定期举行计划设计者、管理者和执行者联席会议，对项目进展进行阶段性评估。 档案追踪：可以了解项目开展情况和组织者及目标人群参与情况。,24,过程评价中的质量控制,过程评价要解决的主要问题是确认项目活动的数量与质量。 只有高质量的过程评价才能保证项目目标的最终实现，并为解释项目结果提供有价值的信息。,25,过程评价中的质量控制,内部质控（internal quality control）：主要依赖于项目工作人员在执行项目过程中能准确记录项目活动进行情况。因此，指标的可操作性及其标准至关重要。 外部质控（external quality control）：一般由项目以外的、有项目评价经验的专业人员以专家小组审查的方式进行。,26,效应评价即近期和中期效果评价。 评估健康教育计划导致的人群健康相关行为及其影响因素（倾向因素、促成因素、强化因素）的变化。,三、效应评价（impact evaluation）,27,效应评价内容1 1.倾向因素 目标行为发生发展的内在基础，包括个人的知识、态度、信念，以及行为动机和意向。 项目执行前后人群的卫生保健知识、健康价值观、对健康相关行为的态度、对疾病易感性和严重性的信念、采纳促进健康行为的动机(motivation)、行为意向(behavioral intention)以及自我效能(self efficacy)等发生了什么变化。,28,效应评价内容2 2.促成因素 行为动机和意愿得以实现的因素，即实现或形成某行为所必须的技能、资源和社会条件。 目标人群实现促进健康行为所需要的个人保健技能、环境条件、卫生保健资源、服务、技术等方面的变化。,29,3.强化因素 那些在行为发生之后提供持续的汇报或为行为的维持和重复提供的激励。 与目标人群关系密切的人、公众等对目标人群采纳促进健康行为的支持程度、个人感受等方面在项目前后的变化，如同伴的评价、家人的理解、公众舆论等。,效应评价内容3,30,4.健康相关行为 项目实施前后目标人群健康相关行为发生了什么样的改变，各种变化在人群中的分布如何。,效应评价内容4,31,卫生知识：均分；合格率；知晓率（正确率） 信念：持有率 行为：流行率；改变率 环境、服务、条件、公众舆论等方面的改变如安全饮用水普及率,效应评价常用指标,32,四、结局评价（outcome evaluation）,结局评价即远期效果评价，评价健康教育项目导致的人群健康状态乃至生活质量的变化。 评价指标：健康状况和生活质量的评价。,33,四、结局评价（outcome evaluation）,注意： 进行健康教育计划的结局评价时，往往难以简单的把人群健康状况、生命质量的变化归结于健康教育干预的结果，需精心设计，有效控制混杂因素才能下此结论。 一般情况下，获得健康结局指标需在相当长时间之后，而此期间社会政治、经济、文化状况的变化也将对人群健康产生影响，需客观评估健康教育做出的贡献。,34,五、总结评价（summative evaluation）,指形成评价、过程评价、效应评价和结局评价的综合以及对各方面资料做出总结性的概括。 能全面反映健康教育项目的成功之处与不足，为今后的计划制定和项目决策提供依据。,健康教育计划评价的种类与内容总结,计划设 计阶段,项目实 施阶段,项目结束阶段,中间目标,行为改变,健康状态,生活质量,评价 内容,评价 指标,评价 种类,计划设计 的合理性,科学性 适宜性 可接受性,形成评价,计划实 施情况,干预活动次数 参与人数 干预活动暴露率 有效指数,行为影响因 素（倾向、 促成、强化）,知识知晓率 态度转变率 ,健康相 关行为,行为流行率 行为转变率 行为意向 ,健康 状态,生理指标 疾病指标 死亡指标,生活 质量,物理环境 健康状态 心理状态,过程评价,效应评价,结局评价,总结评价,36,效应评价、结局评价设计方案,第三节,37,基本知识,实验研究与准实验研究的差异 实验设计中设立对照组的意义 不设对照组的前后测试实验设计的应用条件（无法控制干预之外的干扰，用于周期较短或资金有限的项目） 知情同意书,38,R（random）：随机化，指采用随机抽样的方法确定干预组与对照组 E（experiment）：指接受健康教育干预的人群，称为干预组或实验组 C（control）：指在健康教育中不对其进行干预，用作参照的人群，称为对照组 O（observation）：指收集资料的过程 X：代表干预措施,常用符号,39,常用设计方法,不设对照组的前后测试 简单时间系列设计 非等同比较组设计 复合时间系列设计 实验研究,40,一、不设对照组的前后测试 one group before/after design,EOXO 通过比较目标人群在实施前后有关指标的情况反映项目效应与结局 优缺点：设计和实施操作简单；但干预之外因素的干扰控制较为困难 应用：周期比较短或资源有限的项目 评价注意：干扰因素的控制,41,二、简单时间系列设计 simple timeseries design,EOOOXOOO 不设对照组，在对目标人群进行多次观察后，实施干预，干预过程结束后再进行多次观察。 分析方法：比较时间序列数据变化规律，如果干预后的变化是干预前的自然延续，则干预无效，否则干预有效。 优缺点：能较好的控制成熟效应的影响。但由于观察周期长，控制历史效应的能力较弱；观察点多，耗费人力、财力较大。,42,三、非等同比较组设计 nonequivalent comparison group design,EOXO CO O 是类实验设计的一种，又称为没有随机分配的平行对照设计。设立与接受干预的目标人群（干预组）相匹配的对照组，通过对干预组、对照组在项目实施前后变化的比较，来评价健康教育项目的效应和结局。 优点：通过与对照组的比较可以消除时间因素、测量因素和观察因素等对评价结果正确性的影响。 缺点：两组之间齐同性差，不能消除选择因素的影响 注意：两组的可比性 、观察时间和方法的一致性,43,四、复合时间系列设计 multiple timeseries design,EOOOXOOO COOO OOO 融合了简单时间系列设计和非等同比较组设计，既设立了对照组，又进行多点观察。 优缺点：上述两种方法的优缺点,44,五、实验研究 classical experimental design,REOXO RCO O 随机化分组，充分保证齐同性，不存在选择因素的影响，也克服了历史因素、测量和观察的影响。 理论上是一种比较理想的方案，但实际健康教育项目中不易操作，主要是因为随即化难以实现。,45,Experiment group,Control group,Intervention+others,other,Experiment group,Control group,Baseline investigation,No intervention+others,Evaluation investigation,缺点：现场操作难度较大，主要是随机化不易实现。,random,46,第四节 影响评价的主要因素,47,历史性因素及沾染 来自于实验者的因素 来自于实验工具的因素 来自于实验对象的因素 失访,48,历史性因素及沾染,历史性因素，又称时间因素。 指在项目实施期间所发生的干预之外的事件，导致参与者发生某些可能对结果有影响的变化。,如与健康相关的公共政策的出台、重大生活条件的改变、自然灾害等。 此外，随着社会经济的发展，经济、文化等因素的变化，人群的行为、健康状况也会发生相应的改变。,49,历史性因素及沾染,沾染：由于设计不当，使对照组实验对象接受了健康教育的干预，从而使干预后实验组和对照组间的差异减少。常常由于组间物理距离过分靠近造成。,50,来自于实验者的因素,来自于实验者的因素包括主观因素和客观因素两大类 客观因素： 主观因素：,原因：调查人员的熟练程度；调查者的诱导、暗示 控制方法：调查人员培训，统一调查内容、方式,原因：主观故意，设计、实施和评价阶段均可出现 控制方法：建立完善的外部评价体系；加强科研道德、建立良好的学术风气；盲法,51,来自于实验工具的因素,实验工具的信度与效度 物理测量工具的信度与效度问题 调查表的信度与效度问题,52,来自于实验对象的因素,霍桑效应： 测量对象的成熟度 “白大褂效应”,人们被选择作为干预或评价对象时，由于感受到正在被研究或评价而表现的行为异乎寻常。例如在营养调查中，被调查者由于意识到自己正在被研究，从而改变以往的饮食习惯，趋向于表现出社会期望的、计划期望的、或自己认为正确的行为。,53,失 访,在健康教育计划执行或评价阶段，目标人群由于各种原因而不能被干预或评价。 在科研中对失访有确切的要求吗？ 你认为对失访的科学态度是什么？,努力减少失访，对应答者和失访者进行结构分析，鉴别是否非随机失访。,没有，但比例不能过高，低于10 随机,54,第五节 卫生经济学评价在 健康教育中的应用,55,经济学研究的核心是资源的有效配置。,一、概述,“资源的稀缺性”和“欲望的无限性”，以及“有限资源可以满足不同的需要”，使得人们就有了必要或可能通过选择，权衡利弊得失进行取舍，有效地利用资源。,资源是有限的、稀缺的 人的欲望是无限的 同样的资源可以满足不同的需要,56,经济学研究的核心是资源的有效配置。,一、概述,资源是有限的、稀缺的 人的欲望是无限的 同样的资源可以满足不同的需要,正因为在利用资源时需要选择，才产生了以“选择”为研究对象的经济学。,57,生产什么产品？ 怎样生产？ 为谁生产？,社会所面临的“选择”(choice)问题有三：,即在资源稀缺条件下需要提供什么样的商品和服务，以及提供多少数量？,是指生产要素和技术的选择。原则上是选择成本最低的资源和技术。,是指商品或服务在不同消费者之间的分配。,58,“经济学是一门涉及稀缺资源利用结果的科学，卫生经济学涉及经济问题中的特殊部分健康及卫生保健。”（Philip J. The Economics of Health and Medical Care） 卫生经济学是研究分配于治疗经费和增进健康的经济资源的最优使用（Selma .J Mushkin） 。,卫生经济学(health economics),59,从资源的投放和效益的提供或收获两个方面，即成本与收获两个方面，对不同选择方案进行比较分析的方法。 基本任务：确认、衡量、比较与评价候选方案的成本和收获。 常用方法：项目决策分析方法和成本效益与成本效果分析。,卫生经济学评价,60,二、项目决策的经济学评价方法,以数学模型为基础的预测方法，包括： 确定型决策方法 风险型决策方法 非确定型决策方法,61,对未来的认识比较充分，能比较准确地估计未来的市场需求状况，可以比较有把握地计算各方案在未来的经济效果（一个确定的结果）， 并据此作出选择。 具体方法有投资回收率法、价值分析法等。,1、确定型决策方法,62,主要用于人们对未来有一定程度的认识，但又不能肯定的情况，即每一种方案的可能结果有两种和两种以上，且知道每一中结果发生的可能性（概率）。,以收益出现概率为基础,2、风险型决策方法,63,每种方案所需的条件及可能带来的结果都不可能确定的决策，决策原则有： A 乐观原则（“最大收益值原则”） B 悲观原则（“小中取大原则”） C 折衷原则（“平均收益原则”） D 最小最大后悔值原则,3、非确定型决策方法,64,三、成本效益与成本效果分析,在制定方案、选择方案和评价效果时，常常要考虑的一个问题是：如何最大限度地合理分配和使用资源，以最小的投入获取最大的收益。 评价一个项目的优劣除考虑其先进性、可行性和科学性外，还要考虑其适用性和经济效益。 方法：成本效益分析（costbenefit analysis，CBA）和成本效果分析（costeffectiveness analysis，CEA）,65,CBA和CEA最早产生于军事领域，以后则应用于包括卫生保健在内的诸多社会经济领域。 成本效益（效果）分析在卫生领域的应用，对制定卫生事业规划、选择优先项目、促进卫生事业的合理投资起到了积极的作用。,66,健康教育是随着医学模式转变应运而生的一门年轻学科，是一切卫生工作的基础，其投资最小，收益最大。 但其潜在的巨大效益在我国鲜为人知，且资源也相当贫乏，据统计，我国每年、每人健康教育经费平均不足1角钱，只占全国卫生事业投资的0.5%。,67,因而，每一个健康教育者都应懂得并善于应用成本效益（效果）分析方法选择最优的教育规划，加强规划评价，提供最有说服力的成本效益（效果）分析结果来改变领导者（决策者）的观念，争取更多的资源，促进我国健康教育事业的发展。,68,成本效益（效果）分析的意义,1.在项目计划阶段进行方案可行性评价或选择出单位成本效益（效果）最大的方案 2.在项目实施和评价阶段，评价项目单位成本的实际效益（效果）,69,（一）基本概念,简单地说，成本效益（效果）分析就是通过对各种规划项目所费资源与健康收益进行比较，以选择投入低而产出高的方案的一种比较分析方法。 成本效益（效果）分析的两个基本要素是成本和收益（效益或效果） 。,70,成本（cost）,也称作费用，即开展一项规划所投入的资源，包括从事项目活动所有资源的经济价值，含金钱与非金钱的投入（即人力、物力和财力的投入），从整个社会角度以货币值计量。 在实际应用中有多种分类方法,71,成本的分类 直接成本、间接成本、无形成本 固定成本、可变成本 投资成本、经营成本 可控成本、不可控成本,72,健康教育项目中的直接成本,直接成本（direct cost）：为特定人群提供服务时直接消耗的资源 健康教育项目的直接成本： 1.所有全职人员的工资、津贴；专家咨询费；培训教师讲课费；调查人员劳务费等人员费用。 2.设备、材料费用。如电脑、录象机、健康教育材料等 3.交通、通讯费用。 4.日常消耗费用。,73,间接成本（indirect cost）：指与项目有关，但又未直接应用于项目的那部分成本。也可理解为由于项目的实施而引发的其他资源的消耗。 健康教育项目的间接成本：主要是目标人群参与项目而需要花费的成本。 1.为参与项目而付出的时间、交通费用； 2.用于克服某些副作用而花费的成本等。,健康教育项目中的间接成本,74,无形成本（intangible cost）：相对于有形成本而言，有形成本指那些可以以物质形态呈现的成本，如直接成本和间接成本。 无形成本指无法以物质形态表现的成本，如疲劳、疼痛、忧虑等。 无形成本难于测量，也难于货币化，但在决策时应考虑到无形成本所带来的影响。,健康教育项目中的无形成本,75,收益,是计划的产出部分，包括效益和效果,76,效益（benefit）,指实施某项健康教育计划后所得到的利益或节省的开支金额。 从全社会利益的角度出发，效益可分为直接效益、间接效益、额外效益、无形效益。,77,直接效益（direct benefit）：指实行了健康教育计划后所节省的费用。 如高血压社区综合防治后节省的用于治疗高血压患者的治疗费用。 间接效益（indirect benefit）：指实施健康教育项目后减少的其他方面的经济损失。 如控制吸烟计划实施后减少的与吸烟有关的火灾造成的损失；目标人群免受疾病困扰可正常工作所创造的价值及相应避免的误工损失等。,78,额外效益（extra benefit）：在计划以外所得到的利益，如预防氟中毒而实行的改水项目同时也减少了肠道传染病的发生。但一般在进行成本效益分析时不考虑这部分效益。 无形效益（intangible benefit）：指健康教育项目实施后带来的人群心理方面的收益。如愉快、幸福感等。,79,效果（effectiveness）,指实行某计划后产生的实际结果，无须用货币表示，常采用直接的客观指标来衡量，如知识提高率、行为转变率、发病率、患病率等。 使用这些指标，只能进行同一项目（或疾病）不同方案之间的比较，无法进行项目（疾病）间的比较。,80,货币的时间价值,在进行成本效益（效果）分析时，必须考虑货币的时间价值问题，即100元钱在当年、5年后、10年后其价值有所不同。 因为无论开展什么规划，投资总先于收益，而不同时间的投资或效益有着不同的价值，一般人们更看重现有的价值。 由于健康教育投资发生于现在，而其效果产生于将来，因此分析时要将未来的效益和成本折算到现在进行计算，该过程称为贴现，所用利率称为贴现率。,81,贴现值k/(1+i)n， k为现值； i为贴现率，一般按银行利率，但也要考虑到通货膨胀因素,82,（二）成本效益分析,1.概念 通过比较各种备选方案的全部效益和全部预计成本的现值来评价这些备选方案。 从经济学角度，当一个项目的效益大于成本时，计划就值得开展。 实际工作中，可能有多种途径解决一个卫生问题时，计划成本相同时选择效益最大的方案，计划效益相同时选择成本最低的方案，以求单位成本的最佳效益。,83,成本效益分析的适用范围,适用于各种方案的效益可以用货币计量的情况下，对成本和效益进行数量的比较。 一般用于具有确定性的因果过程，对货币在时间上的不确定性往往通过寻找适当的贴现率加以解决。,84,2.分析方法,A.静态分析法：不考虑货币的时间价值（不算贴现率）只计算成本或效益的现值，包括： 绝对经济效益：净效益效益成本 相对经济效益： 成本效益率效益/成本 投资效益率净效益/投资额 投资回收期投资额/净效益,85,B.动态分析法：比较时要考虑货币的时间价值，不同时间发生的成本和效益，按一定的贴现率换算成同一“时间点”上的成本和效益进行计算。包括：净现值法、年当量效益法、效益成本比率法和内部收益率法。,86,净现值法（net present value，NPV）,是计划期内方案各年效益的现值总和与成本的现值总和之差。它根据货币时间价值的原理，消除货币时间因素的影响，对计划方案的总效益现值和总成本现值进行比较，并根据其差值即净现值对方案作出评价。,Bt为第t年发生的效益 Ct为第t年发生的成本 i为贴现率 n为计划方案年限,87,某方案净现值计算（元）,88,年当量效益法,年当量效益是将方案各年实际发生的净效益折算为每年平均净效益值，它是净现值考虑贴现率时的年平均值。 年当量效益CRNPV CR为资金回收系数(可查复利系数表) NPV年净现值之和,89,不同计划期限方案的选择（元）,90,效益成本比率法：方案效益现值总额与成本现值总额之比。只有大于1的方案才考虑接受，其值越大效益越大。 内部收益率法：内部收益率就是使一个方案的成本现值总额等于效益现值总额，即使净现值等于0的那个贴现率。越大说明经济效益越好。,91,3.分析步骤,熟悉项目，了解项目背景、目标和具体内容 确定备选方案 确定成本和效益 总成本是计划的总支出，包括发生在不同时间的直接、间接成本和克服计划负性影响所投入的资源，按不同年份分别计算 效益即实施计划所带来的好处，包括收入的增加和资源的节约，总效益包括在不同时间发生的效益。 贴现 比较,92,（三）成本效果分析,1.概念 把两个或两个以上活动所耗费的单位成本加以比较，其基本原理与成本效益分析十分相似。区别在于分析中并不以货币值来衡量规划的收益，而是采用那些能反映人民健康状况变化