第七章 健康教育评价2

1、1n目的与要求：目的与要求：n了解评价在健康教育项目中的意义；n掌握健康教育评价的种类和内容；n熟悉评价设计方案和评价结果的影响因素；n熟悉成本效益和成本效果分析方法3健康教育工作的一般程序健康教育工作的一般程序计划实施计划实施项目计划项目计划实施效果实施效果目的性？科学性？可行性？目的性？科学性？可行性？是否按计划执行？计划是否符合是否按计划执行？计划是否符合客观实际、是否需要修改、如何客观实际、是否需要修改、如何修改？目标人群是否满意？修改？目标人群是否满意？如何？如何？4概念评价评价 客观实际客观实际预期目标预期目标6 评价评价(evaluation)：将客观实际与预期目将客观实际与预期

2、目标进行比较标进行比较n是系统收集、分析、表达资料的过程n目的在于确定健康教育计划和干预的价值确定健康教育计划和干预的价值，为健康教育计划的进一步实施和以后的项目决策提供依据。n不仅能使我们了解健康教育项目效果如何，还能全面检测、控制，最大限度地保障计划的先进性和实施的质量，从而也成为取得预期效果的关键措施。7一、评价的性质一、评价的性质n评价是管理的重要组成部分，贯穿于计划和评价是管理的重要组成部分，贯穿于计划和实施的全过程实施的全过程 始于计划，对计划的科学性、可行性、适宜性进行评价，并对计划实施的进度和质量进行评估。 对于干预措施执行后是否达到了预期效果，达到目标程度的评定，是质量监测与

3、控制的重要内容。8一、评价的性质一、评价的性质n评价的基本原理是比较评价的基本原理是比较 只有通过比较，才能鉴别，找出差异，分析原因，总结规律，完善管理，提高效率。9n确定价值标准是评价的前提确定价值标准是评价的前提 一、评价的性质一、评价的性质评价是对某一特定目标与一个可接受标准做比较。要在一定的价值体系下做出判断，它是一种主观活动，这种价值可以是一种标准，或自身的基线水平，或他人的结果。10n测量是评价的重要手段，准确的信息是评测量是评价的重要手段，准确的信息是评价成功的保障价成功的保障 一、评价的性质一、评价的性质只有通过对评价指标的定性、定量测量，评价才能得出准确结论。因此，需要有完善

4、的信息系统的支持，需要建立一套科学可行的指标体系及各项指标的测量标准与方法。11二、评价的目的和意义二、评价的目的和意义n评价的目的评价的目的1.明确健康教育计划的先进性与合理性2.确定计划的执行情况3.确定健康教育活动是否达到预期目标4.总结健康教育项目的成功与不足之处，提出进一步的研究假设5.向公众和项目资金提供者说明项目结果，扩大影响，获取更多支持12n评价的意义评价的意义1、保证计划设计和实施的质量。2、科学地说明计划的价值。3、改善计划的手段。4、向公众和资金提供者说明项目实施所取得的结果。5、丰富和充实理论知识二、评价的目的和意义二、评价的目的和意义1314形成评价形成评价过程评价

5、过程评价近期效果评价近期效果评价中期效果评价中期效果评价远期效果评价远期效果评价计划计划实施实施效果效果效应效应评价评价健康教育过程健康教育过程健康教育评价健康教育评价结局结局评价评价效 果评 价15n对项目计划本身进行的评价，包括目标人群的选择、策略确定、方法设计等，主要发生在计划设计阶段，部分职能将延续到实施阶段。一、形成评价一、形成评价（formative evaluation）16 形成评价内容形成评价内容1.科学性：科学性：项目计划的目的是否明确；目标是否合理；目标和指标体系是否一致；实施方案和干预框架是否明确；监督和考核措施及其实施方案是否明确；2.针对性针对性：干预方案是否适合目

6、标人群；目标体系和目标对象人群特点是否一致；3.可及性：可及性：干预方式与方法的可及程度和可接受程度；17n任务：任务：使计划更科学、更完善，符合目标人群的实际情况。n作用作用：最大限度地降低项目失败的风险，避免资源的浪费。n方式：方式：主要的评价方式为查阅资料、专家评估或模拟试验。18n评估计划实际执行情况与计划要求之间的差异。始于健康教育项目实施启动之时，贯穿于计划执行的全过程。n作用：作用：即时发现问题，为计划的调整提供科学依据。二、过程评价二、过程评价（process evaluation）19过程评价内容过程评价内容n评估项目活动运作情况 干预是否适合于教育对象、接受程度如何是否按计

7、划干预及干预质量教育材料的发放情况目标人群参与情况是否有信息反馈系统，各项记录完整性和质量如何资源利用情况20过程评价内容过程评价内容n项目计划的修改 不成功的干预活动原因分析计划的修改方案修改方案的可行性分析21 过程评价指标过程评价指标n1.项目活动进度指标：项目活动进度指标：项目活动执行率干预活动覆盖率干预活动暴露率有效指数(effectiveness index，EI)总有效指数(program effectiveness index，PEI)22 过程评价指标过程评价指标n2.目标人群满意指标：目标人群满意指标：对干预活动内容满意度对干预活动形式满意度对干预活动组织满意度对人际关系满

8、意度23 过程评价指标过程评价指标n3.资源使用进度指标：资源使用进度指标：活动费用使用率年度费用使用率费用进度比注意的问题：注意的问题：建立完善的质量控制和监测体系以及准确的资料收集方法是过程评价的基础。24过程评价实施方法过程评价实施方法n直接观察各项干预活动n社区和目标人群调查n举行项目工作者会议：定期举行计划设计者、管理者和执行者联席会议，对项目进展进行阶段性评估。n档案追踪：可以了解项目开展情况和组织者及目标人群参与情况。25过程评价中的质量控制过程评价中的质量控制n过程评价要解决的主要问题是确认项目活动的数量与质量。n只有高质量的过程评价才能保证项目目标的最终实现，并为解释项目结果

9、提供有价值的信息。26过程评价中的质量控制过程评价中的质量控制n内部质控（internal quality control）：主要依赖于项目工作人员在执行项目过程中能准确记录项目活动进行情况。因此，指标的可操作性及其标准至关重要。n外部质控（external quality control）：一般由项目以外的、有项目评价经验的专业人员以专家小组审查的方式进行。27n效应评价即近期和中期效果评价。n评估健康教育计划导致的人群健康相健康相关行为及其影响因素（倾向因素、促关行为及其影响因素（倾向因素、促成因素、强化因素）的变化成因素、强化因素）的变化。三、效应评价三、效应评价（impact eval

10、uation）28 效应评价内容效应评价内容1n1.倾向因素倾向因素n目标行为发生发展的内在基础，包括个人的知识、态度、信念，以及行为动机和意向。n项目执行前后人群的卫生保健知识、健康价值观、对健康相关行为的态度、对疾病易感性和严重性的信念、采纳促进健康行为的动机(motivation)、行为意向(behavioral intention)以及自我效能(self efficacy)等发生了什么变化。29 效应评价内容效应评价内容2n2.促成因素促成因素n行为动机和意愿得以实现的因素，即实现或形成某行为所必须的技能、资源和社会条件。n目标人群实现促进健康行为所需要的个人保健技能、环境条件、卫生保

11、健资源、服务、技术等方面的变化。30n3.强化因素强化因素n那些在行为发生之后提供持续的汇报或为行为的维持和重复提供的激励。n与目标人群关系密切的人、公众等对目标人群采纳促进健康行为的支持程度、个人感受等方面在项目前后的变化，如同伴的评价、家人的理解、公众舆论等。效应评价内容效应评价内容331n4.健康相关行为健康相关行为n项目实施前后目标人群健康相关行为发生了什么样的改变，各种变化在人群中的分布如何。效应评价内容效应评价内容432n卫生知识：均分；合格率；知晓率（正确率）n信念：持有率n行为：流行率；改变率n环境、服务、条件、公众舆论等方面的改变如安全饮用水普及率效应评价常用指标效应评价常用

12、指标33四、结局评价四、结局评价（outcome evaluation）n结局评价即远期效果评价，评价健康教育项目导致的人群健康状态乃至生活质量的变化。n评价指标：健康状况和生活质量的评价。34四、结局评价四、结局评价（outcome evaluation）n注意：n进行健康教育计划的结局评价时，往往难以简单的把人群健康状况、生命质量的变化归结于健康教育干预的结果，需精心设计，有效控制混杂因素才能下此结论。n一般情况下，获得健康结局指标需在相当长时间之后，而此期间社会政治、经济、文化状况的变化也将对人群健康产生影响，需客观评估健康教育做出的贡献。35五、总结评价五、总结评价（summative

13、 evaluation）n指形成评价、过程评价、效应评价和结局评价的综合以及对各方面资料做出总结性的概括。n能全面反映健康教育项目的成功之处与不足，为今后的计划制定和项目决策提供依据。健康教育计划评价的种类与内容总结健康教育计划评价的种类与内容总结计划设计划设计阶段计阶段项目实项目实施阶段施阶段项目结束阶段项目结束阶段中间目标中间目标行为改变行为改变健康状态健康状态 生活质量生活质量评价评价内容内容评价评价指标指标评价评价种类种类计划设计的合理性科学性适宜性可接受性形成评价形成评价计划实施情况干预活动次数参与人数干预活动暴露率有效指数行为影响因素（倾向、促成、强化）知识知晓率态度转变率健康相关

14、行为行为流行率行为转变率行为意向健康状态生理指标疾病指标死亡指标生活质量物理环境健康状态心理状态过程评价过程评价效应评价效应评价结局评价结局评价总结评价总结评价3738基本知识基本知识n实验研究与准实验研究的差异实验研究与准实验研究的差异n实验设计中设立对照组的意义实验设计中设立对照组的意义n不设对照组的前后测试实验设计的应不设对照组的前后测试实验设计的应用条件用条件（无法控制干预之外的干扰，用于周期较短或资金有限的项目）n知情同意书知情同意书39nR（random）：随机化，指采用随机抽样的方法确定干预组与对照组nE（experiment）：指接受健康教育干预的人群，称为干预组或实验组nC（

15、control）：指在健康教育中不对其进行干预，用作参照的人群，称为对照组nO（observation）：指收集资料的过程nX：代表干预措施常用符号常用符号40常用设计方法常用设计方法 不设对照组的前后测试不设对照组的前后测试 简单时间系列设计简单时间系列设计 非等同比较组设计非等同比较组设计 复合时间系列设计复合时间系列设计 实验研究实验研究41一、不设对照组的前后测试一、不设对照组的前后测试one group before/after designnEOXO 通过比较目标人群在实施前后有关指标的情况反映项目效应与结局n优缺点：优缺点：设计和实施操作简单；但干预之外因素的干扰控制较为困难n应

16、用：应用：周期比较短或资源有限的项目n评价注意评价注意：干扰因素的控制42二、简单时间系列设计二、简单时间系列设计simple timeseries designnEOOOXOOO 不设对照组，在对目标人群进行多次观察后，实施干预，干预过程结束后再进行多次观察。n分析方法：分析方法：比较时间序列数据变化规律，如果干预后的变化是干预前的自然延续，则干预无效，否则干预有效。n优缺点：优缺点：能较好的控制成熟效应的影响。但由于观察周期长，控制历史效应的能力较弱；观察点多，耗费人力、财力较大。43三、非等同比较组设计三、非等同比较组设计nonequivalent comparison group de

17、signnEOXOEOXO 是类实验设计的一种，又称为没有随机分配的平行对照设计。设立与接受干预的目标人群（干预组）相匹配的对照组，通过对干预组、对照组在项目实施前后变化的比较，来评价健康教育项目的效应和结局。n优点：优点：通过与对照组的比较可以消除时间因素、测量因素和观察因素等对评价结果正确性的影响。n缺点：缺点：两组之间齐同性差，不能消除选择因素的影响 n注意：注意：两组的可比性 、观察时间和方法的一致性44四、复合时间系列设计四、复合时间系列设计multiple timeseries designnEOOOXOOO COOO OOO 融合了简单时间系列设计和非等同比较组设计，既设立了对照

18、组，又进行多点观察。n优缺点：优缺点：上述两种方法的优缺点45五、实验研究五、实验研究classical experimental designnREOXO RCO On随机化分组，充分保证齐同性，不存在选择因素的影响，也克服了历史因素、测量和观察的影响。n理论上是一种比较理想的方案，但实际健康教育项目中不易操作，主要是因为随即化难以实现。缺点：现场操作难度较大，主要是随机化不易实现。缺点：现场操作难度较大，主要是随机化不易实现。4647n时间因素n测试或观察的因素n回归因素n选择因素n失访48历史性因素历史性因素n历史性因素，历史性因素，又称时间因素。n指在项目实施期间所发生的干预之外的事件

19、，导致参与者发生某些可能对结果有影响的变化。如与健康相关的公共政策的出台、重大生活条件的改变、自然灾害等。此外，随着社会经济的发展，经济、文化等因素的变化，人群的行为、健康状况也会发生相应的改变。49测试或观察因素测试或观察因素n1 测量者因素n来自于实验者的因素包括主观因素和客观因素两大类n客观因素：客观因素： n主观因素：主观因素： 原因：调查人员的熟练程度；调查者的诱导、暗示控制方法：调查人员培训，统一调查内容、方式原因：主观故意，设计、实施和评价阶段均可出现控制方法：建立完善的外部评价体系；加强科研道德、建立良好的学术风气；盲法50n2 测量工具的因素n实验工具的信度与效度物理测量工具

20、的信度与效度问题调查表的信度与效度问题51n3 测量对象n霍桑效应：n测量对象的成熟度人们被选择作为干预或评价对象时，由于感受到正在被研究或评价而表现的行为异乎寻常。例如在营养调查中，被调查者由于意识到自己正在被研究，从而改变以往的饮食习惯，趋向于表现出社会期望的、计划期望的、或自己认为正确的行为。回归因素n指由于偶然因素，个别被测试对象的某特征水平过高或过低，在以后又回复到实际水平的现象。52选择因素n如果对照组的主要指标特征与干预组的特征不一致，则不能有效发挥对照组的作用，这种选择对照组产生的偏差称为选择偏倚。5354失失 访访n在健康教育计划执行或评价阶段，目标人群由于各种原因而不能被干

21、预或评价。n在科研中对失访有确切的要求吗？n你认为对失访的科学态度是什么？ 5556成本效益与成本效果分析成本效益与成本效果分析n在制定方案、选择方案和评价效果时，常常要考虑的一个问题是：如何最大限度地合理分配如何最大限度地合理分配和使用资源，以最小的投入获取最大的收益和使用资源，以最小的投入获取最大的收益。n评价一个项目的优劣除考虑其先进性、可行性和科学性外，还要考虑其适用性和经济效益。n方法：成本效益分析（costbenefit analysis，CBA）和成本效果分析（costeffectiveness analysis，CEA）57nCBA和CEA最早产生于军事领域，以后则应用于包括卫

22、生保健在内的诸多社会经济领域。n成本效益（效果）分析在卫生领域的应用，对制定卫生事业规划、选择优先项目、促进卫生事业的合理投资起到了积极的作用。58n健康教育是随着医学模式转变应运而生的一门年轻学科，是一切卫生工作的基础，其投资最小，收益最大。n但其潜在的巨大效益在我国鲜为人知，且资源也相当贫乏，据统计，我国每年、每人健康教育经费平均不足1角钱，只占全国卫生事业投资的0.5%。59n因而，每一个健康教育者都应懂得并善于应用成本效益（效果）分析方法选择最优的教育规划，加强规划评价，提供最有说提供最有说服力的成本效益（效果）分析结果来改变服力的成本效益（效果）分析结果来改变领导者（决策者）的观念，

23、争取更多的资领导者（决策者）的观念，争取更多的资源源，促进我国健康教育事业的发展。60成本效益（效果）分析的意义成本效益（效果）分析的意义n1.在项目计划阶段项目计划阶段进行方案可行性评价或选择出单位成本效益（效果）最大的方案n2.在项目实施和评价阶段项目实施和评价阶段，评价项目单位成本的实际效益（效果）61（一）基本概念（一）基本概念n简单地说，成本效益（效果）分析就是通过对各种规划项目所费资源与健康收益进行比较，以选择投入低而产出高的方案的一种比较分析方法。n成本效益（效果）分析的两个基本要素是成成本和收益（效益或效果）本和收益（效益或效果） 。62成本（成本（cost）n也称作费用，即开

24、展一项规划所投入的资源投入的资源，包括从事项目活动所有资源的经济价值，含金钱与非金钱的投入（即人力、物力和财力的投入），从整个社会角度以货币值计量以货币值计量。n在实际应用中有多种分类方法63n成本的分类成本的分类n直接成本、间接成本、无形成本n固定成本、可变成本n投资成本、经营成本n可控成本、不可控成本 64健康教育项目中的直接成本直接成本n直接成本（direct cost）：为特定人群提供服务时直接消耗的资源n健康教育项目的直接成本： 1.所有全职人员的工资、津贴；专家咨询费；培训教师讲课费；调查人员劳务费等人员费用。 2.设备、材料费用。如电脑、录象机、健康教育材料等 3.交通、通讯费用。 4.日常消耗费用。65n间接成本（indirect cost）：指与项目有关，但又未直接应用于项目的那部分成本。也可理解为由于项