健康教育与健康促进计划评价

1、 陕西省健康教育所陕西省健康教育所 王俊儒王俊儒 2008年年7月月29日日一、评价的概念一、评价的概念 评价是客观实际与预评价是客观实际与预期目标进行的比较。期目标进行的比较。 评价贯穿于整个健康评价贯穿于整个健康教育与健康促进项目教育与健康促进项目管理过程的始终。管理过程的始终。二、评价的作用二、评价的作用1、了解健康教育与健、了解健康教育与健康促进项目的效果如康促进项目的效果如何。何。2、对项目全面检测、对项目全面检测、控制。控制。3、最大限度地保障计、最大限度地保障计划的先进性和实施质划的先进性和实施质量。量。三、评价的目的三、评价的目的1、确定健康教育与健康促进计划的合理性和先进性。

2、、确定健康教育与健康促进计划的合理性和先进性。2、确定计划的执行情况，包括干预活动的数量与质量，以确定干预、确定计划的执行情况，包括干预活动的数量与质量，以确定干预活动是否适合目标人群，各项活动是否按计划执行，以及资源利活动是否适合目标人群，各项活动是否按计划执行，以及资源利用情况。用情况。3、确定健康教育、确定健康教育/健康促进计划是否达到预期目标，其可持续性如健康促进计划是否达到预期目标，其可持续性如何。何。4、项目的产出是否有混杂因素的影响，影响程度如何。、项目的产出是否有混杂因素的影响，影响程度如何。5、向公众和投资者说明项目结果，扩大项目影响，改善公共关系，、向公众和投资者说明项目结

3、果，扩大项目影响，改善公共关系，以取得目标人群、社区、投资者的更广泛支持与合作。以取得目标人群、社区、投资者的更广泛支持与合作。6、总结健康教育、总结健康教育/健康促进项目的成功经验与不足之处，提出进一健康促进项目的成功经验与不足之处，提出进一步的项目方向。步的项目方向。一、形成评价（一、形成评价（1）1、形成评价的概念：、形成评价的概念：形成评价是一个为健康教育计划设计和发展提供信息的过程，包括为指定形成评价是一个为健康教育计划设计和发展提供信息的过程，包括为指定干预计划所做的需求评估及为计划设计和执行提供所需的基础材料。其干预计划所做的需求评估及为计划设计和执行提供所需的基础材料。其目的在

4、于使健康教育计划符合目标人群的实际情况，使计划更科学、更目的在于使健康教育计划符合目标人群的实际情况，使计划更科学、更完善。完善。2、形成评价的具体内容：、形成评价的具体内容：1）了解目标人群的各种基本特征。）了解目标人群的各种基本特征。2）了解目标人群对干预的看法。）了解目标人群对干预的看法。3）了解教育材料发放系统，包括生产、贮存、批发、零售以及发放渠道。）了解教育材料发放系统，包括生产、贮存、批发、零售以及发放渠道。4）对问卷进行预调查及修改。）对问卷进行预调查及修改。5）了解哪些健康教育干预策略适用于目标人群，健康教育材料预实验，确）了解哪些健康教育干预策略适用于目标人群，健康教育材料

5、预实验，确定其适宜性。定其适宜性。6）针对计划执行的早期阶段可能出现的问题，根据新的情况对计划做适度）针对计划执行的早期阶段可能出现的问题，根据新的情况对计划做适度调整。调整。一、形成评价（一、形成评价（2）3、形成评价的方法与指标、形成评价的方法与指标1）方法）方法l文献、档案、资料的回顾；文献、档案、资料的回顾；l专家咨询；专家咨询；l专题小组讨论；专题小组讨论；l目标人群调查；目标人群调查；l现场观察；现场观察；l试点研究等。试点研究等。2）指标）指标l计划的科学性；计划的科学性；l政策的支持性；政策的支持性；l技术上的适宜性；技术上的适宜性；l目标人群对策略和活动的接受程度等。目标人群

6、对策略和活动的接受程度等。二、过程评价（二、过程评价（1）1、过程评价的作用（、过程评价的作用（1）可以概括为两大方面：评估项目运作和修正项目计划。可以概括为两大方面：评估项目运作和修正项目计划。1）评估项目运作情况）评估项目运作情况l教育干预是否适合于教育对象，并为他们所接受？教育干预是否适合于教育对象，并为他们所接受？l教育干预是否按既定的活动类型、时间、频率加以实施，干预的质量如何？教育干预是否按既定的活动类型、时间、频率加以实施，干预的质量如何？l教育材料是否全部发放给目标人群？教育的覆盖面如何？教育材料是否全部发放给目标人群？教育的覆盖面如何？l目标人群参与是否积极？不愿参与的原因何

7、在？目标人群参与是否积极？不愿参与的原因何在？l教育服务利用情况（如展览、咨询等服务项目），利用率低的原因何在？教育服务利用情况（如展览、咨询等服务项目），利用率低的原因何在？l是否建立完整的信息反馈体系？各项记录的完整性、质量如何？是否建立完整的信息反馈体系？各项记录的完整性、质量如何？l在项目实施期间有无重大的环境变化（如各种重大事件），对项目执行的在项目实施期间有无重大的环境变化（如各种重大事件），对项目执行的影响如何？影响如何？l工作人员的职业技能、工作态度、责任心及与教育对象、工作人员之间的工作人员的职业技能、工作态度、责任心及与教育对象、工作人员之间的配合工作情况。配合工作情况。2

8、）修正项目计划）修正项目计划二、过程评价（二、过程评价（2）2、过程评价的实施方法、过程评价的实施方法1）直接观察各项干预活动。）直接观察各项干预活动。2）社区及目标人群调查。可根据随机原则，在少量目标人群中进行）社区及目标人群调查。可根据随机原则，在少量目标人群中进行抽样调查、中心地区调查、网络调查、专题小组讨论等。抽样调查、中心地区调查、网络调查、专题小组讨论等。3）举行项目工作者会议。定期举行计划设计者、管理者及执行者的）举行项目工作者会议。定期举行计划设计者、管理者及执行者的联席会议，讨论来自各方面的反馈信息，对项目进行阶段性评估。联席会议，讨论来自各方面的反馈信息，对项目进行阶段性评

9、估。4）追踪了解情况。以记录档案的形式对各项活动开展的日期、内容、）追踪了解情况。以记录档案的形式对各项活动开展的日期、内容、目的、地点、持续时间、活动组织者、目标人群及参与情况进行目的、地点、持续时间、活动组织者、目标人群及参与情况进行追踪了解。追踪了解。为了有效的评价项目的运作，及时收集各方面的反馈信息，必须建立过程追为了有效的评价项目的运作，及时收集各方面的反馈信息，必须建立过程追踪系统。其人员组成为：健康教育计划的设计者；健康教育专业人员；踪系统。其人员组成为：健康教育计划的设计者；健康教育专业人员；项目合作者；目标人群代表；社区卫生机构、新闻机构代表等。项目合作者；目标人群代表；社区

10、卫生机构、新闻机构代表等。二、过程评价（二、过程评价（3）3、过程评价指标、过程评价指标l经费执行率经费执行率l项目执行率项目执行率l干预活动类型、干预次数、持续时间干预活动类型、干预次数、持续时间l媒介拥有率媒介拥有率l干预活动覆盖率干预活动覆盖率l干预活动暴露率干预活动暴露率l有效指数有效指数二、过程评价（二、过程评价（4）4 4、过程评估中的质量控制、过程评估中的质量控制1 1）内部质量控制：）内部质量控制：主要是项目内部工作人员在对项目进行过程评估时，严主要是项目内部工作人员在对项目进行过程评估时，严格掌握评价标准，把好评价质量关。格掌握评价标准，把好评价质量关。2 2）外部质量控制：

11、）外部质量控制：一般由项目以外的、有项目评价经验的人对过程进行的一般由项目以外的、有项目评价经验的人对过程进行的质量控制，常用的方法是专家小组审查。质量控制，常用的方法是专家小组审查。评价的种类和内容（评价的种类和内容（7）三、效应评价（三、效应评价（1）效应评价是要评估健康教育计划导致的目标人群健康相关行为及其影响因素效应评价是要评估健康教育计划导致的目标人群健康相关行为及其影响因素（倾向因素、促成因素、强化因素）的变化。效应评价也成为近期和中（倾向因素、促成因素、强化因素）的变化。效应评价也成为近期和中期效果评价。期效果评价。1、效应评价的内容、效应评价的内容1）倾向因素：如目标人群的卫生

12、保健知识，健康价值观，对某一健康相关）倾向因素：如目标人群的卫生保健知识，健康价值观，对某一健康相关行为或疾病的态度，对自身易感性、疾病潜在威胁的信念等。行为或疾病的态度，对自身易感性、疾病潜在威胁的信念等。2）促成因素：卫生服务或实行健康行为的资源的可及性。从健康促进角度，）促成因素：卫生服务或实行健康行为的资源的可及性。从健康促进角度，有关政策、法规制定情况，行政对健康教育的干预程度、效果也可以说有关政策、法规制定情况，行政对健康教育的干预程度、效果也可以说是更强有力的一种促成因素。是更强有力的一种促成因素。3）强化因素：与目标人群关系密切的人对健康相关行为或疾病的看法，目）强化因素：与目

13、标人群关系密切的人对健康相关行为或疾病的看法，目标人群采纳某健康相关行为时获得的社会支持，及其采纳该行为后自身标人群采纳某健康相关行为时获得的社会支持，及其采纳该行为后自身的感受。的感受。4）健康相关行为：干预前后目标人群的健康相关行为是否发生变化，改变）健康相关行为：干预前后目标人群的健康相关行为是否发生变化，改变量是多少，各种变化在人群中的分布如何。量是多少，各种变化在人群中的分布如何。三、效应评价（三、效应评价（2）2 2、常用效应评价指标、常用效应评价指标1 1）卫生知识均分；）卫生知识均分；2 2）卫生知识合格率；）卫生知识合格率；3 3）卫生知识知晓率（正确率）；）卫生知识知晓率（

14、正确率）；4 4）信念流行率；）信念流行率；5 5）行为流行率；）行为流行率；6 6）行为改变率。）行为改变率。具体目标具体目标6个月内陕南燃煤型氟砷中毒病区个月内陕南燃煤型氟砷中毒病区80%的家庭主妇的家庭主妇知道改炉灶与健康关系的知识较干预前提高知道改炉灶与健康关系的知识较干预前提高30%策略策略步骤步骤1 收集基收集基线数据线数据步骤步骤2 实施策实施策略略/过程评价过程评价步骤步骤3 效应评效应评价价四、结局评价（远期效果评价）四、结局评价（远期效果评价）1、健康状况、健康状况1）生理和心理健康指标：如身高、体重、体质指数、血压、血色素）生理和心理健康指标：如身高、体重、体质指数、血压

15、、血色素等生理指标在干预后的变化；心理健康指标如人格、抑郁等方面等生理指标在干预后的变化；心理健康指标如人格、抑郁等方面的变化。的变化。2）疾病与死亡指标：如疾病发病率、患病率、死亡率、婴儿死亡率、）疾病与死亡指标：如疾病发病率、患病率、死亡率、婴儿死亡率、5岁以下儿童死亡率、孕产妇死亡率、平均期望寿命、减寿人年岁以下儿童死亡率、孕产妇死亡率、平均期望寿命、减寿人年数（数（pyll）等。）等。2、生活质量、生活质量1）生活质量指数，即）生活质量指数，即pqli指数；指数；2）美国社会健康协会指数，即）美国社会健康协会指数，即asha指数；指数；3）日常活动量表，即）日常活动量表，即adl量表；

16、量表；4）生活满意度指数量表，即）生活满意度指数量表，即lsi量表。量表。五、总结评价五、总结评价是指形成评价、过程评价、是指形成评价、过程评价、效应评价、结局评价的效应评价、结局评价的综合以及对各方面资料综合以及对各方面资料做出总结性的概括。它做出总结性的概括。它全面反映计划的成败。全面反映计划的成败。通过总结评价对各项计通过总结评价对各项计划的完成情况、对成划的完成情况、对成本本效益等做出总的判效益等做出总的判断，以总结经验教训，断，以总结经验教训，为今后计划的决策提出为今后计划的决策提出准确的科学依据。准确的科学依据。 计划设计计划设计 计划实施计划实施 阶段阶段 阶段阶段 中间目的中间

17、目的 行为改变行为改变 健康状况健康状况 生活质量生活质量 评价内容评价内容 计划设计划设 计划实计划实 健康相关行为的影健康相关行为的影 健康相关健康相关 健康状况健康状况 生活质量生活质量 计的合计的合 施情况施情况 响因素（倾向因素、响因素（倾向因素、 行为行为 理性理性 促成因素、强化因促成因素、强化因 素）素）评价指标评价指标 科学性科学性 干预活动次数干预活动次数 知识知晓率知识知晓率 行为流行率行为流行率 生理指标生理指标 pqli 适宜性适宜性 参加人数参加人数 信念流行率信念流行率 行为转变率行为转变率 疾病指标疾病指标 生活满意度生活满意度 可接受性可接受性 干预活动暴露率

18、干预活动暴露率 资源分配资源分配 死亡指标死亡指标 有效指标有效指标 社会支持社会支持评价种类评价种类 形成评价形成评价 过程评价过程评价 效应评价效应评价 结局评价结局评价 总结评价总结评价评价阶段评价阶段一、不设对照组的前后一、不设对照组的前后测试测试二、简单时间系列设计二、简单时间系列设计三、非等同比较组设计三、非等同比较组设计四、复合时间系列设计四、复合时间系列设计五、实验研究五、实验研究一、不设对照组的前后测试一、不设对照组的前后测试1、概念：这是评价方案中最简单的一种，通过比较目标、概念：这是评价方案中最简单的一种，通过比较目标人群在项目实施前后有关指标的情况反映项目效应与人群在项

19、目实施前后有关指标的情况反映项目效应与结局。结局。2、优点：方案设计与实际操作相对简单，能节省人力、优点：方案设计与实际操作相对简单，能节省人力、物力资源。物力资源。3、不足：无法控制干预措施以外其他因素的影响。、不足：无法控制干预措施以外其他因素的影响。4、用途：周期比较短或资源有限的健康教育与健康促进、用途：周期比较短或资源有限的健康教育与健康促进计划的设计计划的设计二、简单时间系列设计二、简单时间系列设计1、概念：简单时间系列设计同样不设对照组，特点、概念：简单时间系列设计同样不设对照组，特点是在对目标人群进行多次观察后，再实施干预，是在对目标人群进行多次观察后，再实施干预，并且在干预过

20、程后再进行多次观察。并且在干预过程后再进行多次观察。2、优点：是可以确定干预的效果的变化趋势，有助、优点：是可以确定干预的效果的变化趋势，有助于推断因果关系。于推断因果关系。3、不足：由于观察时间点多，增加了实施难度，实、不足：由于观察时间点多，增加了实施难度，实施周期长，耗费的资源也相应增加。施周期长，耗费的资源也相应增加。三、非等同比较组设计三、非等同比较组设计1、概念：是类实验设计的一种，设计思想是设立与接受、概念：是类实验设计的一种，设计思想是设立与接受干预的目标人群（干预组）相匹配的对照组，通过对干预的目标人群（干预组）相匹配的对照组，通过对干预组、对照组在项目事实前后变化的比较，来

21、评价干预组、对照组在项目事实前后变化的比较，来评价健康教育与健康促进项目的效应和结局。健康教育与健康促进项目的效应和结局。2、优点：通过干预组与对照组的比较，能有效地消除或、优点：通过干预组与对照组的比较，能有效地消除或克服多种混杂因素对评价效果正确性的影响。克服多种混杂因素对评价效果正确性的影响。3、注意事项：应选择主要特征十分接近干预组的人群作、注意事项：应选择主要特征十分接近干预组的人群作为对照组，以保证可比性，避免选择因素对结果的影为对照组，以保证可比性，避免选择因素对结果的影响。此外，要保证对照组与干预组的观察时间一致，响。此外，要保证对照组与干预组的观察时间一致，并应用与观察干预组

22、完全相同的方法、内容观察对照并应用与观察干预组完全相同的方法、内容观察对照组。组。四、复合时间系列设计四、复合时间系列设计1、概念：融合了简单时间系列设计和非等同比、概念：融合了简单时间系列设计和非等同比较组设计，既设立了对照组，又进行多点观察。较组设计，既设立了对照组，又进行多点观察。2、优势：在控制混杂因素对评价结果的影响及、优势：在控制混杂因素对评价结果的影响及观察变化趋势方面。观察变化趋势方面。3、不足：由于观察点多，特别是对对照组进行、不足：由于观察点多，特别是对对照组进行多点观察，增加了资源的消耗，也增加对照组多点观察，增加了资源的消耗，也增加对照组失访的可能性，操作复杂，难度较大

23、，在实际失访的可能性，操作复杂，难度较大，在实际中应用不多中应用不多。五、实验研究五、实验研究1、概念：实验研究的根本特点是将研究对象随机分为、概念：实验研究的根本特点是将研究对象随机分为干预组和对照组，比较项目实施前后的变化，来评干预组和对照组，比较项目实施前后的变化，来评价健康教育与健康促进项目的结局。价健康教育与健康促进项目的结局。2、优点：由于干预组和对照组是随机得来的，有效保、优点：由于干预组和对照组是随机得来的，有效保证了干预与对照两组间的齐同行，避免了选择的影证了干预与对照两组间的齐同行，避免了选择的影响。同时由于设置对照组，还可以克服历史因素、响。同时由于设置对照组，还可以克服

24、历史因素、回归因素、测量与观察因素等的影响。因此，在理回归因素、测量与观察因素等的影响。因此，在理论上是比较完美的评价设计方案。论上是比较完美的评价设计方案。3、不足：在社区干预中，尽管以个体为单位的随机抽、不足：在社区干预中，尽管以个体为单位的随机抽样可以实现，但干预实施中容易出现对照组的样可以实现，但干预实施中容易出现对照组的“信信息污染息污染”，不易操作。，不易操作。一、时间因素一、时间因素二、测试或观察因素二、测试或观察因素三、回归因素三、回归因素四、选择因素四、选择因素五、失访五、失访一、时间因素一、时间因素又称历史因素，指在健康教育与健康促进计划执行或评又称历史因素，指在健康教育与

25、健康促进计划执行或评价期间发生的重大的、可能对目标人群健康相关行为价期间发生的重大的、可能对目标人群健康相关行为及其影响因素产生影响的因素，如新的卫生政策的颁及其影响因素产生影响的因素，如新的卫生政策的颁布、食物供应的变化、自然灾害等。历史因素不在干布、食物供应的变化、自然灾害等。历史因素不在干预活动之内，但可能对目标人群有积极或消极的影响，预活动之内，但可能对目标人群有积极或消极的影响，以致加强或减弱健康教育与健康促进项目本身的效果。以致加强或减弱健康教育与健康促进项目本身的效果。此外，随着社会的发展，经济、文化等因素的变化，此外，随着社会的发展，经济、文化等因素的变化，人们的行为与健康状况

26、也会有所改变。因此，当健康人们的行为与健康状况也会有所改变。因此，当健康教育与健康促进项目周期较长时，这种自然的变化也教育与健康促进项目周期较长时，这种自然的变化也作为一种时间因素影响评价结果的真实性。通常可以作为一种时间因素影响评价结果的真实性。通常可以通过设立对照组，来克服历史因素的影响。通过设立对照组，来克服历史因素的影响。二、测试或观察因素二、测试或观察因素1、测量者的因素：、测量者的因素：1）暗示效应：健康教育者先入为主的态度是目标人群的行为向其意向发展。如健）暗示效应：健康教育者先入为主的态度是目标人群的行为向其意向发展。如健康教育者认为家庭条件差的学生个人卫生习惯差，学生受到这种

27、态度的暗示，康教育者认为家庭条件差的学生个人卫生习惯差，学生受到这种态度的暗示，就会真的不在意个人卫生。这并非健康教育项目的真实结果。就会真的不在意个人卫生。这并非健康教育项目的真实结果。2）项目工作人员的成熟性：随着项目的持续进展，项目工作人员能越来越熟练地）项目工作人员的成熟性：随着项目的持续进展，项目工作人员能越来越熟练地运用有关的知识和技能，有可能使观察到的项目效果优于其实际结果。运用有关的知识和技能，有可能使观察到的项目效果优于其实际结果。3）评定错误：在评价过程中有意无意地放松评价标准对待干预组，而以原标准评）评定错误：在评价过程中有意无意地放松评价标准对待干预组，而以原标准评价对

28、照组，最终使评价结果偏离真实情况。价对照组，最终使评价结果偏离真实情况。2、测量工具因素：、测量工具因素：测量工具包括问卷、仪器、药品、试剂等，其有效性和准确性测量工具包括问卷、仪器、药品、试剂等，其有效性和准确性也直接影响评价结果的真实性。因此，在进行评价测量前，首先要选择适宜的也直接影响评价结果的真实性。因此，在进行评价测量前，首先要选择适宜的测量方法和工具，然后检验工具的可靠性，才能获得真实、可信的评价结果。测量方法和工具，然后检验工具的可靠性，才能获得真实、可信的评价结果。3、测量对象因素：、测量对象因素：1）测量对象的成熟性：目标人群在项目初期并不十分了解项目目标，随着其对项）测量对

29、象的成熟性：目标人群在项目初期并不十分了解项目目标，随着其对项目的参与或被重复调查某些内容，可能引发其对有关内容的关注，增加了学习目的参与或被重复调查某些内容，可能引发其对有关内容的关注，增加了学习兴趣，使测量结果好于项目干预的真实结果。兴趣，使测量结果好于项目干预的真实结果。2）霍桑效应：人们被选择作为干预或评价对象时，由于感受到正在被研究或评价）霍桑效应：人们被选择作为干预或评价对象时，由于感受到正在被研究或评价而表现的行为异乎寻常。而表现的行为异乎寻常。三、回归因素三、回归因素回归因素指的是由于偶然因素，个别被测回归因素指的是由于偶然因素，个别被测试对象的某些特征水平过高或过低，在试对象

30、的某些特征水平过高或过低，在以后又回复到实际水平的现象。回归因以后又回复到实际水平的现象。回归因素的影响不像其他因素一样比较容易被素的影响不像其他因素一样比较容易被识别，可采用重复测量、设立对照组等识别，可采用重复测量、设立对照组等方法减少回归因素对项目效果的影响。方法减少回归因素对项目效果的影响。四、选择因素四、选择因素设立对照组的目的在于克服时间因素、测设立对照组的目的在于克服时间因素、测量因素、回归因素等对项目效果的影响。量因素、回归因素等对项目效果的影响。但如果对照组的主要特征指标与干预组但如果对照组的主要特征指标与干预组的特征不一致，则不能有效发挥对照组的特征不一致，则不能有效发挥对

31、照组的作用，这种选择对照组产生的偏差称的作用，这种选择对照组产生的偏差称为选择偏差。为选择偏差。五、失访五、失访失访指在健康教育与健康促进计划执行或失访指在健康教育与健康促进计划执行或评价过程中，目标人群由于各种原因不评价过程中，目标人群由于各种原因不能被干预或评价。当目标人群失访比例能被干预或评价。当目标人群失访比例高（超过高（超过10%）或是非随机失访，即只）或是非随机失访，即只是其中有某些特征的人失访时，会影响是其中有某些特征的人失访时，会影响评价效果。应努力减少失访，并鉴别是评价效果。应努力减少失访，并鉴别是否为非随机失访，从而估计失访是否会否为非随机失访，从而估计失访是否会引起偏倚及偏倚程度。引起偏倚及偏倚程度。成本成本效益分析是通过比较项目的总成本和总收效益分析是通过比较项目的总成本和总收益（均以货币值表示）来确定投入一定（单位）益（均以货币值表示）来确定投入一定（单位）成本的产出。然而，卫生领域中的很多效益难成本的产出。然而，卫生领域中的很多效益难以转化为货币值，如心理健康的改善，疼痛的以转