项目计划实施与评价master2015

,行为干预项目主要步骤,相关理论和方法,周欢,项目实施与评价,讨论：,干预活动实施的内容？,实施准备现场执行,实施准备工作基本环节回顾目标、细分人群、确定干预场所制定实施时间表，对策略、活动、资源分配 进行整合建立实施计划的组织机构、网络和工作制度配备与培训工作人员传播材料制作配备和购置所需设备物件,现场执行基本环节,根据实施计划展开各项活动 对实施过程进行督导，归纳整理 档案资料 对实施效果、效益进行评价,项目实施,进一步将干预计划具体化（分解干预计划）,建立组织网络,分级分类培训人员,明确任务、责权利建立管理制度,基线调查,筛选/引进/制作传播材料,准备其他器材,实施现场干预,动员各种力量参与,质量控制,目标、对象、场所,质量控制,调查误差的种类,非抽样误差：由各种人为因素或偶然 因素造成的抽样误差：在抽样调查中会产生抽样 误差，其误差是不可避免 的，但有一定规律，可以 控制，可作出估计 （增大样本含量降低抽样误差）,抽样误差的控制,主要在设计阶段力求使抽取的样本具有代表性具有一定数量的样本量在抽样时尽可能随机抽样,非抽样误差的控制,设计阶段调查阶段分析阶段,设计阶段的质量控制,非抽样误差的来源:调查指标选择不当 （如：发病率与病死率）调查对象的范围划分不当 如：某地居民患病率调查项目的定义不明确周岁年龄的计算不准确,调查阶段的质量控制,非抽样误差可能来自:调查人员的工作态度、业务水平 调查员的选拔与培训调查对象因故不在、回避调查、拒绝回答、有意隐瞒、记忆不清等 开展广泛宣传，争取群众积极配合 敏感问题调查法，知情人帮助回忆等,分析阶段的质量控制,非抽样误差可能来自编码、录入、汇总、计算等方面 严格进行资料整理和检验,评价,形成评价,内 容：对项目计划本身进行的评价， 其任务是评估计划设计是否符 合实际。作 用：最大限度地降低项目失败的风 险，避免资源的浪费。评价方式：专家评估或模拟试验。,过程评价,内 容：评估计划实际执行情况与计划要求之间的 差异。开始于健康教育项目实施启动之 时，贯穿于计划执行的全过程。 作 用：即时发现问题，为计划的调整提供科学 依据。评价方式：定性与定量调查评价指标：项目活动执行率；干预活动覆盖率； 活动暴露率； 有效指数； 目标人群满意度,效应评价,效应评价：即近期和中期效果评价。 评估健康教育计划导致的人群 健康相关行为及其影响因素 的变化。评价指标：行为危险因素（知识、信念、态度） 行为（行为改变率、行为流行率）,结局评价,结局评价：远期效果评价。 评价健康教育项目导致的人群 健康状态乃至生活质量的变化。评价指标： 健康状态 生理指标（身高、体重、血压等） 疾病与死亡指标（发病率、死亡率等） 生活质量 生活质量指数；日常活动量表； 生活满意度指数量表,总结评价,内容：指形成评价、过程评价、效应评价 和结局评价的综合以及对各方面资 料做出总结性概括。作用：全面反映健康教育项目的成功与不足， 为今后的计划制定和项目决策提供依 据。,健康教育计划评价的种类与内容,计划设计阶段,项目实施阶段,项目结束阶段,中间目标,行为改 变,健康状态,生活质 量,评 价内 容,评 价指标,评 价种类,计划设 计的合理性,科学性适宜性可接受性,形成评价,计 划实 施情 况,干预活动次数参与人数干预活动暴露率有效指数,行为影响因素（倾向、促成、强 化）,知识知晓 率态度转变率,健康 相关行为,行为流行 率行为转变率行为意向 ,健康 状态,生理指标疾病指标死亡指标,生 活质量,物理环境健康状态心理状态,过程评价,效应评价,结局评价,总结评价,评价设计方案,不设对照组的前后测试简单时间系列设计非等同比较组设计 （类实验设计） 为干预组选择一组匹配的对照组复合时间系列设计 设有对照组且进行多个时间点的观察实验研究 将研究对象随机分组,一、不设对照组的前后测试方案,内容：常用评价方案中设计最为简单的一种，通过比较目标人群在健康教育项目实施前与实施后的相关知识、行为及健康状况的变化情况，从而反映健康教育项目的效果。,23,不设对照组的前后测试方案,优点：该测试方案不设对照组，研究方案设计简单，实际操作相对便捷，能较大地节省人力、物力资源缺点：前后测试方案无法控制影响结局的混杂因素，从而会影响评价效果的准确性。,24,二、简单时间系列方案,内容：对健康教育目标人群在干预实施前与实施后连续进行多次观察，比较目标人群在干预前后的相关知识、行为及健康状况的变化情况，从而反映健康教育项目的效果。,25,简单时间系列方案,优点：可发现目标人群的健康相关行为的自然变化情况，并且有可能获得干预措施与行为变化之间的“剂量反应”关系。缺点：在干预实施前后需要进行多个观察点的测试，需要较长的时间，对观察测试的稳定性、可靠性要求很高，其结果容易受到失访、观察测试水准不一致等因素的影响。同时，因为时间跨度较大，要求观察测试的次数多，故需要较大的人力、物力支持。,26,举例：评估两个不同县的资源分配的效果,增加对照组后,三、非等同比较组方案,内容：设置对照组，并保证对照组的健康教育目标人群的主要特征与干预组目标人群的近似，通过比较干预组与对照组的目标人群在干预前后的相关知识、行为及健康状况的变化情况，从而反映健康教育项目的效果。非等同比较组方案在本质上属于类实验设计。,29,优点：通过设置对照组，在一定程度上排除了时间、客观环境、观测等混杂因素的影响，从而更准确地评价健康教育项目对目标人群相关知识、行为及健康结局的影响。缺点：在非等同比较组设计中，当对照组选择不恰当时，即对照组与干预组的主要特征不匹配，就会产生选择偏倚，从而影响健康教育项目评价的真实效果。,30,非等同比较组方案的优缺点,准确地评价项目干预活动的净效应，一般需要设立对照组。,注意：,四、复合时间系列方案,内容：融合了简单时间系列方案与非等同比较组方案，既设立对照组，又进行多时点观察与测量。,32,复合时间系列方案的优缺点,优点：同时具备了简单时间系列方案与非等同比较组方案的优点，可在一定程度上排除混杂因素的影响，也可以获得健康教育项目干预与行为改变之间的“剂量反应”关系。 缺点：复合时间系列方案由于观察时点多，延长了观察时间，不仅增加了人力物力资源的消耗，也增加了干预组与对照组的目标人群失访的可能性。,33,五、 随机对照试验方案,内容：引入随机化原则，目标人群被随机分为干预组和对照组。通过比较干预组和对照组的目标人群在健康教育项目干预实施前与实施后相关知识、行为及健康状况的变化情况，来反映健康教育项目的效果。,34,随机对照试验方案的优缺点,优点：随机化原则充分保证了干预组和对照组间的一致性，避免了选择因素的影响。同时也避免了测试或观察因素乃至回归因素的影响。缺点 ：随机对照试验方案的设计、实施较为复杂，实际操作难度较大，在实际现场操作过程中，不易实现真正的随机化原则。,35,阅读材料并讨论,该项目运用了哪些干预策略/手段？是否合理？该项目在哪些方面做了质量控制？是否足够？该项目运用了哪些评价方法？有哪些评价指标？是否合适？有哪些因素可能影响了评价效果？指出项目的优缺点。,影响评价的主要因素,时间因素及沾染,时间因素：指在项目实施期间所发生的干预 之外的事件，导致参与者发生某 些可能对结果有影响的变化。沾 染：由于设计不当，使对照组实验对象 接受了健康教育的干预，从而使干 预后实验组和对照组间的差异减少。 常常由于组间物理距离过分靠近造 成。,来自于测量者的因素,客观因素：调查人员的熟练程度 调查者的诱导、暗示控制方法：调查人员培训，统一调查内容、方式主观因素：设计、实施和评价阶段均可出现控制方法：建立更完善的外部评价体系； 加强科研道德、建立良好的学术风气； 盲法，等。,来自于实验工具的因素,实验工具的信度与效度,物理测量工具的信度与效度问题 调查表的信度与效度问题,来自于实验对象的因素,霍桑效应：人们得知自己正在被研究或 观察而表现出的行为异乎寻 常