量表研制与量表资料的统计分析方法(正式).ppt

1,量表研制与量表资料 的统计分析方法 Development and Statistical Analysis of Scale,第24章,蒋红卫 Email: JHWCCC21CN.COM,2,讲课内容：,第一 概述基本概念 第二 量表的研制方法 第三 量表的考评方法 第四 量表资料的统计分析方法,3,问 题,经过长期临床实践，某医生发现疼痛的性质、发作特点、程度对胃十二肠溃疡的诊断、治疗和预后起着至关重要的作用。但是，疼痛具有主观性，他应比较客观地度量疼痛？ 多动症是一种常见的儿童疾患。目前，主要依据多动症行为量表予以诊断、评估。一旦误诊，就会产生伤害。如，误诊儿童心理生理上的长期伤害，家庭心理、经济等负担。因此，作为多动症诊断依据的行为量表，应如何科学地评价、改进现有的量表？,4,第一节 概述,5,概 述,6,量表（scale），亦称测量工具(instrument)，是由若干问题或自我评分指标组成的标准化测定表格，用于测量研究对象的某种状态、行为或态度。 在医学实践中，只能对通过测量这些状态的某些表征或通过研究对象的自我主观感受来间接地测评，量表是最常用的和可行的工具。,基本概念,7,例1 如何评价治疗疼痛的效果，即，如何测量疼痛的程度 ?,疼痛测评量表 疼痛程度 评分 面部表情 评分 皮肤湿润程度 评分 肌肉紧张程度 评分 脉搏 评分 ,8,量表指标(或问题)定量化,定量化,总目标,领域1,领域m,方面1,方面n,方面1,方面n,指标1,指标p,指标1,指标p,领域(domain 维度(dimension) 方面(facet),指标1,指标p,9,量表指标(或问题)标准化,标准化,指标规范,量表常模,计算规范,测量手段 测量过程 测量结果 问题询问 询问语气 答案选择 ,分权重 总分 ,正常参照 人群 (标准值),10,指标值获得方式: 1) 通过测量研究对象的某些特征而获得的定量数据 2) 通过询问获得研究对象对某些感觉、特征、态度和行为的定性或定量的答案。,11,量表与问卷(questionnaire)区别,生存质量（量表），医德医风调查（问卷），患者满意度？,12,无法直接测量的指标。如疼痛、失眠、疲乏、活动能力障碍、生存质量（quality of life）。 抽象的概念和态度。如，智商、情商、幸福感、满意度、社会适应能力等。 复杂的行为或神经心理状态。如，儿童多动症、认知障碍、阅读障碍、运动协调性低下、情绪抑郁、焦虑症等。,适用范围,13,优点：量表测评具有客观性强 可比性好 程序标准化 易于操作的优点。 缺点：受研究对象个体差异影响大 量表制定要求高 量表设计有缺陷，会导致结果偏倚。,量表评价的优缺点,14,第二节 量表的研制方法 1.量表的结构特点 2.量表的编制原则 3.量表的编制步骤 4.条目定量分析和筛选的统计方法 5.量表编制的注意事项,15,量表的结构特点,量表,分量表1,领域1,领域m,方面1,方面n,方面1,方面n,条目1,条目p,条目1,条目p,条目1,条目p,分量表k,测评特征涵盖的内容或层次,实际上是与测评特征有关的项目,条目实际上就是指标或问题,16,实 例,医疗服务 满意度,服务态度,医疗收费,医疗水平,挂号过程,就医过程,检查过程,取药过程,就医指引,接诊态度,诊室环境,条目1,条目p,治疗过程,17,适合性：被调查者的角度出发，设计适合他们的问题，减少答题困难、时间与精力。 有效性：问题必须围绕研究课题和研究假设进行设计。要有一个总体框架，领域作用清楚，指标（问题）明确。 可行性：必须符合被调查者回答问题的能力和意愿。问题简洁，语言通俗，内容长度适中，答题时间合适。,三大编制原则,18,编制步骤,19,任务：明确量表要评价的目标，包括目标的概念定义、范畴、内容等。 工作：设立研究工作组，包括专家，研究的对象。设立议题小组(nominal group)和选题小组(focus group又称核心小组)。复习文献著作。,1.明确目标（假设与概念）的范畴和内容,20,任务：定义测量概念及分解，由核心小组给出所测定概念的可操作化定义及构成，如满意度指什么，包含哪些领域和方面，每项领域和方面的含义与内涵等。 工作：核心小组充分讨论，并请专家组评议完成。,2.探索量表的维度（内涵）和方面,21,任务：整理汇总量表条目，形成条目池(item pool)。 工作：核心小组向议题小组成员解释所测概念、领域和方面的定义和内容，然后由议题小组成员分别独立地根据其个人的理解和经验写出与以上概念有关的条目建议。,3. 建立条目池和筛选条目,22,任务：确定条目的形成及答案选项。 线性形式。 等级形式。程度副词的选择一般采用反应尺度(response scale)分析确定，如频度副词：总是、经常、有时、较少、偶尔、罕见、从不等。 工作：请一批有代表性的受试者，独立地在标准化线段上标记程度副词，并选出合适副词。,4. 设计可操作性条目,23,表24-1 关于重要性量词的反应尺度分析,24,任务：对条目进行测评和筛选。 工作：定性评价和定量评价。定性评价常用专家咨询法和Delphi法。 专家咨询一般采用座谈会形式。 Delphi法常采用多轮方式，向专家发信，由专家单独对各条目重要性进行评价。 确定条目重要性、必要性和可行性，修改条目，定量权重等。,5.量表的定性评价,25,任务：修订完善量表，形成最终量表。 工作：进行预调查和量表定量考评。 抽取样本量较小的样本，对量表予以预调查。 从量表的可理解性、语言的流畅性、信度、效度和反应度等方面，予以定量评价。,6.量表的预调查和定量评价,26,任务：建立量表各条目的权重值，各领域的权重值和总评分的计算公式。以及正常人群的标准值范围，好、中、差等不同等级人群的评分值范围等，供应用时参考。即，建立量表的常模。 工作：进行较大样本量的正常测试对象的抽样调查。,7.建立常模,27,意义重要 敏感性高 独立性强 代表性好 确定性高 可操作性好 可接受性强,条目确定标准,28,条目定量分析和筛选的统计方法,29,例2 在206例高血压病例与正常人的生存质量预调查中，对生理领域的3个方面（即疼痛、精力和睡眠）12个条目的质量进行分析，结果见表2。,30,表2 量表条目的筛选分析结果,* 相关系数假设检验P0.05, * P0.01; 逐步回归和逐步判别筛选入模型的变量。,疼痛与不适,睡眠与休息,精力与疲倦,31,1.条目数量 量表条目数量与完成时间相协调。 根据经验表明，个人访谈的时间在1530分钟左右比较合适。 根据这一限制，量表的条目应该在3050项左右。 如果条目数超出此范围，需要采取相应的措施保证调查质量。,量表编制的注意事项,32,2.问题措词 明确具体 避免一个条目包含多个问题 避免提引导性、断定性的问题 避免提笼统、抽象的问题。 3.测评内容 客观指标。提问要具体，客观和数量化。 主观指标。提问要更注重被访者的感受和态度，定量也更模糊。,33,第三节 量表的考评方法 1. 量表的定性考评 2. 量表的信度分析 3. 量表的效度分析 4. 量表的反应度分析,34,图示,圆形靶 人形靶 （体育） （军事）,35,定性考评形式： 通过专家座谈会或专家咨询的方式，对量表及各条目进行定性评价 目的： 完善量表的结构 修饰条目的措词 筛选条目 确定各条目的权重等。,定性考评,36,例3 某医学成果评价量表的研制。 专家组：35位专家，其中临床医学专家19人，基础医学专家9人，科研管理专家7人。 方法：Delphi法进行量表初稿的评价，调查结果见表3。 结果：确定了一级条目和二级条目的重要性和权重。对部分条目进行了修改，删除部分重要性得分低的条目，并增加个别条目。,37,表3 医学科技成果评价量表专家咨询结果,38,信度(reliability)，主要评价量表的精确性、稳定性和一致性，即测量过程中随机误差造成的测定值的变异程度的大小。 常用的信度指标有： （1）重测信度(test-retest reliability) 相同量表前后两次测量同一批被访者。 计算前后两次得分的简单相关系数r，一般要求达到0.7以上。,信度分析,39,（2）分半信度(split-half reliability) 相同量表的调查项目分成两半，如分前后两个部分、按提问项目号的奇数和偶数分两个部分。 计算两个部分得分的简单相关系数r，分半信度的Spearman-Brown公式为：,40,（3）克朗巴赫系数(Cronbachs alpha coefficient)： 评价多个调查项目和谐水平的克朗巴赫系数计算公式为 式中k为调查项目数，Si2为第i个调查项目得分的方差， ST2为量表总得分的方差。 克朗巴赫系数应达到0.7以上。,41,例4 某医生用WHOQOL-100量表调查了50例正常人的生存质量，一周后重复调查一次，结果见表4。表中F1-F24是第1次调查24个方面的得分，T1是第1次调查的总分，T2是第2次调查的总分。Q1是第1次调查，被访者对自己生存质量的总评分，满分是100分。,42,43,该资料计算的有关信度指标 重测信度：r=0.82 前后差值检验：前后差值的均数为d=3.87，t=1.544，P=0.129 克朗巴赫系数：,44,效度(validity)，主要评价量表的准确度、有效性和正确性，即测定值与目标真实值的偏差大小。 效度反映某测量工具是否有效地测定到了它所打算测定的内容，即实际测定结果与预想结果的符合程度。 由于无法确定目标真实值，因此效度的评价较为复杂，常常需要与外部标准作比较。,效度分析,45,（1）内容效度(content validity) 量表的各条目是否测定其希望测量的内容，即测定对象对问题的理解和回答是否与条目设计者希望询问的内容一致。 内容效度一般通过专家评议打分。 （2）标准关联效度(criterion-related validity) 又称标准效度，是以一个公认有效的量表作为标准，检验新量表与标准量表测定结果的相关性。 以两种量表测定得分的相关系数表示标准效度。,常用的效度指标,46,（3）结构效度(contract validity) 又称构想效度，说明量表的结构是否与制表的理论设想相符，测量结果的各内在成分是否与设计者打算测量的领域一致。 结构效度主要用证实性因子分析（confirmatory factor analysis, CFA）评价。 内容效度与结构效度也有相关性，因此评价结构效度的量化指标也间接反映了内容效度。,47,分析指标：拟合优度，评价实测指标性质与设计目标是否吻合。 如果因子分析提取的公因子与量表设计时确定的各领域有密切的逻辑关系，则说明量表有较好的结构效度。,证实性因子分析,条目,领域,48,例4（续） 被测者自评总分与量表总分的相关系数为r=0.487，标准关联效度不佳。进一步分析发现被测者自评分主要与自身感受、工作能力、社会支持医疗保障和精神支柱有关。由于对象是健康人，因此其对生存质量的理解与病人有不同，造成量表的许多内容没反映在其自评分中。,49,WHOQOL100量表有6个领域共24个方面，按照量表设计的结构做证实性因子分析。 方面1、2、3反映第1因子F1 方面4、5、6、7、8反映第2因子F2 方面9、10、11、12反映第3因子F3 方面13、14、15反映第4因子F4 方面16、17、18、19、20、21、22、23反映第5因子F5 方面24反映第6因子F6,50,基于例4的样本数据对假设的模型进行拟合。考察模型对数据的总的拟合程度的指标主要有 2统计量； 拟合优度指数(goodness of fit index,GFI)。 例4的计算结果为GFI=0.6073，2=1844.28，P0.01。 该结果说明实际量表测量结果与设计结构拟合效果仍不够理想，可能与样本较小有关，也可能设计的模型结构不合理，需要修改模型设计，再进一步做证实性因子分析。,51,医学量表常用于比较不同治疗措施的疗效，因此，量表必须反映出对象细微的疗效差别，即具有一定的反应度(responsibility)。 反应度指量表能测出不同对象、不同时间目标特征变化的能力，即反映对象特征值变化的敏感度。 常用的统计量是效应尺度（effect size）,反应度分析,52,例5 某医院心理科医生研制神经症量表评价心理障碍病人神经症状改善情况，对72例心理科住院病人（焦虑症30 例,强迫症20 例,癔症12 例,恐怖症10 例）分别在治疗前后用该量表进行评价， 结果治疗前病人的平均得分25.74，标准差5.69，治疗后平均得分31.18，效应尺度为(31.18-25.74)/5.69=0.956。经配对t检验，t=7.14，P0.01，差异有统计学意义，说明量表能区分治疗前后症状的改善。,53,第四节 量表资料的统计分析方法,54,资料基本特点： 多处理因素分组 反复多次测评，比较不同时期量表测评特征的变化（重复测量） 多维度的 缺失值较多 量表评价涉及相当复杂的统计分析方法。如，多处理组间重复测量分析，缺失值插补，等。,量表评价资料的特点,55,1. 描述性统计 2. 推断性统计,量表资料的统计分析概述,56,探索资料的初步信息和分布特征，为推断性统计提供相应的线索与证据。 按分组、按时点计算各条目、方面、领域和合计等指标的统计量，常用统计指标有：构成比、均数和标准差等。 采用统计图，如散点图、线图和直条图等描述量表测定值的分布，时间变化趋势和主要特征比较。,描述性统计,57,按分析方向可以分成： 横向资料比较。比较同一时点不同处理组的量表特性。包括单变量分析、多变量分析、综合评价法。 纵向资料比较。比较不同时间多次重复测量的量表特性。需要做纵向资料比较的统计分析。,推断性统计,58,单变量分析：比较两组或多组量表总分和各领域或方面的得分。常用方法有：t检验、方差分析和秩和检验等。但量表的多维性，需要做多个假设检验，可能增加犯假阳性错误的概率。常对检验水准作Bonferroni校正：a=/k。 多变量分析：评价量表时，既要分别比较各领域的得分，又需要做出总的结论。,横向资料比较,59,综合评价法：量表属于多指标的综合状况评价。常用综合评价法有：模糊判别法、OBrien综合法、秩和比法、TOPSIS法等。其详细介绍，可以参考本书的第二十三章。,60,主要目的： 对同一组人群不同时点的测量，说明量表测定值在时间上的变化规律; 对两组或多组人群不同时点的比较，说明处理对量表产生影响的变化规律; 将以上二者相结合，综合分析量表特性。 常用方法：Hotelling T2，多元方差分析，重复测量资料的方差分析，等。,纵向资料比较,61,例6 续例3，某研究者用例3的量表回顾性评价2002年某省医学科研成果申报项目共38项，其中19项为落选项目，19项获得二等以上奖励。各项项目的量表评价一级指标得分和和总得分见表5。表中一级指标分别是研究投入(T1)、学术水平(T2)、科学界公认(T3)、成果效益(T4)和知识产权(T5)，TT是量表总分。,62,表5 获奖项目与落选项目的量表评价各领域得分,63,多变量方差分析，两组间总的差异有统计学意义，F=14.93，P0.001。其中，领域1、领域2、领域3和领域4，有统计学意义。结果说明，目前医学科研成果获奖主要体现在前面4个领域，在知识产权方面差别不大。,表6 获奖项目与落选项目量表评价的平均得分与标准差,64,例7 目的：在评价两种化疗方案疗效的临床研究中，应用生存质量作为疗效评价指标。 分组：A组，联合方案低剂量化疗，10例 B组，单药大剂量化疗，10例。 指标：分别在化疗后1个月、3个月和1年进行生存质量测定。 量表特征：有5个条目，每个条目的答案最低得分为1分，最高为5分，即总分最低5分，满分为25分。 两组调查结果见表7。,65,表7 肿瘤病人经两种化疗方案治疗后的生存质量测定值,66,轮廓分析方法。 平行性检验：F=2.88，P0.05差异无统计学意义，可以认为两曲线平行。 重合性检验：(1-2)=e，e=(1,1,1)是p维取值为1的向量，是两组在各时点均值之差的期望值，的点估计为3.47，的95%可信区间为3.473.23=(0.24，6.70)，95%可信区间没有包含零，说明差异有统计学意义，联合方案病例的生存质量较好。,67,当医学模式从生理学模式向生理、心理和社会综合模型转变后，量表测评显得日益重要，并且已经改变了一些传统的医学研究指标。 （1）心理学和精神病学应用 量表测评在医学最早应用于心理学和精神病学中，包括心理和精神疾患的诊断和疗效评价。例如应用心理测评量表评价运动员、军人、飞行员等从事高风险职业人员的心理素质。许多心理和精神疾病的诊断主要通过量表测评，在现代社会中，心理精神疾病已经成为常见病、多发病，如忧郁症、情绪抑郁、自闭症等。这些疾病没有明显的生物医学体征和实验室检查指标，而量表测评则是这些疾病诊断的