第二十章 信度与效度分析-2

测量手段的信度和效度评价

在科学研究中采用的主要方法有调查研究(survey)和实验研究(experimentalstudy)。尤其是调查研究被广泛用于公共卫生、临床医学、社会学、教育学等领域。调查研究的重要内容之一就是制定调查表或问卷。

问卷以及调查质量反映在调查结果的真实性和可靠性两个方面，应采用一定的统计指标和方法加以定量考评。本章主要介绍信度(reliability)和效度(validity)分析方法，特别适合于各项目均为线性方式或等级方式的问卷或量表，如心理测量、教育测量、态度测量、生命质量测量等的标准化测定量表。第一节效度和信度的概念一、效度

效度即测量工具(如量表)的有效性和正确性，亦即准确度(accuracy)。意指量表测定了它打算(所要)测定的特质或功能(而不是其它特质或功能)以及测定的程度。它包含两层意思：(1)测量了什么；(2)测的程度。比如量表是否测量了生命质量，躯体功能分量表是否测量了躯体功能，其程度怎样。

效度具有特殊性和相对性，即每个测量工具只对某特殊目的有效，仅能对其特定项目作正确的度量。或者说测验的效度总是针对着要解决的问题来说的，亦即针对着打算作出的应用来建立的。

收集大量资料和证据来检验测验效度的过程称为效度验证(validation)。严格地说，任何测验在正式实施以前都应做出效度验证。由于“真实值”往往未知，所以对效度的评价常常不可能有绝对肯定的答案。尽管我们不可能证明效度，但是可以用指标来评价效度。一般来说，有四种类型的效度：标准效度、内容效度、结构效度和区分效度。内容效度是一种基于概念的评价指标，其它三种是基于经验的评价指标。(一)标准效度

标准效度(criteriavalidity)又称为效标效度，以相对准确的测量手段或指标的测量结果作为“金标准”，考察待评测量手段或指标的测量结果是否与其一致。例如，评价新的影像学诊断手段的效度，常以病理学检查结果作为“金标准”，考察两种诊断手段诊断结果的一致性。(二)内容效度内容效度(contentvalidity)评价测量指标的涵义是否能准确反映真实情况。内容效度是一个定性评价效度的指标，它关心测量手段是否能够测量我们所需要测量的抽象概念、领域和方面。对比事先对概念的定义和最终的测量工具，可以得到关于内容效度的评价。可以采用专家评价的方法了解内容效度的大小。

例如，对比生存质量的定义和用于测量的量表，可以得出该量表内容效度的好坏。缺乏内容效度的测量会歪曲对所关心概念的理解，就像利用不具有代表性的样本对总体进行推断会得到错误结论一样。(三)结构效度

结构效度(constructvalidity)又称构想效度，评价多个测量结果是否具有稳定的结构，是在评价量表效度时最常用的指标。由于在心理学及社会学领域中一些概念的定义不是十分明确，内容效度在实际应用中存在困难，而标准效度往往因为缺乏比较的标准而难于应用。在这种情况下，可以使用结构效度。(四)区分效度如果测量的结果能区分已知的不同特征的人群，就认为该测量具有区分效度(discriminantvalidity)。例如，测量结果能够区分“健康人”和“病人”，分别调查两类人群，计算量表各领域得分和总得分，再进行t检验或方差分析，比较这两类人群得分的差别是否有统计学意义，从而判断量表是否具有区分效度。结果有统计学意义提示量表有区分不同属性人群的能力，具有区分效度。二、信度

信度(reliability)又称可靠性、重复性、稳定性或精密度，用以反映相同条件下重复测定结果的一致程度。信度主要受随机因素的影响，测量结果发生的偏差往往不具有方向性。(一)重复测量法

重复测量法(test-retestmethod)要求对同一对象测定两次，在实施中有一定的困难。另外，被调查者的情况可能随时间发生变化，那么两次测量的差异就不单纯由随机误差造成；受前一次测定的影响，被调查者在接受第二次调查时会记忆前一次调查时填写的答案，因而第二次测定结果不一定能反映被调查者的真实情况。(二)分半信度法

分半信度法(split-halvesmethod)在不可能进行重复调查的情况下，常用的方法是将调查的条目分成两半，计算这两半得分的相关系数r，又称分半信度系数，以此为标准来衡量整个量表的信度。整个量表的信度系数R可以利用如下的斯皮尔曼—布朗公式求得：采用分半信度法测量信度的优点在于：

分半信度法只在一个时间点上进行；不受记忆效应的影响；在重复测量法中容易出现的误差项之间的相关在分半信度法中不易出现；从实用的角度看，分半信度法比较经济和简便。(三)Cronbach’s

系数法

分半信度系数是建立在奇、偶两半条目分数的方差相等这一假定上，但实际数据往往并不一定满足这一假定。如果两半的方差不相等，信度往往被低估。克朗巴赫(CronbachL.J)于1951年提出用克朗巴赫

系数(Cronbach’scoefficient)来测量信度：分半信度法和

系数实际上都是反映量表内部的一致性(internalconsistency)。前者指的是两半量表所测分数间的一致性，后者指的是量表中条目与条目间的一致性，这是一种同质性的测量。三、反应度

反应度(responsibilitytochange)又称敏感度,指内外环境变化时，若被测对象有所变化，则测量结果应该敏感地显示出反应。通常总是利用现有知识估计不同条件下被测对象应当具有的变化，然后考察相应的测量结果，看是否确有差异。例如，通过治疗,病人的疼痛发生了缓解，疼痛测量量表的评分应该发生相应的变化。通常从以下两方面来考察测量手段的反应度：1.配对设计的t检验2.效应尺度统计量(effectsizestatistics)第二节效度的评价方法一、定量观察的标准效度二、定性观察的标准效度表20.1二分类观察结果的四格表三、半定量观察的标准效度例20.1如前所述，某医生对200张某病X线片进行读片，诊断结果分为3类：正常、I级、II级。以另一位专家对该200张片子的诊断结果(同样分为三级)为标准，结果见表20.2。请评价该医生诊断结果的有效性？表20.2200张某病X线片的诊断结果第三节信度的评价方法例20.2