医学统计学-2、为35信度与效度

2022/10/271第35章数据处理的其它统计方法陈炳为2022/10/27公卫学院陈炳为2第一节效度(validity)与信度(reliability)评价学习要点1.信度与效度分析的意义；2.信度与效度的概念；3.常用的信度、效度指标及其计算方法与结果解释；4.影响信度和效度的因素。2022/10/27公卫学院陈炳为3

在科学研究中采用的主要方法有调查研究(survey)和实验研究(experimentalstudy)

调查研究被广泛用于公共卫生、临床医学、社会学、教育学等领域。调查研究的重要内容之一就是制定调查表或问卷。

问卷以及调查质量反映在调查结果的真实性和可靠性两个方面，应采用一定的统计指标和方法加以定量考评。资料的分类软指标（无法精确测量）硬指标（精确测量）2022/10/27公卫学院陈炳为42022/10/27公卫学院陈炳为5第一节信度及效度评价方法

1.1信度(validity)概念及其评价

1.1.1信度的(validity)概念：指量表测量某种特质(属性)或概念的结果的可靠性(dependability)、稳定性(stability)和一致性(consistency)。主要评价不同测量者、不同测量时间、不同测量工具对数据可靠性的影响。在经典测量理论（CTT）中，Spearman分数模型起着重要的作用。

2022/10/27公卫学院陈炳为6

任何测量所得的分数(X)都是由反映对象稳定特质的真分数(T)和由随机因素造成的误差分数(e)构成，即：

实测分数的方差可分解为真实分数的方差与误差分数的方差之和

信度可定义为真实方差与实测方差的比值，也就是总方差中真实方差所占的比例：

2022/10/27公卫学院陈炳为71.1.2信度(validity)类型：

(1)重测信度(test-retest)：在一定时间间隔(所测定的特质或概念尚未发生改变)中运用同一量表作重复测量所得的信度系数，也称为稳定系数。重测信度一般用两次测定间的相关系数来衡量。可采用积矩相关系数、等级相关系数、列联系数等来表示。还可用重复测量误差。

2022/10/27公卫学院陈炳为8(2)复本信度(equivalent-formreliability)也称替代信度(alternative-formreliability)或平行信度(parallel-formreliability)。以两份等效量表分别做出测量来评价信度系数。即使用相同难度、内容和形式而具体条目不同的两份量表(互为复本)来评价信度。两量表测定结果的相关系数即为复本信度系数。弥补了重测信度采用完全相同的测量所带来的一些弊端。对于量表的设计要求较高，实际中很难得到两份等价的量表，使其应用大受限制。2022/10/27公卫学院陈炳为9(3)分半信度(split-halfreliability)重测信度或复本信度对每个个体进行两次测定且要求受测者参加两次内容相似的测量也比较困难。为此，人们更愿意采用一次性测定的评价方法，分半信度(split-halfreliability)。分半信度是在一次测量后将条目分为相等的两部分，分别计算两部分的得分并以其相关系数作为信度指标。这实际上考察的是指标的一致性，但因测量同一特征的指标间应关系密切，故具有一致性则说明结果可信。2022/10/27公卫学院陈炳为10k个条目的量表分半方法可有k!/[(k/2)!(k/2)!]种采用那种分法呢？通常采用奇数条目为一组，偶数条目为一组的分法。两部分直接算出的相关系数()只表明一半条目的信度，需用Spearman-Brown公式来确定整个量表的信度(r)：2022/10/27公卫学院陈炳为11注意：评价分半信度时，需要奇偶项的条目在难度、内容、得分变异等方面相似。否则可用下面的公式来计算：分别为第一，二部分条目得分总和的方差.为全部条目得分之和的方差2022/10/27公卫学院陈炳为12(4)内部一致性信度(internalconsistentreliability)

目前比较流行的信度评价方法，是分半信度的推广。它无需将条目分为两个部分，而是从量表的构思层次入手，以内部结构的一致性程度对信度作出估计。内部一致性信度主要有Kuder-Richardson公式（KR）和克朗巴赫系数(Cronbach'salpha)2022/10/27公卫学院陈炳为13

KR20为克朗巴赫系数的的特殊情况，仅适用于两分类条目。克朗巴赫系数为：2022/10/27公卫学院陈炳为14(5)评价者信度(inter-raterreliability)，也称评分者信度(inter-scorerreliability)。主要有Kappa系数、Kendall和谐系数W、组内相关系数(intra-classcorrelationcoefficient,ICC)。2022/10/27公卫学院陈炳为15例33-5（1）计算第一次与第二次测量的误差：2022/10/27公卫学院陈炳为16（2）计算简单相关系数r>0.75精确性好0.4=<r<=0.75精确性较好R<0.4精确性较差2022/10/27公卫学院陈炳为17（3）计算组内相关系数(intra-classcorrelationcoefficient,ICC)方差随机效应模型(variancecomponents)：

2022/10/27公卫学院陈炳为18测量结果的误差eij被分解成两个方差分量(variancecomponent)：

2022/10/27公卫学院陈炳为19表33-11两个误差来源的方差变异分析表2022/10/27公卫学院陈炳为20测量误差约占总误差的34%，说明医生测量血压的精确信度较差。2022/10/27公卫学院陈炳为21ModelChoices2022/10/27公卫学院陈炳为22TypeChoices.2022/10/27公卫学院陈炳为232022/10/27公卫学院陈炳为241.2效度(validity)1.2.1定义

效度即测量工具(如量表)的有效性(validity)和正确性，亦即准确度(accuracy)。意指量表在多大程度上反映了事物的客观真实性。

含两层意思：(1)测量了什么；(2)测的程度。如:评价某人的健康状况:可根据其本人的主讯；统计三个月去医院的次数；进行临床检查。

2022/10/27公卫学院陈炳为25（1）表面效度(facevalidity)

指测量方法或观测结果所要说明的问题符合专家和公众的共识。如：专业技术职称说明医生的学术水平。抢救次数反映患者的病情危险程度。2022/10/27公卫学院陈炳为26（2）内容效度(contentvalidity)内容效度也称为吻合效度或一致性效度(agreevalidity)，在多大程度上表示了所测特质的范畴。指一种测量方法或测量指标得到多少专家的认同。通常请一批专家进行评判，说明效度大小。如：测量睡眠情况：仪器监控睡眠时间(100%)，受试者主诉睡眠时间(92%)；受试者对睡眠好坏的评价(80%)；受试者亲属报告的睡眠时间(60%)。2022/10/27公卫学院陈炳为27(3)标准关联效度(criterionvalidity)。是用一个预选测量指标(X)和公认效度高的指标(效标，Y)同时测量同一对象，计算X与Y的相关系数r。2022/10/27公卫学院陈炳为28（4）预测效度(predictivevalidity)

指测量结果是否与后来发生的事件相吻合。例：采用问卷评分的方法测量口腔保健知识的了解程度，如评分结果与后来口腔疾病的严重程度呈现负相关，则说明问卷能反映口腔保健知识的水平。2022/10/27公卫学院陈炳为29（5）结构效度(constructvalidity)客观事物的多指标测量是否具有专业学上的理想效度。

2022/10/27公卫学院陈炳为30四效度评价常用统计方法１定量资料的平行效度例33-1拟在一项调查采用计算软件判定儿童骨龄。为检其效度，以医生人工判定的结果为金标准，测量10名男童的骨龄，测量结果如下：2022/10/27公卫学院陈炳为31计算相关系数与回归方程2022/10/27公卫学院陈炳为32(3)误差估计不拒绝,并不意味Y=X一定正确。能否代替医生判定，取决于误差0±2s=-0.74---+0.74(岁)即认为利用回归方程与医生判定的平均误差最大可能达0.74岁2022/10/27公卫学院陈炳为332定性观测资料的平行效度例33-2评价一种快速检验大肠菌群的新方法“纸片法”的准确性，以“发酵法”作为金标准，检测指标为检测标本的大肠菌群是否阳性。2022/10/27公卫学院陈炳为34步骤计算两种检测方法检测结果的一致性:(2)在两种检测方法检测结果无关联的假定下计算一致率

2022/10/27公卫学院陈炳为35(3)计算Kappa值Kappa>0.75：一致性好；0.4≤Kappa≤0.75：一致性较好；Kappa<0.4：一致性差（≤0poor;≤0.2slight;≤0.4fair;≤0.6moderate;≤0.8substantial;>0.8almostperfect）2022/10/27公卫学院陈炳为36(5)两种检验方法结果一致性的假设检验：

H0:两种检测方法结果无关联

H1:两种检测方法结果有关联按0.05的检验水准，认为两种方法有关联，具有一致性。2022/10/27公卫学院陈炳为373等级资料的平行效度例33-3评价“滤纸片法”的准确性，以“血清法”作为金标准，检测指标为检测标本的抗体阳性反应等级，结果见33-4。试进行效度评价。2022/10/27公卫学院陈炳为38步骤计算两种检测方法检测结果的一致性:(2)在两种检测方法检测结果无关联的假定下计算一致率

2022/10/27公卫学院陈炳为39(3)计算Kappa值Kappa>0.75：一致性好；2022/10/27公卫学院陈炳为40(5)两种检验方法结果一致性的假设检验：

H0:两种检测方法结果无关联

H1:两种检测方法结果有关联V=(4-1)*(4-1)=9按0.05的检验水准，认为两种方法有关联，具有一致性。2022/10/27公卫学院陈炳为412022/10/27公卫学院陈炳为424结构效度表33-4对50名硕士生进行健康状况抽样调查，其中问卷设计了如下7个问题：2022/10/27公卫学院陈炳为432022/10/27公卫学院陈炳为442022/10/27公卫学院陈炳为45第二节统计结果在论文中的正确表达调查《NewEnglandJ.Medicine》《BritishMedicalJ.》《Lacet》，有70%应用了统计学。医学论文结构摘要、引文、材料与方法、结果、讨论五个部分2022/10/27公卫学院陈炳为461摘要中要报告处理组与对照组的均数、标准差、P值;均数之差、95％CI、OR值等。2材料与方法中要注意所使用的统计软件、统计方法等。如是调查，通常要说明数据的可靠性（如问卷的回收率等）3结果中要对