信度效度评价

1、信度效度评价信度评价信度评价问卷的信度是指问卷的稳定性和可靠性，主要有三种信度：问卷的信度是指问卷的稳定性和可靠性，主要有三种信度：1 1、重复信度、重复信度(testretest reliability)(testretest reliability)，2 2、内部信度、内部信度(internal reliability)(internal reliability)3 3、观察者之间的信度、观察者之间的信度(inter-rater reliability)(inter-rater reliability)。国外用问卷进行的研究，通常对问卷的重复信度和内部信国外用问卷进行的研究，通常对问卷的重

2、复信度和内部信度分析较多。我们着重说明前两者。度分析较多。我们着重说明前两者。一、重复信度1 1、理论知识：、理论知识：用同一问卷对相同对象进行两次测量，如果两次用同一问卷对相同对象进行两次测量，如果两次测量结果的一致性很好。则问卷的重复信度好。测量结果的一致性很好。则问卷的重复信度好。两次测量的时间间隔视具体情况而定，一般为两次测量的时间间隔视具体情况而定，一般为2 24 4周，样本量通常为周，样本量通常为20203030人。人。当评估的变量是分类变量用当评估的变量是分类变量用KappaKappa系数来评估重系数来评估重复信度一般来说，复信度一般来说，KappaKappa系数大于系数大于0

3、07575表示重表示重复信度很好，在复信度很好，在0 04 40 07575表示较好，而低于表示较好，而低于0 04 4表示较差。表示较差。如果是连续变量或等级变量，则用内部相关系数如果是连续变量或等级变量，则用内部相关系数(icc)(icc)来评价，一般来说，来评价，一般来说，ICCICC大于大于0 07575表示极好，表示极好，ICCICC在在0 06 6到到0 07575表示较好。表示较好。分析：分析：（1 1）本问卷数据为等级数据，故选用）本问卷数据为等级数据，故选用ICCICC内部相关系数来内部相关系数来评价，在评价，在SASSAS中调用中调用proc corrproc corr过程

4、。过程。（2 2）因为在进行相关分析前，需检验数据的正态性，如）因为在进行相关分析前，需检验数据的正态性，如果数据满足正态性，用果数据满足正态性，用 Pearson Pearson 积距积距 相相 关关 系系 数；数； 否则用否则用 Spearman Spearman 等级相关等级相关 系数。本问卷数据为等级资料，故系数。本问卷数据为等级资料，故选用选用Spearman Spearman 等级相关等级相关 系数。系数。2 2、SASSAS实现实现（1 1）先对数据进行处理，保存为）先对数据进行处理，保存为csvcsv格式格式（2 2）data a;data a;infile e:aa.csv

5、dsd firstobs=2; /infile e:aa.csv dsd firstobs=2; /* *从第二行开始导入数据从第二行开始导入数据* */ /input x1-x50 rx1-rx50; /input x1-x50 rx1-rx50; /* *第一次测量变量与第二次测量变量第一次测量变量与第二次测量变量* */ /proc print;proc print;run;run;%macro %macro corr1corr1; /; /* *定义一个叫定义一个叫corr1corr1的宏，进行相关分析的宏，进行相关分析* */ /%do i=1 %to 50;%do i=1 %to

6、50; / /* *开始循环语句开始循环语句* */ /ods output spearmancorr=r_spr&i;ods output spearmancorr=r_spr&i;run;run;proc corr data=a spearman; /proc corr data=a spearman; /* *使用使用spearmanspearman相关系数相关系数* */ /var x&i rx&i;var x&i rx&i;run;run;%end;%end;%mend corr1;%mend corr1;% %corr1corr1; ;3、结果解释P0.0001，我们有理由认为，我

7、们有理由认为x1与与rx1相关，相关系数相关，相关系数0.451340 0. .8 8表示内部一致性极好，表示内部一致性极好， 在在0 0. .6 6到到0 0. .8 8表示较好表示较好, ,而低于而低于0 0. .6 6表示内部一致性较差表示内部一致性较差。分析：在分析：在SASSAS软件中，软件中， 系数调用系数调用PROC CORRPROC CORR过程计算，只要在选择项过程计算，只要在选择项加上参数加上参数alphaalpha即可。即可。步骤如下：首先计算反映某一分量表所有条目的步骤如下：首先计算反映某一分量表所有条目的 系数，然后逐一去掉某一条目后再计算系数，然后逐一去掉某一条目后

8、再计算 系数，如果系数，如果 系数系数值因去掉该条目而增大则考虑把该条目从分量表删除。值因去掉该条目而增大则考虑把该条目从分量表删除。2 2、SASSAS实现实现（1 1）先对数据进行处理，保存为）先对数据进行处理，保存为csvcsv格式格式（2 2）data b;data b;infile e:TCM.csv dsd firstobs=2;infile e:TCM.csv dsd firstobs=2;input A1-A10 B1-B4 C1-C2 D1-D5 E1-E4 F1-F2 G1-G3 input A1-A10 B1-B4 C1-C2 D1-D5 E1-E4 F1-F2 G1-G

9、3 H1-H5 I1 J1-J32 K1-K7 L1-L6 M1-M5H1-H5 I1 J1-J32 K1-K7 L1-L6 M1-M5N1-N3 O1-O3 P1-P3 Q1-Q3 R1-R3 S1-S5 T1-T5 U1-U5 N1-N3 O1-O3 P1-P3 Q1-Q3 R1-R3 S1-S5 T1-T5 U1-U5 V1-V4 W1-W5 X1-X4 Y1-Y4 ;V1-V4 W1-W5 X1-X4 Y1-Y4 ;proc print;proc print;run;run;proc corr data=b alpha ; /proc corr data=b alpha ; /* *对

10、第一个分量表进行分析对第一个分量表进行分析* */ /var A1-A10;var A1-A10;run;run;proc corr data=b alpha;proc corr data=b alpha;var B1-B4; /var B1-B4; /* *同上一个分量表的操作同上一个分量表的操作* */ /run;run;proc corr data=b alpha;proc corr data=b alpha;var C1-C2;var C1-C2;run;run;（下面的分量表同理）（下面的分量表同理） 生理机能条目中A1，A9，A10应该删除，即是问卷中A301，A309，A310应

11、该删除。生理职能的所有条目都应该保留，即问卷中A401，A402，A403，A404都保留。躯体疼痛的所有条目都应该保留，即A701，A801应该保留。一般健康状况的条目中D1应该删除，即问卷中A101应该删除，其余保留。精力的条目中E1应该删除，即A901应该删除，其余保留。社会功能的所有条目都应该保留情感职能的所有条目应该保留精神健康的条目中，H5应该删除，即A908应该删除。躯体维度的条目中，J4，J5和J6应该删除，即B104，B105和B106应该删除，其余保留。心理维度的条目中，K1应该删除，即B301应该删除，其余保留。自然维度的条目中，L1应该删除，即B401应该删除，其余保留

12、。社会维度的所有条目都应该保留。精气神的条目中，N3应该删除，即B301应该删除，其余保留。睡眠的条目中，O3应该删除，即B105应该删除，其余保留。饮食的条目中，P1应该删除，即B106应该删除，其余保留。大便的条目中，Q1应该删除，即B109应该删除，其余保留。小便的条目中，R3应该删除，即B1014应该删除，其余保留。气虚的条目中，S1应该删除，即B102应该删除，其余保留。阳虚的条目中，T1应该删除，即B1010应该删除，其余保留。阴虚的条目中，U4应该删除，即B403应该删除，其余保留。 湿热的所有条目都保留痰湿的条目中，W1和W2应该删除，即B104和B105应该删除，其余保留。血

13、瘀的条目中，X4应该删除，即B201应该删除，其余保留。气郁的条目中，Y3应该删除，即B305应该删除，其余保留。效度评价效度评价问卷的效度是指问卷测量的正确性和有效性，主要有表面问卷的效度是指问卷测量的正确性和有效性，主要有表面效度、内容效度、准则效度和结构效度等效度、内容效度、准则效度和结构效度等（1 1）表面效度）表面效度表面效度是指条目书面表达的意思是否为真正要测定的内表面效度是指条目书面表达的意思是否为真正要测定的内容，这是一个主观指标，常由专家评阅确定。有时为了避容，这是一个主观指标，常由专家评阅确定。有时为了避免应答者回答的免应答者回答的“社会期望偏倚社会期望偏倚”，获得真正的信

14、息，常，获得真正的信息，常需要掩饰条目的真正目的，这时就要牺牲表面效度而提高需要掩饰条目的真正目的，这时就要牺牲表面效度而提高其他效度。其他效度。（2 2）内容效度）内容效度内容效度是指组成量表的条目是否包括了想要测量的内容的各个方面，内容效度是指组成量表的条目是否包括了想要测量的内容的各个方面，如果包括了各个方面，则内容效度较好。与表面效度一样，内容效度如果包括了各个方面，则内容效度较好。与表面效度一样，内容效度也是一个主观指标。也是一个主观指标。（3 3）准则效度）准则效度准则效度是指问卷测量结果与准则效度是指问卷测量结果与“金标准金标准”测量结果的一致性程度。分测量结果的一致性程度。分析

15、准则效度的析准则效度的通常做法是对问卷测量结果与通常做法是对问卷测量结果与“金标准金标准”测量结果进行测量结果进行相关分析相关分析, ,，相关系数越大证明准则效度越好，一般认为相关系数在，相关系数越大证明准则效度越好，一般认为相关系数在0.40.80.40.8比较理想。比较理想。（4 4）结构效度是指问卷是否含有理论上期望的特征，包括以下几个）结构效度是指问卷是否含有理论上期望的特征，包括以下几个方面：问卷测量结果与理论上测量结果的平行程度；问卷评价的方面：问卷测量结果与理论上测量结果的平行程度；问卷评价的现象与其他现象的独立性；问卷结果是否符合该问卷要评价现象的现象与其他现象的独立性；问卷结

16、果是否符合该问卷要评价现象的有关理论预测。有关理论预测。 评价问卷结构效度常用的方法是因子分析，因子分析的目的是评价问卷结构效度常用的方法是因子分析，因子分析的目的是想了解属于某二级量表的条目是否如预测那样集中在一个因子里。做想了解属于某二级量表的条目是否如预测那样集中在一个因子里。做因子分析时，预测因子的数目需事先确定，然后再与因子分析的因子因子分析时，预测因子的数目需事先确定，然后再与因子分析的因子数目比较，一般而言，如量表的公因子能解释数目比较，一般而言，如量表的公因子能解释50%50%以上的变异，而且以上的变异，而且每个条目在相应的因子上有足够强度的负荷（大于等于每个条目在相应的因子上

17、有足够强度的负荷（大于等于0.40.4），则认），则认为该量表具有较好的结构效度。为该量表具有较好的结构效度。结构效度构编程如下：data b;infile e:TCM.csv dsd firstobs=2;input A1-A10 B1-B4 C1-C2 D1-D5 E1-E4 F1-F2 G1-G3 H1-H5 I1 J1-J32 K1-K7 L1-L6 M1-M5 N1-N3 O1-O3 P1-P3 Q1-Q3 R1-R3 S1-S5 T1-T5 U1-U5 V1-V4 W1-W5 X1-X4 Y1-Y4;proc print;run;proc factor M=PRIN PRIORS=

18、ONE R=V SCORE;var A1-A10;run;编程编程proc factor M=PRIN PRIORS=ONE R=V SCOREproc factor M=PRIN PRIORS=ONE R=V SCORE的解释的解释分析：分析：1 1、提取初始公因子的主要方法：即在选择项、提取初始公因子的主要方法：即在选择项METHOD=METHOD=或或M=M=后填后填1 1个选择项个选择项PRINCIPALPRINCIPAL：主成分分析方法：主成分分析方法PRINITPRINIT：迭代主因子分析：迭代主因子分析2 2、始各变量的公因子方差、始各变量的公因子方差h2h2赋初值，即在赋初值，

19、即在PRIORS=PRIORS=后填后填1 1个选择项，中括号内为个选择项，中括号内为缩写形式，通常在用主成分分析方法时，才让缩写形式，通常在用主成分分析方法时，才让PRIORS=ONEPRIORS=ONE。3 3、规定因子轴的旋转方法：即在选择项、规定因子轴的旋转方法：即在选择项POTATE=POTATE=或或R=R=后填后填1 1个选择项：个选择项：VARIMAXVVARIMAXV：最大方差旋转法。：最大方差旋转法。4 4、SCORESCORE表示要求算出因子得分模型中的系数。表示要求算出因子得分模型中的系数。结果如下：1、前两个特征值、前两个特征值3.58819419,1.0477353

20、2都大于都大于1，将根据这两个较大的特征值提取，将根据这两个较大的特征值提取 两个相应的初始公因子。两个相应的初始公因子。2、由上累积贡献率可知，前、由上累积贡献率可知，前5个因子已经可以解释个因子已经可以解释86.91%的方差。的方差。结论：结论：经最大方差旋转法旋转后的前经最大方差旋转法旋转后的前5个的个的因子模型为：因子模型为：x1=0.0295F1+0.74900F2x2=0.75428F1+0.35016F2x3=0.82331F1+0.13716F2x4=0.13099F1+0.63639F2x5=0.73143F1+0.05453F2 从旋转后的因子模型来看，第一公因子从旋转后的

21、因子模型来看，第一公因子支配着支配着x2,x3,x5,第二公因子支配着第二公因子支配着x1,x4。第一公因子反映，可称为，。第一公因子反映，可称为，第二公因子反映，可称为第二公因子反映，可称为 各公因子包含的因子载荷较大的条目有各公因子包含的因子载荷较大的条目有足够的强度的负荷（大于足够的强度的负荷（大于0.4），说明该），说明该调查表有较好的结构效度。调查表有较好的结构效度。问卷的内容效度检验问卷的内容效度检验 :内容效度是指问卷各条目是否测定其内容效度是指问卷各条目是否测定其希望测量的内容。希望测量的内容。内容效度可以用反映同一内容范围的两个不同测验，对同内容效度可以用反映同一内容范围的两

22、个不同测验，对同一组被试施测结果的相关系数来表示。若相关高，表明内一组被试施测结果的相关系数来表示。若相关高，表明内容效度高，若相关低，表明内容效度低。容效度高，若相关低，表明内容效度低。因此，我们从以下三个方面去评价内容效度。因此，我们从以下三个方面去评价内容效度。一、从躯体感受、心理状态、自然的适应能力、社会的适一、从躯体感受、心理状态、自然的适应能力、社会的适应能力等四个维度进行评价应能力等四个维度进行评价二、从精气神、睡眠、饮食、二便、气血津液功能状态的二、从精气神、睡眠、饮食、二便、气血津液功能状态的维度进行评价维度进行评价三、从三、从阴阳气血津液功能状态的阴阳气血津液功能状态的维度

23、去维度去评价评价。因为各维度下又有不同数量的条目，因此我们对每个维度因为各维度下又有不同数量的条目，因此我们对每个维度每个观测者所有条目算出总分，并按照事先确定的评定方每个观测者所有条目算出总分，并按照事先确定的评定方法划分不同的等级，用法划分不同的等级，用spearman秩相关来描述各个维度秩相关来描述各个维度之间的相关关系，从而评价问卷的内容效度。之间的相关关系，从而评价问卷的内容效度。注意：注意：a1数据文件事先已被导入数据文件事先已被导入SAS中的中的work文文件夹里，命名为件夹里，命名为a1proc print data=a1;run;ods html;proc corr spearman;var shenti xinli ziran shehui;run;proc corr spearman;var jingqishen shuimian yinshi dabian xiaobian;run;proc corr spearman;var qixu yangxu yinxu shire tanshi xueyu qiyu;run;ods html close;编程如下编程如下：结果如下：1)对问卷躯体对问卷躯体 、心理、心理 、自然、自然 、社会社会 4 个维度的相关系数检验个维度的相关系数检验显示显示,身体身