量表的信度与效度分析计算

关于量表的信度与效度分析计算一、信度（reliability）定义若重复进行测量，产生相同结果的准确程度

测量的可靠性、稳定性和预测性

测量的精确度反复测量结果的稳定性或一致性可能很高但却可能是不准确的

用零点没有调整在中心的秤来测量重量采用有明显导向性的问答题组成的量表测量态度第2页,共46页，2024年2月25日，星期天二、效度（validity）定义

所测量的是不是研究者所想要的在多大程度上给出了他/她所想要的例如，研究者希望测量电视广告的传播效果目的：了解广告能否引起目标消费群的购买欲望

消费者的购物决策是否与观看的电视广告相关如果：最终测得的不是广告对消费者购物决策的影响而主要是消费者对广告艺术感染力的评价结论：所用量表是无效的或是效度很低的第3页,共46页，2024年2月25日，星期天

信度高时效度不一定高但效度高时信度一定高第4页,共46页，2024年2月25日，星期天从三个方面来分析测量的信度

稳定性(stability)

内在一致性(internalconsistency)

等价性(equivalency)三、信度评价第5页,共46页，2024年2月25日，星期天1、稳定性分析也叫做测验--再测验法目的：考察对于同样的问答题（或测试）对同一组被访者或受测试者前后两次测量的结果是否基本一致第6页,共46页，2024年2月25日，星期天1、稳定性分析方法：用“再测信度”来测量稳定性再测信度：两次测量结果间的相关系数

相关系数越接近1，表示稳定性越好第7页,共46页，2024年2月25日，星期天1、稳定性分析缺点：一般应用中很难真正实现（人力、财力、时间）再测信度的应用有局限性

第一次的测量可能会影响到第二次（信度偏高）两次测量间客观的情况可能有变化（信度偏低）第8页,共46页，2024年2月25日，星期天2、内在一致性分析

目的：检验多项目量表中各个项目的一致性

可信的量表的项目必须具有内在一致性第9页,共46页，2024年2月25日，星期天2、内在一致性分析方法之一：折半法

(split-halftechnique)

将量表中的项目分成两半计算这两部分的总得分的相关系数rh

如果量表具有较高的内在一致性那么这两部分应该是高度相关的第10页,共46页，2024年2月25日，星期天2、内在一致性分析方法之一：折半法

(split-halftechnique)优点：不需要重复的测量常用分法：按项目号的前后顺序分或按项目号的奇偶性分计算公式：

ru=2rh/(1+rh)第11页,共46页，2024年2月25日，星期天2、内在一致性分析方法之一：折半法

(split-halftechnique)注意：需先将量表中的反意题作逆向处理再分别计算两部分的总得分前提假设：两半题项得分方差大致相等

否则可能会低估信度系数第12页,共46页，2024年2月25日，星期天2、内在一致性分析方法之二：alpha信度系数法

克朗巴哈提出用α系数来测量累加量表的信度

α=K(1-Σσi2/σT2)/(K-1)

K量表中题（项目）的总数

σi2

第i个题（项目）得分的题内方差

Σσi2K个题项的方差之和

σT2

总得分（所有题项得分之和）的方差α信度系数是评估量表内部一致性的比较常用系数第13页,共46页，2024年2月25日，星期天2、内在一致性分析方法之三：平均相关系数法缺点：偏重于项目之间的相关而不是整个量表的信度项目越多，平均相关系数就可能越高提高信度的方法之一：增加量表中的测量项目

因为各个项目的随机误差可能会相互抵消第14页,共46页，2024年2月25日，星期天2、内在一致性分析小结：信度的高低既依赖于项目的内在一致性也依赖于量表的长度因此：一方面尽量设计内在相关性更高的项目另一方面也可以考虑适当增加项目的数量第15页,共46页，2024年2月25日，星期天3、等价性分析A当使用两种不同的量表去测量同一概念时，这两种量表是否等价？

方法：在同一时段中，让同一组被访者接受两种量表的测试；计算两组得分之间的相关，用于评价信度B当两个评分者（或编码员）判断同一现象时，评价结果是否一致？

方法：计算两个评分者评分之间的相关；或计算两个编码员编码结果一致的比例，用于评价信度第16页,共46页，2024年2月25日，星期天3、等价性分析前一种应用A比较少见（构造等价的量表非常困难）后一种应用B比较常见，也称为

评分者内在信度

(inter-raterreliability)

编码员间信度

(inter-coderreliability)第17页,共46页，2024年2月25日，星期天3、等价性分析在内容分析中，要评价编码员间信度

编码：将分析单位（如单词、符号、主题等）置于各种内容类别中

不同的编码者独立地编码如果能得到比较一致的结果则信度较高第18页,共46页，2024年2月25日，星期天3、等价性分析--编码者间信度的计算公式霍斯提(Holsti)公式假定两个编码员分别同时做了m1和m2个单位的编码，其中一致的编码数为m，则

编码者间信度=2m/(m1+m2)

第19页,共46页，2024年2月25日，星期天3、等价性分析--编码者间信度的计算公式霍斯提(Holsti)公式优点：计算简单、易于操作缺点：信度的大小可能与编码时所用的类别的数目有关

类别的数目越少，由于偶然性而造成一致的可能性就越大

编码问题都是两个类别时，随机的编码也可能有50%的信度在五个类别的情况，随机的编码就只可能有20%左右的信度第20页,共46页，2024年2月25日，星期天3、等价性分析--编码者间信度的计算公式史考特(Scott)指数编码员间信度π=(πo-πe)/(1-πe)πo：观测到的一致性或叫实际一致性（用霍斯提公式计算）πe：纯粹由于偶然性而造成的一致性或叫期望一致性（等于每个类别出现的相对频率的平方和）

第21页,共46页，2024年2月25日，星期天3、等价性分析--编码者间信度的计算公式利用霍斯特公式计算时，一般信度在90%或以上利用史考特公式计算时，信度大都是75%或以上考察编码员内(intra-coder)信度时让同一个编码员在不同的时间内对同一个资料编码两次然后借助以上公式计算编码-再编码信度将上式中对应两个编码员的数据，改为同一编码员的两次数据

第22页,共46页，2024年2月25日，星期天例在一项少儿电视节目内容分析的编码表中，两个编码员分别同时独立地将100个少儿节目分配到如下三个类别中：1、单本剧2、连续剧3、系列剧。已知编码不一致的节目共计8个；这三个类别的节目数分别占30%、45%和25%。试分别利用霍斯提和史考特公式，评价这两个编码员编码的等价性。解：m1=m2=100,m=100-8=92霍斯提信度

=2m/(m1+m2)=2(92)/(100+100)=0.92πo=0.92,πe=(0.30)2+(0.45)2+(0.25)2=0.355史考特信度π=(πo-πe)/(1-πe)

=(0.92-0.355)/(1-0.355)=0.876第23页,共46页，2024年2月25日，星期天

效度主要有三种类型：

内容效度(contentvalidity)

效标效度(criterionvalidity)

结构效度(constructvalidity)四、效度评价第24页,共46页，2024年2月25日，星期天1、内容效度

也叫做表面效度(facevalidity)

用最简单的也是最基本的主观判断的方法一般根据测量量表所选的题项来判断仅从表面上来观察判断其是否能够代表想要测量的内容或主题第25页,共46页，2024年2月25日，星期天1、内容效度尽量收集和阅读与测量内容有关的资料除了研究人员的主观判断之外最好再请一些专家来帮助判断第26页,共46页，2024年2月25日，星期天1、内容效度单项与总和相关效度分析法确定各个具体的题项对整个量表的效度是否都有足够的贡献或考察量表内的题项是否具有同质性

计算每个题项的得分与总分的相关系数如果相关不显著，表示该题项的鉴别力低，最好剔除题项与总和的相关关系越显著，量表的内容效度也越高

第27页,共46页，2024年2月25日，星期天1、内容效度例如，1993年卜卫等在厦门受众调查问卷中（见“媒介·人·现代化”），设计了一个四级李克动机量表，以测试厦门受众的媒介使用动机。表中的受众媒介动机量表就是剔除了不合格题项后的量表，表中的各个题项的得分与总分都是显著相关的（概值P≤0.001），说明量表内的各个题项之间具有较好的同质性。

第28页,共46页，2024年2月25日，星期天第29页,共46页，2024年2月25日，星期天2、效标效度也叫做效标关联效度或独立标准效度

效标是一个与量表有密切关联的独立标准将量表所测特性看成因变量将效标看成自变量所测特性与效标密切相关的量表才是有效的量表

第30页,共46页，2024年2月25日，星期天2、效标效度的分析方法考察所测特性（因变量）与效标（自变量）是否有显著的相关(相关分析)

或是对效标的不同取值，特性的值是否表现出显著的差异(t检验、F检验）效标的确定并不是一件容易的事选择效标一般要根据某种已知的理论、或某种已经得到肯定的结论第31页,共46页，2024年2月25日，星期天2、效标效度的举例用高考的成绩，作为预测学生大学期间学业成绩的效标（是否有研究结果表明，这两者之间是有密切相关关系的）设计测量人们现代化观念的量表时，媒介接触行为可能是主要的效标之一（很难设想不看报、不听广播的人会具有现代化的观念）可考虑以媒介接触频度、时间、内容等为具体的效标第32页,共46页，2024年2月25日，星期天2、效标效度的举例台湾的“兰屿民众传播行为与现代化程度之研究”,用离岛经验作为测量雅美族人现代化程度的效标

有、无离岛经验的雅美族人之间现代化程度有明显差异的量表才有可能是高效度的量表

要剔除那些没有显著差异的低效度的题项第33页,共46页，2024年2月25日，星期天3、结构效度

评价量表测量的结果是否与理论假设或框架相关

称能测出结构的量表为具有高的结构效度的量表

因子分析法(factoranalysis)

评价量表中的各个题项能否有效地区分研究对象

各题项能否有效地鉴别态度不同的被访者？题项内容的难易度是否合适？

项目分析法(itemanalysis)第34页,共46页，2024年2月25日，星期天3、结构效度---因子分析法因子分析法是一种高级的统计分析法将量表中的题项集合成不同的群使每一个群的变量（题项）共享一个公共因子这些公共因子就代表了量表的基本结构

考察这些公共因子的意义比较量表的实际结构与理论框架之间的异同若两者相吻合，且提取的公共因子有足够的代表性则说明该测量量表具有令人满意的结构效度第35页,共46页，2024年2月25日，星期天3、结构效度---因子分析法举例对测量动机的量表进行了因子分析

（参考“媒介●人●现代化”）结果将受众使用媒介动机分成了三类

信息寻求动机、娱乐消遣动机、社会功利动机与研究者设计量表时假设的结构一致

说明这一动机量表具有很好的结构效度第36页,共46页，2024年2月25日，星期天第37页,共46页，2024年2月25日，星期天3、结构效度---项目分析法（难易度）量表中各个题项的“难易度”和“鉴别度”

难易度=(PH+PL)/2

PH和PL分别表示高分组和低分组的通过率第38页,共46页，2024年2月25日，星期天3、结构效度---项目分析法（难易度）通过率的计算方法：将反向题作逆向处理后，计算累加量表的总分总分按由小到大的顺序排列，划分成人数相等的四个组分数最高和最低的两个组分别为“高分组”和“低分组”计算这两组的被访者在每个题项上的“通过率”PH和PL

正向题的通过率=（“非常同意”+“比较同意”）的比例逆向题的通过率=（“很不同意”+“不太同意”）的比例