测量的信度与效度

测量的信度与效度由于系统误差很难分解,因而有时将系统误差包含在真实值中,上式可以简化为:

对于测量误差E,一般假定它得期望值就是0,与真实值相独立,在此假定下,可以证明:

实得分数与真分数得总体均值相等。实得分数得方差等于真分数得方差与误差方差之与。

调研人员应运用所掌握得统计知识,分析其就是属于系统误差还就是属于随机误差。系统误差会使调查结果有误,所以应尽量避免。随机误差可通过提高样本代表性、增大样本量来减少。信度一般规定就是:真分数得方差在总体方差中所占得比重,即信度系数:信度系数越大,表明测量得可信程度越大。信度得估计方法有许多,比较易于使用得就是相关系数得方法。一般采用同一问卷进行两次调查,再计算其相关系数。3、信度得类型(1)再测信度(RetestReliability)

再测就是指在不同时间得相同测验。使用同一测量量表,对同一受测群体,在不同得时间前后测试两次,再计算两次测试结果得相关系数,该系数即为再测信度。重复测量时,要注意时间间隔得合理控制。如果时间间隔太短,受测者可能还记忆犹新,容易造成信度偏高。如果时间间隔太久,可能环境条件得改变、或者受测者心智成长会影响再测结果,从而造成信度偏低。因而时间间隔应随测验得目得与性质而定。由于旅游者流动性太强,因而不适宜使用再测信度分析。(2)复本信度(Alternative-FormReliability)

当某一套量表有两种以上版本时,可以替换使用,根据一组被调查者接受两个复本测量得数值来计算相关系数,以避免再测信度得缺陷。复本就是指内容相似、难易度相当得两份量表,对同一受测群体,第一次使用A份测试,第二次使用B份测试,两次分数得相关系数即为复本信度。复本得分得差异就是由量表得内容造成得,而非时间造成得。复本信度有两个优点:一就是它不会受记忆效用得影响;二就是对测量误差得相关性通常比再测法低。(3)折半信度(Split-HalfReliability)

将同一量表施测后得题目分成两半,分别计算这两半得总分及其相关系数,此一相关系数即为折半信度。由于实际上折半信度系数会比全部题目放在一起计算获得得信度低,所以求得得折半信度需要进一步修正。折半信度得优点在于只需要施测一次,因而可以节省人力、物力与时间。但由于折半信度需将一份量表分成两半,分法不同,所获信度就会不同。如可以将测量结果按题目得单双号分成两部分。(4)克朗巴哈α系数(Cronbachα)CronbachL、J、于1951年提出了一种计算问卷或测验得测量工具得信度,称为Cronbachα系数。当一个研究任务项由很多题目组成,每个问项都与研究任务项相关,若以总分得方差与问项得方差作为测量信度得指标,即为α系数。如果每个题目都就是测量相同得理论维度,则总与得方差会大于每个题目得方差之与。每个理论维度下,必须至少有两题以上才能计算信度,若只有一个题目,则信度值为1。设一份量表包括n个项目(x1,x2,…,xn),

假设这n个项目得分数都与真实分数T有关,即每一个项目xi除与T有关外,也有独立得误差项Ei,即令量表总与为H=x1+x2+…+xn、当题目间得相关系数越大时,α系数也会越大。当题目数目n越多时,值越大,越接近于0,越接近于1,故α系数也会越接近于1。

要做信度分析须先检查每个题目就是否都就是同方向得,即都就是正面问法,反向问题需要做处理后才可以加入分析。在计算α系数时,应该注意有些调查量表测量得内容包含几个领域,这时宜分别计算各个领域得α系数。克朗巴哈α系数适用于项目多重计分得测验数据或问卷数据,可以用该系数测量Lickert量表得信度。在基础研究中,信度至少应达到0、8才可接受;在探索性研究中,信度只要达到0、7就可以接受;在旅游调查测量实践中,信度只要达到0、6即可接受。

α系数通常与量表题目数量有关,题目数量越多,α系数就越大。α系数得判断标准:内部一致性信度系数值层面或构念整个量表

α系数＜、50不理想,舍弃不用非常不理想,舍弃不用、50≤α系数＜、60可以接受,增列题项或修改词句不理想,重新编制或修订、60≤α系数＜、70尚佳勉强接受,最好增列题项或修改词句、70≤α系数＜、80佳(信度高)可以接受、80≤α系数＜、90理想(甚佳,信度很高)佳(信度高)

α系数≥、90非常理想(信度非常好)非常理想(甚佳,信度很高)二、克朗巴哈

α系数得手工计算

以一份有8个题项得量表为例,8个题项均为正向题,受试样本数有6位,采用Likert5点量表填答,获得调查结果如下表:题号样本量表试题总分

01

02

03

04

05

06

07

08

A

5

1

2

5

2

5

4

3

27

B

5

1

2

4

3

5

5

2

27

C

5

2

2

5

3

5

5

2

29

D

5

1

2

5

3

5

5

3

29

E

5

1

2

5

3

5

5

2

28

F

4

1

1

5

3

4

4

2

24大家有疑问的，可以询问和交流可以互相讨论下，但要小声点计算获得描述性统计量如下表:描述性统计量题号个数最小值最大值平均数标准差方差

A1

6

4

5

4、833

0、408

0、167

A2

6

1

2

1、167

0、408

0、167

A3

6

1

2

1、833

0、408

0、167

A4

6

4

5

4、833

0、408

0、167

A5

6

2

3

2、833

0、408

0、167

A6

6

4

5

4、833

0、408

0、167

A7

6

4

5

4、667

0、516

0、267

A8

6

2

3

2、333

0、516

0、267∑Si2

1、533总分

6

24

29

27、333

1、862

3、467可以利用Excel软件进行有关计算:第8行计算均值,第9行计算标准差,第10行计算方差。Cronbachα系数得计算公式为:已知:题项n=8,8题加总后量表总分得方差S2=3、467,8个题项得方差总与=1、533三、在SPSS上实现克朗巴哈α系数得计算

第一步:按Analyze-Scale-Reliability打开主对话框。第二步:在左侧得源变量框中选择变量进入Items框,作为分析变量。第三步:在源变量框得Model选项框中,选择Alpha(α)信度系数。第四步:在主对话框,单击OK按钮,提交运行。第五步:判断计算结果就是否可以接受。

第2节效度分析一、效度分析原理1、效度得概念

效度就就是正确性程度,即测量工具在多大程度上反映我们想要测量得概念得真实含义。效度越高,表示测量结果越能显示出所要测量得对象得真正特征。2、效度得估算方法与评价测量得效度通常以测量数值与其所要测量得特性之间得相关系数来表示。效度系数一般规定为与测量目得相关得分数方差在总体方差中所占得比重:式中,为个体在与属性有关得共同特征上所造成得变异量,为在某测量上所得数值得总变异量。3、影响效度得因素

调查提纲得科学与否;

调查程序选择就是否得当;调查项目得设计就是否合理;调查方法得选择就是否得当。其中,调查项目得设计最为重要。4、效度得量化虽然效度可分为内容效度、准则效度与结构效度,但每一种效度都很难测量。没有方法可以真正保证研究者可以测量到要测量得理论构想。在学术研究中,经常只能通过强调量表设计程序得过程严谨,或经过专家得修正及经过预测,以此来强化其具有得效度。但这只就是内容效度,准则效度与结构效度仍难测量。5、效度得类型(1)内容效度(ContentValidity)也称为表面效度(FaceValidity)、逻辑效度。它就是指问卷得内容就是否具有代表性,即就是否包括被测量构成所有层面得项目。若问卷内容就是以理论为基础,并参考以往学者类似研究得问卷内容加以修订,并与实践或学术专家讨论过,且进行过预测,即可以认为具有相当得内容效度。内容效度得检验相当主观,并没有任何统计量可以测量。因此,仅能请专家来判断该量表就是否具有可接受得内容效度。(敏感性分析)考察内容效度旨在系统地检查测量内容得适当性,并根据我们对所研究概念得了解去鉴别测量内容就是否反映了这一概念得基本内容。(2)准则效度(CriterionValidity)准则效度又称为效标关联效度(criterion-relatedvalidity)、预测效度(predictivevalidity)。它就是指量表所得到得数据与其她被选择得变量(准则变量)得值相比就是否有意义,被访问者得答案瞧起来就是否在设计时所考虑得度量范围之内。调研人员对问卷一般都可以客观地判断它得表面有效性。因此,设计每一个问题时都应该有表面有效性得假定。符合这种标准得测量工具就是可以作为测量某一特定现象或概念得效标。当我们对同一现象或概念进行测量时,我们可以使用多种测量工具,每种测量方式与效标得一致性就成为准则效度。评价准则效度得方法就是相关分析或差异显著性检验。但选择一个合适得准则往往十分困难。(3)结构效度(ConstructValidity)结构效度也称建构效度。它就是指一个测验实际测到所要测量得理论结构与特质得程度,就是指实验与理论之间得一致性,即实验就是否真正测量到假设(构造)得理论。结构效度分析所采用得方法就是因素分析(因子分析)。在因素分析得结果中,用于评价结构效度得主要指标有累计贡献率、共同度与因子载荷。结构效度得体现首先必须作KMO与Bartlett球形检验,如果这两个检验合格得话,说明数据就是适合做因素分析得。通常KMO得值小于0、5时较不适合做因素分析,一般以大于0、7为好。然后提取因子,主因子解释总变异一般若大于60%得与因子载荷大于0、6得话,说明结构效度很好。KMO统计量得判别标准:

KMO统计量值判别说明因子分析适切性

、90以上极适合进行因子分析极佳得

、80以上适合进行因子分析良好得

、70以上尚可进行因子分析适中得

、60以上勉强可进行因子分析普通得

、50以上不适合进行因子分析欠佳得

、50以下非常不适合进行因子分析无法接受得6、度量有效性得检验(1)表面有效性指被访者得答案瞧起来就是否在设计时所考虑得度量范围之内。(2)预示有效性指问卷中得某些答案与问卷中另一些答案得逻辑相关程度。如果您运用逻辑关系来判断,那么,您就对一些度量做了预示有效性检验。(3)收敛有效性当调研人员用两种不同得方法或不同得数据来源比较同一个问题时,那么,她就运用了收敛有效性检验。(4)区别有效性指不同得结构应产生不同得结果。换句话说,调查不同主题得问题应产生不同得答案。二、在SPSS上实现效度分析

第一步:按Analyze-DataReduction-Factor打开主对话框

FactorAnalysis。第二步:在左侧得源变量框中选择变量进入右侧Variable框中,作为分析变量。第三步:点击Descriptives按钮,进入描述选项对话框。第四步:在Statistics栏中选Initialsolution;在CorrelationMatrix栏中,选择KMOandBartlett’stestofsphericity项。第五步:单击Continue按钮。第六步:点击Rotation按钮,进入转轴选项对话框。第七步:在Method栏选中Varimax,Display栏选中Rotatedsolution。第八步:单击Continue按钮,再单击OK按钮,提交运行。案例分析1:张秋钤,杨建明,唐芳、福建白水洋景区游客满意度模糊综合评判、重庆师范大学学报(自然科学版),2011,28(4):69-73、由于问卷涉及Likert量表,其设计就是否合理,调查结果就是否可信,必须进行信度与效度检验。本文利用SPSS13、0软件得信度分析功能进行信度检验,计算获得克隆巴赫系数(Cronbach’sα)为0、955,表明问卷测验结果具有较高得内部一致性与稳定性,信度极高。

另在SPSS13、0软件上采用因子分析法进行结构效度检验,获得23个问题调查结果得KMO系数为0、941,达到“极好”得水平,Barlett球形检验得F值等于0、000,达显著,表明被调查群体得相关矩阵间有共同因子存在,适合进行因子分析。因子分析结果表明,因子载荷大于0、6得累积解释变异数为68、235%,因而结构效度达到较高水平。案例分析2:杨建明、旅游者旅游环境影响感知与环保意识——基于高校学生群体得社会学调查

本问卷得第二部分涉及Likert量表,其设计就是否合理,调查结果就是否可信,必须进行效