统计学问卷效度、信度的检验

调查问卷的效度、信度2013年09月02日丽水学院商学院

何永达副教授题目效度？信度？what's

reliability?what'svalidity?一、QuestionnaireValidity二、ExampleofValidity三、QuestionnaireReliability四、ExampleofReliability五、ThecorrelationbetweenReliabilityandValidityMainContentPreparativeKnowledge1.误差公理误差(error)是指对事物某一特征的度量值偏离真实值的部分，即测定值与真实值之差，样本统计量与总体参数之差。没有一项研究推论能够达到百分之百的真实。Nostudyisfreeoferrors,theinferencesareneverperfectlyvalid.

误差公理：实验结果都会有误差，误差自始至终存在于一切科学实验的过程之中。

2.误差的种类(typesoferror)（1）随机误差（randomerror）随机误差是由不确定原因引起的，不可避免和消除。其偏离总体的方向不能确定。包括随机测量误差和抽样误差。

随机测量误差（randommeasurementerror）：没有固定的倾向，可使多次观测结果有大有小。抽样误差（sampleerror）：由于抽样造成的样本指标与总体指标之间的差别。（2）系统误差（systematicerror）由于偏倚（使研究结果按照一个方向偏离总体，bias）产生的错误结果，可校正和消除。

(3)过失误差（grosserror)是由于科研设计错误，或实验者的主观片面、粗心大意引起的误差。必须避免和剔除！问卷测验中测量误差通常来源于两个方面：一是产生于问卷测验过程中的误差，称为测量误差（measurementError），也称为随机误差（randomerror）；二是由问卷的结构质量造成的误差，称为系统误差（systemError）。measurementErrorreliability（信度）systemErrorvalidity（效度）一、调查问卷的效度Thevalidityofaquestionnaire效度（validity）通常是指问卷的有效性和正确性，亦即问卷能够测量出其所欲测量特性的程度。对于一个标准测验来说，效度比信度更为重要。1.效度分析的意义效度是问卷调查研究中最重要的特征，问卷调查的目的就是要获得高效度的测量与结论，效度越高表示该问卷测验的结果所能代表要测验的行为的真实度越高，越能够达到问卷测验目的，该问卷才正确而有效。问卷的准确性或称为有效性是用问卷的效度加以刻划的，它反映了对问卷的系统误差的控制程度。2、效度的定义效度是指问卷测验的准确性，即测验能够反映所要测量特性的程度.包括两个方面的含义：一是问卷测验的目的；二是问卷对测量目标的测量精确度和真实性。效度是一个具有相对性、连续性、间接性的概念。在测量理论中，效度被定义为在一系列测量中，与测量目的有关的真变异数(即有效变异)与总变异数之比：r2xy表示测量的效度系数，Sv2代表有效变异数，Sx2代表总变异数。3.常用的效度指标确定一个问卷效度的方法，通常是以答卷者的问卷得分和另一个效度标准求相关，以其相关系数的大小来表示效度。如果相关系数高，则该问卷的效度就高。一般常用的效度指标有内容效度、结构效度。(1)内容效度(contentvalidity)内容效度是指问卷内容的贴切性（relevance）和代表性（representativeness）,即问卷内容能否反应所要测量的特质，能否达到测验目的，较好地代表所欲测量的内容和引起预期反应的程度。内容效度常以题目分布的合理性来判断，属于命题的逻辑分析，所以，内容效度也称为“逻辑效度”(logicalvalidity)、“内在效度（intrinsicValidity）”、“循环效度（circularvalidity）”内容效度的评价主要通过经验判断进行，通常考虑3方面的问题：其一是项目所测量的是否真属于应测量的领域；其二是测验所包含的项目是否覆盖了应测领域的各个方面；其三是测验题目的构成比例是否恰当常用的内容效度的评价方法有两种：一是专家法，即请有关专家对问卷题目与原来的内容范围是否符合进行分析,作出判断，看问卷题目是否较好地代表了原来的内容二是统计分析法，即从同一内容总体中抽取两套问卷，分别对同一组答卷者进行测验,两种问卷的相关系数就可用来估计问卷的内容效度计算某个问题与去掉此问题后总得分的相关性情况，分析是否需要被剔除（敏感性分析）(2)结构效度(Construct

Validity)结构效度又称构想效度，是指问卷对某一理论概念或特质测量的程度，即某问卷测验的实际得分能解释某一特质的程度。如果我们根据理论的假设结构，通过问卷测验得到答卷者实际分数，经统计检验，结果表明问卷能有效解释答卷者该项特质，则说此问卷具有良好的结构效度。常用的确定结构效度的方法有：(1)根据文献、前人研究结果、实际经验等建立假设性理论建构；(2)对问卷题目进行分析。主要是分析问卷的内容，答卷者对题目所作的反应，问卷题目的同质性以及分项目之间的关系来判断问卷的结构效度；(3)根据建构的假设性理论编制适当的问卷；(4)计算与同类权威问卷的相关;(5)以统计检验的实证方法去考查问卷是否能有效解释所欲建构的特质。3．效标效度（CriterionValidity）效标效度也称为准则关联效度（Criterion-RelatedValidity）、经验效度（EmpiricalValidity）、统计效度（StatisticalValidity）。效标效度是说明问卷得分与某种外部准则（效标）间的关联程度，用问卷测量得分与效度准则之间的相关系数表示一般估计效标效度的主要方法有：（1）相关法，即求某问卷分数与效标间的相关，所得结果即效标效度。（2）区分法，即看问卷分数是否可以区分由效标所划分的团体。可以运用t检验对先后两次问卷结果平均分数进行差异性检验。若差异有统计学意义，说明问卷是有效的；若差异无统计学意义，说明问卷是无效的。(4)判别效度（DiscriminantValidity）判别效标也称为辨别效标，是指运用相同的问卷测定不同特质和内涵，测量结果之间不应有太大的相关性。(5)聚合效度（ConvergentValidity）聚合效度也称为收敛效度，是指运用不同测量方法测定同一特质所得结果的相似程度，即对同一特质的两种或多种测定方法间应有较高的相关性。6.效度的评价Spitzer认为如果满足以下5个条件就可以认为问卷由效：（1）问卷有内容效度和结构效度；（2）在问卷制定阶段应当请有关人员提出意见，供修正和提高内容效度；（3）问卷经过反复使用证明了其可靠性；（4）如果有公认标准存在，应以公认标准为准；（5）公认金标准时可由判别效度代替7.提高问卷效度的方法（1）理论正确，解释清楚。问卷内容要适合问卷测验的目的，题目要清楚明了，易于理解，问卷的排列要由易到难，题目的难度和区分度要合适；（2）操作规范以减少误差；（3）控制系统误差。它主要包括仪器不准，题目和指导语有暗示性，答案安排不当(被试可以猜测)等,控制这些因素可以降低系统误差,提高效度；（4）样本适宜且要预防流失。重视问卷调查的回收率。样本容量一般不应低于30；（5）适当增加问卷的长度。增加问卷的长度既可提高问卷的信度，也可以提高问卷的效度，但增加问卷的长度对信度的影响大于对效度的影响；（6）排除无关因素干扰。认清并排除足以混淆或威胁结论的无关干扰变量。二、效度分析实例(example)1．问卷的敏感性（可靠性）分析

（1）操作过程从菜单选择Analyze→Scale→ReliabilityAnalysis…→Item（输入问卷的各条目或各因子包含的条目）→单击“Statistics”按钮，弹出信度分析统计量对话框→Descriptivesfor:→√Scaleifitemdeleted→OKScaleifitemdeleted:去掉当前题目整个问卷的描述统计量，即敏感性分析，包括以下内容：ScaleMeanifItemDeleted:去掉当前题目问卷合计分的均数；ScaleVarianceifItemDeleted:去掉当前题目问卷合计分的方差；CorrectedItem-TotalCorrelation:当前题目得分与去掉当前题目问卷合计分的Pearson相关系数；SquaredMultipleCorrelation:以当前题目为因变量，其它所有题目为自变量求得的决定系数R2；AlphaifItemDeleted:去掉当前题目后问卷的Cronbachα系数。（2）输出结果SCL90各条目的敏感性分析结果:ItemScaleScaleCorrectedMeanVarianceItem-AlphaifItemifItemTotalifItemDeletedDeletedCorrelationDeletedA131.72501272.71730.63970.9736E231.75001253.62820.80270.9732B331.82501261.07120.74080.9734A431.75001259.78210.75570.9733D531.70001278.26670.38720.9740C631.82501300.04550.05960.9745I731.90001279.06670.53200.9737H831.57501255.12240.75900.9733B931.27501259.23010.65720.9735…………………..E8631.17501272.81470.37640.9742I8731.92501277.14810.62310.9736I8832.05001282.97180.60570.9737J8932.20001304.16410.00000.9741I9032.17501302.71220.12500.9741一般地，在做问卷的敏感性分析时，可以将“AlphaifItemDeleted”值，作为调整题目的一个重要参考依据如果“AlphaifItemDeleted”值越大，其相对应的题目越应是首先考虑调整的题目从本次问卷结果敏感性分析可以看出，量表的各个题目的“AlphaifItemDeleted”值均在0.97左右变化，且变化的幅度很小所以，根据“AlphaifItemDeleted”这项检验指标的检验值分析，本量表的各题目设置合理，均可以保留，无需调整2．问卷的结构效度的分析问卷的结构效度的评价较为复杂，可用各个题目与量表各因子的相关分析和因子分析方法来反映。该检验将问卷中的每一道题看着一个变量，然后通过调查的结果得分对所有问题做因子分析，提取一些较为显著的因子，通过各个问题在每个因子上的载荷将问题分类。如果相同概念的问题都归为同一因子，则说明问卷具有很好的结构效度1.从菜单选择Analyze→Scale→ReliabilityAnalysis…→Item(输入问卷的各条目或各因子包含的条目)→Statistics弹出信度分析统计量对话框→Inter-Item→√Correlations→OK2.如果同一问题下的几个调查项目之间相关系数较高，说明问卷结构效度好！如果不同问题下的调查项目之间相关系数较低，说明问卷结构效度好！（1）利用相关分析评价问卷的结构效度（2）利用因子分析评价问卷的结构效度因子分析不仅能够评价量表结构的相合性，还可以用共性变异（共性方差）与总变异之比作为结构效度的衡量指标。结构效度的分析最好使用证实性因子分析，它较探索性因子分析更能说明问题。执行Analyze→DataReduction→Factor…,弹出“FactorAnalysis”对话框:单击Descriptives→Statistics→√InitialSolution→CorrelationMatrix→√KMOandBartlett’stestofsphericity→Continue

结构效度的评价标准KMOandBartlet检验考察量表是否适合作因子分析;通常按以下标准解释,KMO(采样充足度)值大小0.9以上表示非常适合;0.8一0.9表示适合；0.7一0.8表示一般;0.6一0.7表示不太适合;0.5一0.6表示很不适合;0.5以下表示不适合三、调查问卷的信度

QuestionnaireReliability

1.信度分析的意义信度主要是指问卷是否精准(precision)信度分析涉及了问卷测验结果的一致性和稳定性，其目的是如何控制和减少随机误差调查问卷的信度包含两层含义：一是相同的个体在不同时间，以相同的问卷测验，或以复本测验，或在不同的情景下测验，是否能得到相同的结果，即问卷测验结果是否随时间和地点等因素而变化；二是能否减少随机误差对问卷测验结果的影响，从而能够反映问卷所要测量的真实情况，即问卷测验结果是否具有稳定性、可靠性和可预测性。一个好的问卷必须是稳定可靠的，且多次问卷测验结果应前后一致2.信度的定义信度是用估计测量误差大小的尺度，来说明问卷测验结果中测量误差所占的比率信度可定义为真实分数(truescore)的方差与测验实得分数(observedscore)的方差之比，当实得分数变异可以全部由真实分数的变异解释时，测验误差就是0，这时问卷测验的信度为1若用表示问卷测验的信度，理论应有或式中表示真实分数的方差；表示实得分数的方差；表示误差的方差。3.信度的分类信度研究的是问卷测验结果的可靠性与稳定性，可以从不同的角度来评价：（1）在相同条件下所得问卷测验结果的一致程度；（2）不同研究者用同一种问卷同时测验所得结果的一致程度；（3）同一研究者用同一种问卷在不同时间内测验所得结果的一致程度4.常用的信度系数（1）重测信度(test-retestreliability)

假定短时间内一批对象的状况并没有改变，对每个对象用同一个问卷先后测验两次，两次测验得分的相关系数就称为重测信度。重测信度是用皮尔逊积差相关系数r公式计算的重测信度也存在着局限性：间隔时间长，环境影响；如果间隔时间短，记忆影响。(2)复本信度（alternateformreliability）复本通常是根据相同的设计说明分别独立编制的两个平行问卷，即题目不同但是内容相似的两份问卷。复本信度也叫等值性系数（coefficientofequivalence）。两个复本间隔一定时间或同时施于同一答卷者所得分数的相关系数就是复本信度缺点：如复本编制不容易，易出现顺序效应，受练习的影响；复本信度只能反应问卷内容所造成的误差，无法反应答卷者本身所造成的误差等(3)分半信度(split-halfreliability)

当测验没有复本且测验不可避免地受到时间的影响，只适合用于一次测验时，可用分半信度。分半的方法很多，一般是将奇数题和偶数题各作为一半，而非前后分半，目的是避免顺序效应。分半信度也叫折半信度，其计算方法是将问卷的题目分成对等的两半，分别求出两半题目的总分，再计算两部分总分的相关系数。使用分半信度时要注意两个问题：一是问卷题目所测的应是同一种特质；二是两半题目应是等值的。对问卷题目进行分半会造成了对整个问卷信度的低估，为此需要对分半信度进行校正，其校正公式为斯皮尔曼-布朗(Spearman—Brown)公式：为分半信度表示两半题目各自得分和之相关系数，n为原问卷相对于变化后问卷长度的倍数，计算分半信度时n=2。Spearman—Brown公式要求两个分半表的信度和方差均满足齐性；Guttman:Guttman分半信度，可不满足上述要求(4)库得─理查森信度(Kuder─Richardson)库德-理查森信度适用于计算“对或错”的是非题的同质性信度，其是计算所有可能的分半信度的平均数。最有代表性的计算公式是库德-理查森公式:式中n为问卷包含的题目数.为问卷测验总得分的方差，pi表示答对该题的人数占总答卷人数的比例，pi可视为该题的难度，qi=1-pi。(5)克隆巴赫信度系数(cronbach’sα)

Cronbach’sα系数是Cronbach于1951年创立的，用于评价问卷的内部一致性。α系数取值在0到1之间，α系数越高，信度越高，问卷的内部一致性越好。Cronbach’sα系数不仅适用于两级记分的问卷，还适用于多级计分的问卷Cronbach’sα系数是最常用的信度检验系数其计算公式为：式中n为问卷包含的题目数，为答卷者在第i题得分的方差，为答卷者问卷测验总得分的方差。α系数有以下性质：（1）α系数是所有可能的分半信度的平均值；（2）α系数是估计信度的最低限度；（3）当问卷计分为二分名义变量时，即答案为0或1，α系数与KR20值相同，即库德-理查森信度公式是克隆巴赫的α系数的一个特例低信度：α<0.35中信度：0.35<α<0.70高信度：0.70<α一般地，问卷的α系数在0.8以上该问卷才具有使用价0.5—0.7问卷可信0.7---0.9问卷很可信信度的检验标准(6)评分者信度（inter-scorerreliability）*考察评分者信度的方法为，随机抽取相当份数的问卷，由两位评分者按记分规则分别给分；然后根据每份问卷的分数计算相关系数，就得到评分者信度。评分者信度也可以是一位评分者两次评分的相关系数。如果是多个评分者或一位评分者两次以上的评分，可采用肯德尔和谐系数和Kappa系数。肯德尔和谐系数用于等级资料，Kappa系数用于定性资料。5.提高信度的方法问卷的信度越高，受到人、时、地、物的干扰就越低，其所能反应事实或让人相信的程度越高，因此在问卷实施前如何有效提高信度是问卷测验成败的关键。通常提高问卷信度的方法为：（1）适当延长问卷的长度

问卷题目较多，其在一定程度上排除了偶然因素的影响，从而提高了问卷的信度。但是问卷长度的增加与问卷的信度的增加并不总是成正比的，当信度系数较小时，延长问卷长度，问卷的信度系数增加较大；而当信度系数较大时，延长问卷长度对信度系数的影响就较小。（2）问卷的难度适中

当问卷题目难度太大时，问卷得分普遍过低；当问卷题目难度太小时，问卷得分普遍较高。问卷题目太难或太易都会使问卷得分差异减小，使实得分数方差减小，从而降低了问卷的信度。（3）问卷的内容尽量同质

内容同质的问卷，要求答卷者具有相同的能力、知识和技能。因而为了提高问卷的信度，问卷的内容应尽量保持同质。（4）测验的时间要充分

一份问卷应保证绝大多数答卷者在规定的时间内能完成测验。当答卷者不能从容地回答所有题目时，问卷的得分就不能反映答卷者的真实情况。（5）测验的程序要统一问卷题目要统一，指导语、回答问题的方式、分收试卷的方法和问卷测验的时间等都要统一，这些是问卷有较高信度的基本保证。四、信度分析实例

（example）例1某人在新入学的大学生中随机抽取40人，组织症状自评量表（SCL-90）测验，以了解新生心理健康的水平，及有针对性地进行心理教育和疏导，避免意外事件的发生。试就量表测验结果，对此次测验的可靠性进行分析SCL-90量表，包含90个题目，由受试者根据自己在最近一周以内的实际感受，在：没有、很轻、中等、偏重、严重各选项中选择一个答案，每个选项分别计为0，1，2，3，4分SCL-90分为9个因子，分别为躯体化、强迫症状、人际关系敏感、忧郁、焦虑、敌对性、恐怖、偏执和精神病性。分析对象为答卷者所选的五项答案得分，计算各因子得分和问卷总分。求各因子的各种信度系数和问卷总的信度系数表11-2各因子描述统计量在“Model:”选项中，SPSS提供5种信度分析模型:①Alpha:Cronbachα系数②Split-half:分半信度，又称Spearman-Brown系数,其应用的前提条件是两个分半表的信度和方差均满足齐性。③Guttman:Guttman分半信度，可不满足上述要求④Parallel:平行模型⑤StrictParallel:严格平行模型量表的cronbachα系数从菜单选择Analyze→Scale→ReliabilityAnalysis…→Item:a1/b2/c3/a4/．．．/j89/i90(共90个变量)→Model:Alpha→√Listitemlabels→OK

ReliabilityCoefficientsNofCases=40.0NofItems=90Alpha=0.9740量表有90个题目，量表总的Cronbachα系数为0.9740，信度较高。各因子的Cronbachα系数

操作过程从菜单选择Analyze→Scale→ReliabilityAnalysis…→Item:输入各因子的条目数a1/a4/a12/a27/a40/a42/a48/a49/a52/a53/a56/a58(躯体化因子，共12个变量)→Model:Alpha→OK量表的9个因子的Cronbachα系数分别为：躯体化0.8740；强迫0.8600；人际关系敏感0.7483；忧郁0.9445；焦虑0.8517；敌对性0.6009；恐怖0.9218；偏执0.7210；精神病性0.6461忧郁、恐怖、躯体化、强迫、焦虑因子的信度较高；人际关系敏感和偏执因子的信度尚可；但是敌对性和精神病性的信度偏低。从结果中我们还可以看出各项因子的Cronbachα系数小于问卷总的Cronbachα系数分半信度操作过程：从菜单选择Analyze→Scale→ReliabilityAnalysis…→Model：Split-half→ok总量表的分半信度

总量表分半信度计算结果:Reliability