信度和效度测量

1、l测量理论l信度l效度l信度与效度的关系l信度与效度的分类及Stata计算l信度与效度的影响因素l提高信度与效度的途径正如很多教科书所说：信度是指测试方法不受随机误差干扰的程度，反映正如很多教科书所说：信度是指测试方法不受随机误差干扰的程度，反映测试结果的一致性和稳定性测试结果的一致性和稳定性(consistency, and stability)。它反映测试的准确性它反映测试的准确性( (accuracyaccuracy) )，即在多大程度上，即在多大程度上测量了想要测的内容。测量了想要测的内容。T可以证明：可以证明：l总而言之，信度和效度相互排斥又相互依存；没有信度就总而言之，信度和效度相

2、互排斥又相互依存；没有信度就不可能有效度；没有效度，信度就毫无意义；高信度可能不可能有效度；没有效度，信度就毫无意义；高信度可能带来低效度；高效度也可能带来低信度。带来低效度；高效度也可能带来低信度。l信度主要分为四大类：信度主要分为四大类：l重测信度重测信度(Test-retest Reliability)l复本信度复本信度(Alternate-form Reliability)l内部一致性系数内部一致性系数(Internal Consistency Reliability)l评分者信度评分者信度(Scorer Reliability)l重测信度反映两次测量结果的相关程度。对于分类变量，可采

3、用Cohens kappa系数来测量：12015/ 500.725302520505050500.30.20.50.70.50.4110.5aeeaeaeaeeppK appakpppppppkp系 数 ：其 中是 两 次 观 测 的 实 际 一 致 率 ，是 两 次 观 测 的 期 望 一 致 率 。以 右 表 为 例 ：BA好坏合计好20525坏101525合计302050将上表恢复为原始数据集后，采用Stata的kappa命令可得如下结果：Kappa 系数大于0. 75 表示重测信度很好, 在0. 4 0. 75 表示较好,而低于0. 4 表示较差。如果结果显示某个问卷(量表)项目的Ka

4、ppa 系数低于0. 4 , 则要考虑修改或删除该项目。l对于连续变量，可采用Ronald Fisher(1954)提出的ICC (Intraclass Correlation Coefficient )系数来测量：l两种相关系数的本质区别在于均值和方差计算不同。在计算连续变量的重测信度时，应采用rFisher系数更准确。12Fisher11212221211111()21()()21nipipippnpiiinnpipipiixxxxrnssxxxnsxxxxnPearson1221122111111,()11,()niiixynnixiiinniyiiixxyyrnssxx sxxnnyy

5、 syynn一般来说, ICC 大于0. 75 表示极好, ICC 在0. 6 0. 75 表示较好。通通常常的的相相关关系系数：数：Stata命令：命令：For rpearsoncorr var1 var2For rFisherloneway var1 var2l复本信度是指用母本和复本两次等值测评结果的一致性程度。它的计算与重测信度相似，即计算母本和复本测评数据的相关性。当测评结果为分数或数值时，用rPearson法或rFisher计算；当测评结果为等级或名次时，用斯皮尔曼等级相关系数 (Spearman Rank Correlation)。这些方法的适用性和差异见下表：l从表中数字可以看

6、出，工人的考试成绩愈高其产量也愈高，二者之间的联系程度较一致，rPearson=0.691；并不算太高，这可能由于它们之间的关系并不是线性的。l如果分别按考试成绩和产量高低变换成等级(见上表第3、4列)，则可以计算它们之间的斯皮尔曼等级相关系数为1。计算斯皮尔曼等级相关系数可以将数据变换成等级以后用原有的相关系数公式计算，也可以先算出每一对样本的等级之差di，结合样本量n；再用下列公式计算： 21Spearman Rank261(1)niidrn n 上例中由于等级完全一致，所有di = 0，所以r-spearman rank =1 。Stata命令：命令：For r-spearman ran

7、k spearman var1 var2()(),21hhSpearman BrownhrrrrFlanagan 内部一致性系数反映调查问卷 量表 各个问项 项目间相关的程度 这些问项应该反映同一独立概念的不同侧面。它通常采用折半信度测量。具体办法是：将问卷（量表）中所有项目分为对等的两部分，然后计算两部分的相关系数,即折半信度 。然后，据此推算整个问卷(量表)信度： 通常地，前半部分问卷和后半部分问卷的方差不相等，将其拓2222222 1()abFlanagana baba bssrssss展为： 其中 ， ，分别为前半部分、后半部分和整个问卷 量表 的方差。21222()Cronbach(

8、),:11 j; kjjmXjXXXskksss 当问卷(量表)的问项 项目总数为奇数，无法分成为对等的两部分时,则用的 系数，它表示问卷 量表 测量结果总变异中由不同被试者导致的比例占多少 即 其中，为所有受访者第 问项答案的方差为所有受访者、所有问项答案的方差为问项题目总数。Cronbachs 系数越大表示问卷项目间相关性越好, 内部一致性信度越高。一般而言,大于0. 8 表示内部一致性极好,在0. 6 0. 8 表示较好,而低于0. 6 表示内部一致性较差。在实际应用上,Cronbachs 值至少要大于0. 5 ,最好能大于0. 7 (Nunnally ,1978) 。Stata命令：命

9、令：For rCronbach alpha var1 var2l当评分者为两人时，评分者信度是通过对同一组被试测评分数之间的相关系数来鉴定，可使用积差相关(rPearson,rFisher) 法或等级相关法(rspearman rank)。l当评分者为两人以上，并用等级计分(其他形式的分数要转化为等级)，则用肯德尔和谐系数来测量评分者信度。2211kandall-1232211kandall-2233111()1()121()1()()12, ,nniiiiinniiiiknijijjiinrknnknrknnkttn k(1)同一评价者对各被评对象：为每个被评对象所得到的等级之和；n为被评价

10、对象数量； 为评价者数量。(2)同一评价者对各被评对象：与上无相同等级评定时有相同等级评定时jijt面相同； 为第 个评价者对第i个被评对象所评结果中的相同等级数量。Stata命令：命令：For rKendall ktau var1 var2i2i应聘者评等级面试官一二三四五六A312546B213456C321546D412635E312645F421536198113123343616412196152911566621122211kandall-12323126;319211()319212660.8711()6 (66)1212iiiinniiiinrknn根据右表可知：n=6,k=6

11、例题： 6名面试考官对6名应聘者的综合素质进行了测评，评分经等级转换如下表所示，试分析评分者信度。i2i应聘者评等级面试官ABCDEF甲142.5562.5乙231564丙1.531.545.55.54.51051417.51220.2510025196306.2514462112211kandall-22331122333363;791.51()1()()121791.5636 0.8513(66) 3(22) (22) (22)12niiiinniiiiknijijjinrk nnktt 根据右表可知：n=6,k=3例题： 3名面试考官对6名应聘者的综合素质进行了测评，评分经等级转换如下表

12、所示，试分析评分者信度。l信度主要分为三大类：信度主要分为三大类：l内容效度内容效度(Content Validity) 抽样效度(Sampling Validity) 表面效度(Face Validity)l效标关联效度效标关联效度(Criterion-Related Validity) 同时效度(Concurrent Validity) 预测效度(Predictive Validity)l构思效度构思效度(Construct Validity) 收敛效度(Convergent Validity) 区分效度(Discriminant Validity)l在招聘和甄选过程中，通常涉及内容效度和

13、效标关联效度。内容效度是指测评内容反映测量目标(如知识、技能和行为等)的程度。一个测验要具备较好的内容效度必须满足以下两个条件： 一、要确定好内容范围，并使测验的全部项目均在此范围内(抽样效度)。它既可以是具体知识或技能，也可以是复杂行为。 二、测验项目应是已界定的内容范围的代表性样本(表面效度)。也即选出的项目能包含所测的内容范围的主要方面，并且使各部分项目所占比例适当。 l确定测验内容效度常用的方法是由专家对测验项目与所涉及的内容范围进行符合性判断，这是一种定性分析的方法。l这个效度产生的过程是：首先进行职务分析，确定完成该职位任务所需进行的工作，需具备的技能和能力；其次，确定衡量这些特征

14、的测试题目。最后，请相关领域专家就这些测试题目是否涵盖了有效地内容进行评估和筛选。l效标关联效度是指问卷(量表)测量结果和效度标准(被假设或定义为有效的某种外在标准)之间的一致程度。l根据效度标准获取的时间可分为:同时效度和预测效度。同时效度和预测效度的大小直接反映了问卷(量表)效标关联效度的高低。l(1)同时效度(Concurrent Validity) ,即同时在研究对象中进行测评和效度标准测量得到的结果之间的相关程度,其效度系数通常较低,多在0. 200. 60之间,很少超过0. 70 ,一般以0. 40. 8 之间较理想。l例如：在招聘应届毕业生时，可将应聘大学生的面试和笔试综合分数与

15、其在校综合测评成绩(效标)进行相关性分析。l(2)预测效度(Predictive Validity) ,它是指问卷(量表)测量结果经过一段时间后与未来实际结果予以相关性分析,两者之间的吻合程度。l例如：对于被录用者，可以将招聘测试分数与一段时间(半年或一年)之后的工作业绩考核结果进行比较。若这些人的工作绩效和招聘测试分数呈现密切相关关系时，说明招聘方法是有效的，可以推广到人员甄选与选拔中去。l分析效标关联效度的通常作法是对问卷(量表)测量结果与有效标准进行相关分析,相关系数越大表示问卷(量表)的效标关联效度越好,一般认为相关系数在0. 40. 8 比较理想。l若为连续型变量，计算Pearson

16、 或Fisher相关系数,若为分类变量，则计算Kendall 或Spearman 等级相关系数。一般而言, 相关系数在0. 40. 8 比较理想。l常被翻译为：架构效度，构想效度和结构效度等等。它是指测评所能衡量到理论上期望的特征的程度,即问卷(量表)所要测量的概念能显示出科学的意义并符合理论上的设想,它是通过与理论假设相比较来检验的,因此也被称为理论效度。构思效度比较复杂，超出了本科生人力资源管理专业学生的学习范围，故省略之。l被试方面l主试方面l施测情景方面l测量工具方面l两次施测的时间间隔l适当增加测验的长度。l使测试题难度分布接近正态分布，并控制在中等水平。l努力提高测验试题的区分度。l选取适当的被试团体，提高测验在同质性较强的亚团体上的信度。l主试严格执行实测规程，评分者严格按标准给分。l实测场地按测验手册要求布置，减少无关因素的干扰。l测验的构成l测验的实施过程l接受测验的被试l精心编制测验量表，避免出现较大的系统误差。l妥善组织测验，控制随机误差。l创设标准的应试情景，让每个被试都能充分发挥正常水平。l选择正确的效标，定好恰当的效标测量，正确地使用