研究工具性能的测定

研究工具性能的测定教学目标掌握效度的概念和分类掌握信度的概念和分类熟悉计算信度的方法熟悉建立和测量效度的方法了解国外量表的翻译步骤第一节信度（reliability)一、基本概念：定义：使用研究工具所获得的结果的一致程度或准确程度信度的三个主要特征

稳定性内在一致性等同性稳定性

用同一工具两次或多次测定同一研究对象，所得结果的一致程度。一致程度越高，工具的稳定性越好。

内在一致性组成研究工具的各项目之间的同质性和内在相关性。内在相关性越大或同质性越好，工具的内在一致性越好，信度越高。

等同性

不同评定者使用相同工具同时测量相同对象时，评定者间的一致程度；或大致相同两个研究工具同时被用于研究对象，工具的一致程度。二、信度的计算方法稳定性测量内在一致性测量等同性测量重测信度折半信度评定者间信度

Cronbach’α系数

KR-20值复本信度

1、重测信度(test-retestreliability)

定义:

用同一工具两次或多次测定同一研究对象所得结果的一致程度。常表示研究工具的稳定性。一致程度越高，重测信度越高，研究工具的稳定性越好。

计算方法：

使用研究工具对研究对象施行第一次测试,间隔一段时间后使用同一工具对同一研究对象进行重测，然后计算两次资料的相关系数，该系数反映研究工具重测信度的高低。相关系数在0～1之间，越接近1，说明重测信度越高。重测信度

研究对象第一次测试（X）第二次测试（Y）123272443833537453495444662628732348282593834103936例：人格问卷重测数值表：第一次测试10名研究对象各得分之和

第一次测试和第二次测试数据间的相关系数即为人格问卷的重测信度。公式如下：：第二次测试10名研究对象各得分之和：第二次测试10名研究对象各得分平方之和：第一次测试10名研究对象各得分平方之和使用重测信度需考虑的问题

1.

两次测量之间的间隔时间

（1）使第一次测量对第二次测量的结果不会造成影响；（2）在客观情况未发生改变时进行；

2.

测量环境的一致尽量保证测量环境的一致，如相同的测试者、相同的测量程序、相同的测量时间、相同的测量环境等

3.

工具所测量的变量的性质：

1）对性质相对稳定的问题，如个性、价值观、生活质量等进行测量，适宜用重测信度来表示研究工具的信度如何；

2）对性质不稳定的问题，如情感、态度、知识等进行测量，则不宜使用重测信度来表示研究工具的信度如何。重测信度

2、折半信度(split-halfreliability)

定义：将一种工具对一群人使用一次，将每个人的结果分数按工具中各项目分成两组，计算两组分数的相关系数。

常用来反映研究工具的内在一致性方法:

前后折半法奇偶折半法缺点:

不同的折半方法会导致不同的结果计算：根据重测信度中列出的公式计算r系数，再使用Spearman-Brown公式校正。折半信度3、Cronbach’α系数

计算研究工具中所有项目间的平均相关程度，反映研究工具的内在一致，避免了折半信度计算的缺点。

系数值在0-1之间，越接近1，研究工具的内在一致性越好，信度越好。K为整个调查表的条目数，Si

为第i个条目得分的方差，S为整个调查表得分的方差。4、KR-20值

是Cronbach’α的一种特殊形式，用来反映研究工具的内在一致性。适用于二分制的研究工具，如回答“是”或“否”、“正确”或“错误”。

5、评定者间信度和复本信度

常用于测定研究工具的等同性评定者间信度测量方法：不同评定者使用相同工具同时观察，计算观察者们的观察结果之间的相关系数。复本信度测量方法：将两种不同形式的工具同时对一群对象测试，然后计算两次工具得分的相关系数。研究工具信度的基本要求1、通常通过预试验测试研究工具的信度2、报告研究工具的信度时，不仅要报告信度系数，还应报告是何种信度，信度系数是如何计算的。3、一般认为，研究工具重测信度和内部一致性信度系数最小应大于0.7，0.9以上非常好。而评分者信度和复本信度一般应达到0.9以上。第二节效度（validity）定义：某一研究工具能真正反映它所期望研究的概念的程度。计算效度的方法：表面效度内容效度结构效度效标关联效度

1、表面效度(facevalidity)定义:

由评估人根据自己对所要测量的概念的理解，尽其断断能力之所及来断定工具是否恰当。属于一种直觉判断。方法：从表面上检查工具的性质缺点:

1.缺少实际证据证明工具一定有效。

2.对工具的效度用“有或无”反映，未体现程度。表面效度

2、内容效度(contentvalidity)定义：

根据理论基础及实际经验对工具是否反映了所要测量的变量、包括足够项目而且有恰当的内容分配比例等所作出的判断。有时也称专家效度。方法：从内容上检查工具的性质实施要求：

1、专家人数3-10人，以5人较合适

2、专家的选择应与研究工具所涉及的领域有关

3、两次评议时间最好间隔10-14天内容效度

3、效标关联效度

（criterion-relatedvalidity)定义：反映研究工具与其他测量标准之间的关系。分类：

同时效度预测效度同时效度：测量研究工具与现有标准之间的相关关系。预测效度：测量工具作为未来事情预测指标的有效程度。同时效度和预测效度的主要区别：时间差异效标效度

4、结构效度(constructionvalidity)定义：

反映工具与其所依据的理论或概念框架的相吻合程度。方法.探索性因素分析因素分析法验证性因素分析结构效度评价：

结构效度是目前最为严谨的一种建立和测量研究工具效度的方法，也是最为复杂的效度研究方法。结构效度信度和效度关系1、信度是效度的必要前提高信度不能代表高效度低信度则可以肯定低效度2、效度是信度的必然保证有效度的工具一定有信度有信度的工具未必有效度高信度、低效度····················高信度、高效度·······

低信度、低效度

第三节国外量表的翻译和应用过程的性能测定

翻译和应用国外量表的原则：

1、不偏离原文的原意

2、适合中国的文化特点

3、译后的量表具有较好的信度和效度翻译国外量表的步骤：翻译回译检译翻译回译检译1、翻译两个或多个既熟悉原量表语言又有较好汉语功底的翻译者将国外量表翻译成中文；注意直译与意译结合，使更适合中国文化特点；多个翻译版本进行集体讨论后形成中文版本的量表。2、回译请语言功底好、对源量表不知情的一位或多位翻译者将翻译成中文的量表再翻译回去；将原量表与回译后的量表进行细致比较和分析，找出不同的部分，并对中文版的相应内容进行修改；修改后的中文版进行表面效度检验。3、检译寻找一定数量的既懂中文又懂源语言的样本对两种语言版本的量表进行作答，计算不同语言版本的量表得分的相关性