研究工具性能的测定

1、研究工具性能的测定研究工具性能的测定教教 学学 目目 标标u掌握效度的概念和分类掌握效度的概念和分类u掌握信度的概念和分类掌握信度的概念和分类u熟悉计算信度的方法熟悉计算信度的方法u熟悉建立和测量效度的方法熟悉建立和测量效度的方法u了解国外量表的翻译步骤了解国外量表的翻译步骤第一节第一节 信度（信度（reliability)reliability)一、基本概念：一、基本概念：定义：定义：使用研究工具所获得的结使用研究工具所获得的结果的一致程度或准确程度果的一致程度或准确程度信度的三个主要特征信度的三个主要特征 稳定性稳定性内在一致性内在一致性等同性等同性稳定性稳定性 用同一工具两次或多次测定同

2、一研究用同一工具两次或多次测定同一研究对象，所得结果的一致程度。一致程度对象，所得结果的一致程度。一致程度越高，工具的稳定性越好。越高，工具的稳定性越好。 内在一致性内在一致性 组成研究工具的各项目之间的同质性组成研究工具的各项目之间的同质性 和内在相关性。内在相关性越大或同质性越和内在相关性。内在相关性越大或同质性越 好，工具的内在一致性越好，信度越高。好，工具的内在一致性越好，信度越高。 等同性等同性不同评定者使用相同工具同时测量相同不同评定者使用相同工具同时测量相同 对象时，评定者间的一致程度；或大致相同对象时，评定者间的一致程度；或大致相同 两个研究工具同时被用于研究对象，工具的两个研

3、究工具同时被用于研究对象，工具的 一致程度。一致程度。稳定性测量稳定性测量 内在一致性测量内在一致性测量 等同性测量等同性测量 重测信度重测信度 折半信度折半信度 评定者间信度评定者间信度 CronbachCronbach系数系数 KR-20KR-20值值 复本信度复本信度1 1、重测信度重测信度(test-retest reliability)(test-retest reliability)定义定义: : 用同一工具两次或多次测定同一研究对象所得用同一工具两次或多次测定同一研究对象所得结果的一致程度。结果的一致程度。 常表示研究工具的稳定性。一致程度越高，重测常表示研究工具的稳定性。一致程

4、度越高，重测信度越高，研究工具的稳定性越好。信度越高，研究工具的稳定性越好。计算方法：计算方法：使用研究工具对研究对象施行第一次测试使用研究工具对研究对象施行第一次测试, ,间隔一段间隔一段时间后使用同一工具对同一研究对象进行重测，然后时间后使用同一工具对同一研究对象进行重测，然后计算两次资料的相关系数，该系数反映研究工具重测计算两次资料的相关系数，该系数反映研究工具重测信度的高低。信度的高低。相关系数在相关系数在0 01 1之间，越接近之间，越接近1 1，说明重，说明重测信度越高。测信度越高。重重测测信信度度 研究对象第一次测试（X）第二次测试（Y）123272443833537453495

5、444662628732348282593834103936例：例：人格问卷重测数值表人格问卷重测数值表：第一次测试：第一次测试1010名研究对象各得分之和名研究对象各得分之和 第一次测试和第二次测试数据间的相关 系数即为人格问卷的重测信度。 公式如下：222222()()()()()()XYXYXX Y YnrXXY YXYXYnn：第二次测试：第二次测试1010名研究对象各得分之和名研究对象各得分之和：第二次测试：第二次测试1010名研究对象各得分平方之和名研究对象各得分平方之和：第一次测试：第一次测试1010名研究对象各得分平方之和名研究对象各得分平方之和XY2X2Y使用重测信度需考虑的

6、问题使用重测信度需考虑的问题1.1. 两次测量之间的间隔时间两次测量之间的间隔时间 （1 1）使第一次测量对第二次测量的结果不会造成影响；）使第一次测量对第二次测量的结果不会造成影响； （2 2）在客观情况未发生改变时进行）在客观情况未发生改变时进行； 2.2. 测量环境的一致测量环境的一致 尽量保证测量环境的一致，如相同的测试者、相同的尽量保证测量环境的一致，如相同的测试者、相同的测量程序、相同的测量时间、相同的测量环境等测量程序、相同的测量时间、相同的测量环境等工具所测量的变量的性质：工具所测量的变量的性质： 1 1）对性质相对稳定的问题，如个性、价值观、）对性质相对稳定的问题，如个性、价

7、值观、生活质量等进行测量，适宜用重测信度来表示研生活质量等进行测量，适宜用重测信度来表示研究工具的信度如何；究工具的信度如何； 2 2）对性质不稳定的问题，如情感、态度、知识）对性质不稳定的问题，如情感、态度、知识等进行测量，则不宜使用重测信度来表示研究工等进行测量，则不宜使用重测信度来表示研究工具的信度如何。具的信度如何。重重测测信信度度2、折半信度(split-half reliability) )定义：定义：将一种工具对一群人使用一次，将每个人的将一种工具对一群人使用一次，将每个人的结果分数按工具中各项目分成两组，计算两组分数的结果分数按工具中各项目分成两组，计算两组分数的相关系数。相关

8、系数。 常用来反映研究工具的内在一致性常用来反映研究工具的内在一致性方法方法: : 前后折半法前后折半法 奇偶折半法奇偶折半法缺点缺点: : 不同的折半方法会导致不同的结果不同的折半方法会导致不同的结果计算：计算：根据重测信度中列出的公式计算根据重测信度中列出的公式计算r r系系数，再使用数，再使用Spearman-BrownSpearman-Brown公式校正。公式校正。折折半半信信度度3 3、CronbachCronbach系数系数 计算研究工具中所有项目间的平均相关程度，计算研究工具中所有项目间的平均相关程度，反映研究工具的内在一致，避免了折半信度计算反映研究工具的内在一致，避免了折半信

9、度计算的缺点。的缺点。 系数值在系数值在0-10-1之间，越接近之间，越接近1 1，研究工具的内，研究工具的内在一致性越好，信度越好。在一致性越好，信度越好。 K K为整个调查表的条目数，为整个调查表的条目数，S Si i 为第为第i i个条个条目得分的方差，目得分的方差，S S为整个调查表得分的方差为整个调查表得分的方差。 KKSSi1122()4 4、KR-20KR-20值值 是是CronbachCronbach的一种特殊形式，用来反映的一种特殊形式，用来反映研究工具的内在一致性。适用于二分制的研究研究工具的内在一致性。适用于二分制的研究工具，如回答工具，如回答“是是”或或“否否”、“正确

10、正确”或或“错误错误”。5 5、评定者间信度和复本信度、评定者间信度和复本信度常用于测定研究工具的等同性常用于测定研究工具的等同性评定者间信度测量方法：评定者间信度测量方法： 不同评定者使用相同工具同时观察，计算观察者们的不同评定者使用相同工具同时观察，计算观察者们的观察结果之间的相关系数。观察结果之间的相关系数。复本信度测量方法：复本信度测量方法： 将两种不同形式的工具同时对一群对象测试，然后计将两种不同形式的工具同时对一群对象测试，然后计算两次工具得分的相关系数。算两次工具得分的相关系数。研究工具信度的基本要求研究工具信度的基本要求通常通过预试验测试研究工具的信度通常通过预试验测试研究工具

11、的信度2 2、报告研究工具的信度时，不仅要报告信度系数，还应、报告研究工具的信度时，不仅要报告信度系数，还应报告是何种信度，信度系数是如何计算的。报告是何种信度，信度系数是如何计算的。3 3、一般认为，研究工具重测信度和内部一致性信度系数、一般认为，研究工具重测信度和内部一致性信度系数最小应大于最小应大于0.70.7，0.90.9以上非常好。而评分者信度和复本以上非常好。而评分者信度和复本信度一般应达到信度一般应达到0.90.9以上以上。第二节第二节 效度（效度（validityvalidity）定义定义：某一研究工具能真正反映它所期望研究的概念的某一研究工具能真正反映它所期望研究的概念的程度

12、。程度。计算效度的方法：计算效度的方法： 表面效度表面效度 内容效度内容效度 结构效度结构效度 效标关联效度效标关联效度1 1、表面效度、表面效度(face validity)(face validity)定义定义: : 由评估人根据自己对所要测量的概念的理解，尽由评估人根据自己对所要测量的概念的理解，尽其断断能力之所及来断定工具是否恰当。属于一种直觉其断断能力之所及来断定工具是否恰当。属于一种直觉判断。判断。方法：方法：从表面上检查工具的性质从表面上检查工具的性质缺点缺点: : 1. 1. 缺少实际证据证明工具一定有效。缺少实际证据证明工具一定有效。 2. 2. 对工具的效度用对工具的效度用

13、“有或无有或无”反映，未反映，未 体现程度。体现程度。表表面面效效度度2 2、内容效度、内容效度(content validity)(content validity)定义：定义： 根据理论基础及实际经验对工具是否反映了所要测根据理论基础及实际经验对工具是否反映了所要测量的变量、包括足够项目而且有恰当的内容分配比量的变量、包括足够项目而且有恰当的内容分配比例等所作出的判断。有时也称专家效度例等所作出的判断。有时也称专家效度。方法：方法： 从内容上检查工具的性质从内容上检查工具的性质实施要求：实施要求： 1 1、专家人数、专家人数3-103-10人，以人，以5 5人较合适人较合适 2 2、专家的

14、选择应与研究工具所涉及的领、专家的选择应与研究工具所涉及的领域有关域有关 3 3、两次评议时间最好间隔、两次评议时间最好间隔10-1410-14天天内内容容效效度度3 3、效标关联效度、效标关联效度 （criterion-related validity)criterion-related validity)定义：定义：反映研究工具与其他测量标准之间的关系反映研究工具与其他测量标准之间的关系。分类：分类： 同时效度同时效度 预测效度预测效度同时效度：同时效度：测量研究工具与现有标准之间的相关测量研究工具与现有标准之间的相关关系。关系。预测效度：预测效度：测量工具作为未来事情预测指标的有测量工具

15、作为未来事情预测指标的有效程度。效程度。同时效度和预测效度的主要区别：同时效度和预测效度的主要区别： 时间差异时间差异效效标标效效度度4 4、结构效度、结构效度(construction validity)(construction validity)定义：定义： 反映工具与其所依据的理论或概念框架的相反映工具与其所依据的理论或概念框架的相吻合程度。吻合程度。方法. . 探索性探索性因素分析因素分析因素分析法因素分析法验证性验证性因素分析因素分析结结构构效效度度评价：评价： 结构效度是目前最为严谨的一种建立和测量研究结构效度是目前最为严谨的一种建立和测量研究工具效度的方法，也是最为复杂的效度研

16、究方法。工具效度的方法，也是最为复杂的效度研究方法。结结构构效效度度信度和效度关系信度和效度关系信度是效度的必要前提信度是效度的必要前提l高信度不能代表高效度高信度不能代表高效度l低信度则可以肯定低效度低信度则可以肯定低效度2 2、效度是信度的必然保证、效度是信度的必然保证l有效度的工具一定有信度有效度的工具一定有信度l有信度的工具未必有效度有信度的工具未必有效度高信度、低效度高信度、低效度高信度、高效度高信度、高效度 低信度、低效度低信度、低效度 第三节第三节 国外量表的翻译和应国外量表的翻译和应用过程的性能测定用过程的性能测定 翻译和应用国外量表的原则：翻译和应用国外量表的原则： 1 1、

17、不偏离原文的原意、不偏离原文的原意 2 2、适合中国的文化特点、适合中国的文化特点 3 3、译后的量表具有较好的信度和效度、译后的量表具有较好的信度和效度翻译国外量表的步骤：翻译国外量表的步骤：翻译回译检译1 1、翻译、翻译l两个或多个既熟悉原量表语言又有较好汉语功底的两个或多个既熟悉原量表语言又有较好汉语功底的翻译者将国外量表翻译成中文；翻译者将国外量表翻译成中文；l注意直译与意译结合，使更适合中国文化特点；注意直译与意译结合，使更适合中国文化特点；l多个翻译版本进行集体讨论后形成中文版本的量表。多个翻译版本进行集体讨论后形成中文版本的量表。2 2、回译回译l请语言功底好、对源量表不知情的一位或多位翻译者将请语言功底好、对源量表不知情的一位或多位翻译者将翻译成中文的量表再翻译回去；翻译成中文的量表再翻译回去；l将原量表与回译后的量表进行细致比较和分析，找出不将原量表与回译后的量表进行细致比较和分析，找出不同的部分，并对中文版的相应内容进行修改；同的部分，并对中文版的相应内容进行修改；l修改后的中文版进行表面效度检验。修改后的中文版进行表面效度检验。3 3、检译、检译l寻找一定数量的既懂中文又懂源语言的样本对两寻找一定数量的既懂中文又懂源语言的样本对两种语言版本的量表进行作答，计算不同语言版本种语言版本的量表进行