护理研究工具性能测定课件

第八章研究工具性能的测定第八章研究工具性能的测定1教学目的和要求掌握信度的概念和分类掌握效度的概念和分类掌握信度与效度的关系熟悉信度和效度的测量方法了解国外量表翻译的基本步骤教学目的和要求掌握信度的概念和分类2做任何研究之前，首先要想好选用什么样的研究工具？这个研究工具到底在不在测量你想要测量的概念？用什么来测量，准不准确？做任何研究之前，首先要想好选用什么样的研究工具？3凡是通过测量工具得到的结果,无论是通过测定仪器得到的硬数据(如物理测定),还是通过测定量表、问卷得到的软数据(如心理测定、考试等)均需进行信度和效度分析；信度与效度评价的对象可以是整个测定量表(对整个量表评价),也可以是各个方面或领域(对领域评价),还可以是具体的条目(对条目评价)【1】【1】倪宗瓒.医学统计学［M］.北京：高等教育出版社，2003.230-239.凡是通过测量工具得到的结果,无论是通过测定仪器得到的硬数据(4信度和效度是用来反映研究工具质量高低的两个指标，高信度和高效度的研究工具是良好科研的必需条件。Wecan’tstudywellwhatwecan’tmeasurewell.信度和效度是用来反映研究工具质量高低的两个指标，高5第一节、信度一、概念

信度（reliability）是指使用某研究工具所获得结果的一致程度或准确程度。

一个体重70公斤的患者在15分钟内称了三次体重，结果为：60kg70kg80kg?第一节、信度一个体重70公斤的患者在15分钟内称了三次体6二、信度的三个主要特征

稳定性内在一致性等同性二、信度的三个主要特征稳定性内在一致性等同性7稳定性

用同一工具两次或多次测定同一研究对象，所得结果的一致程度。一致程度越高，工具的稳定性越好。稳定性用同一工具两次或多次测定同一研究对象，所得结8

内在一致性

组成研究工具的各项目之间的同质性和内在相关性。内在相关性越大或同质性越好，工具的内在一致性越好，信度越高。内在一致性9

等同性

不同评定者使用相同工具同时测量相同对象时，评定者间的一致程度；或大致相同两个研究工具同时被用于研究对象，工具的一致程度。等同性10三、信度的计算方法稳定性测量内在一致性测量等同性测量

重测信度折半信度评定者间信度Cronbach’α系数KR-20值复本信度三、信度的计算方法稳定性测量内在一致性测量等同性11三、信度的计算方法（一）重测信度

(test-retestreliability)

（稳定性）

1.定义：是用同一测量工具在不同的时间对同一群受试者前后测量两次，然后计算两次测量分数的相关系数，相关系数越大说明两次测量的一致性越高。一致程度越高，重测信度越高，研究工具的稳定性越好。三、信度的计算方法（一）重测信度(test-retest12重测信度(test-retestreliability)重测信度的具体做法是先进行第一次测试，隔一段时间后进行重测，然后计算两次测试结果的相关系数。重测对象一般要达到总研究数目的1/10。相关系数在0～1之间，越接近1，说明重测信度越高。一般而言,重测信度系数能达到0.70以上即可.不足之处在于计算结果会受多种因素影响。例如时间、受测对象第二次反应、态度和记忆力等

重测信度(test-retestreliability)13研究对象第一次测试（X）第二次测试（Y）123272443833537453495444662628732348282593834103936例：人格问卷重测数值表研究对象第一次测试（X）第二次测试（Y）12327214

3.使用重测信度需考虑的问题（1）两次测量之间的间隔时间

第一次的测量对第二次的测量不会产生影响；

在客观情况未发生改变时进行；1-2W颇为常用。（2）研究工具所测量的变量的性质：

评估性质相对稳定问题，如个性、价值观、生活质量等；而诸如情感、态度、知识不稳定的变量，则不宜使用（3）测量环境的一致性

相同的测试者，相同的程序，相同的测量时间及相似的周围环境

3.使用重测信度需考虑的问题15（二）折半信度、Cronbach‘α系数与KR值此三种方法用来反映工具的内在一致性。当研究工具包含多条项目时，需要对各项目之间的关系进行评定。内在一致性（internalconsistency）指各项目之间的同质性或内在相关性,内在相关性越好，说明组成研究工具的各项目都在一致地测量同一个问题或指标，也就是说明工具的内在一致性越好，信度越高.（二）折半信度、Cronbach‘α系数与KR值此三种方法16例如：一个量表，有12个条目，旨在测量乳腺癌放疗术后的疲乏程度。这些题目之间不仅存在着相关性，更能互相补充。例如：17(1)折半系数：折半系数是测定内在一致性的最古老方法，具体方法是将项目分成两部分，分别记分，对两个部分进行相关分析，然后采用Spearman-Brown公式计算信度

方法:

前后折半法奇偶折半法（常用此法）(1)折半系数：折半系数是测定内在一致性的最古老方法，具体方18计算：只用一个测量工具对同一群受试者实施一次测量，但将奇数题和偶数题分开计分，再计算奇数试题和偶数试题分数之间的相关系数。缺点:

不同的折半方法会导致不同的结果折半信度计算：折19(2)Cronbach’α相关系数与KR-20值：Cronbach’α与KR20值所计算的是工具中所有项目的平均相关程度，避免了折半信度计算的缺点。与Cronbach’α不同的是KR-20值适用于二分制的研究工具（包含两种反应，例如回答“是”或“不是”）的一种方法。(2)Cronbach’α相关系数与KR-20值：20Cronbach’α是描述一个研究工具信度时最常用的一种方法。α系数越大表示条目间相关性越好，一般而言，α大于0.8表示内部一致性极好，α在0.7到0.8表示较好，而低于0.7表示内部一致性较差。Cronbach’α是描述一个研究工具信度时最常用的一种方法21（三）、评定者间信度和复本信度评定者间信度测量方法：

不同评定者使用相同工具同时观察，计算观察者们的观察结果之间的相关系数。如：为调查ICU护士的压力，观察她们工作的紧张程度。复本信度测量方法：将两种不同形式的工具同时对一群对象测试，然后计算两次工具得分的相关系数。相关系数越大说明两个复本构成带来的变异越小。比较少见（三）、评定者间信度和复本信度评定者间信度测量方法：22研究工具信度的基本要求通常通过预试验测试研究工具的信度。在进行预试验时，一般选取10-20例样本进行信度测量。报告研究工具的信度时，不仅要报告信度系数，还应报告是何种信度，信度系数是如何计算的。一般认为，研究工具重测信度和内部一致性信度系数最小应大于0.7。而评定者信度和复本信度一般应达到0.9以上。研究工具信度的基本要求通常通过预试验测试研究工具的信度。23Q：自己制作的问卷里面的一般资料问卷需不需要信度的检测呢？A：信度是针对概念的，人口统计学内容（如年龄、性别、出生地、教育程度、婚姻状况、收入、家庭成员数量等）一般不必进行信度检验，因为测量这些内容不太可能有测量误差。Q：自己制作的问卷里面的一般资料问卷需不需要信度的检测呢？24第二节效度效度（validity）是指某一研究工具能真正反映它所期望研究的概念的程度。反映研究概念的程度越好，效度越高。效度(Validity)即有效性，指此测验测查到所要测查的没有？测查到何种程度？如一个智力测验，若测验结果所表明的确实是受试的智力，而且量准了智力水平，那么这一智力测验的效度好；反之则不好。第二节效度25计算效度的方法：一、表面效度(facevalidity)二、内容效度(contentvalidity)三、效标关联效度(criterion-relatedvalidity)四、结构效度(constructionvalidity)计算效度的方法：26一、表面效度

定义：由评估人根据自己对所要测量的概念的理解，尽其断断能力之所及来断定工具是否恰当。属于一种直觉判断。表面效度是最浅层次上的效度，它指的是从表现上看起来，测验题目是否与测验目的一致。例如，调查护生对护理专业的认识态度一、表面效度定义：由评估人根据自己对所要测量的概念27缺点:

1.对工具的效度用“有或无”反映，未体现程度。2.表面效度一般不能作为工具质量的有力证据。表面效度缺点:表28二、内容效度定义：是根据理论基础及实际经验来对工具是否包括足够的项目而且有恰当的内容比例分配所做出的判断。有时也称专家效度。方法：从内容上检查工具的性质。二、内容效度定义：是根据理论基础及实际经验来对工具是否包括足29二、内容效度例如：

教师在讲授了一段时间课程之后就要进行考试，而试卷不可能包含所有内容，只能从中选出一个代表性样本来测试，再根据分数来推论学生在该范围内的知识技能的掌握情况。如果测试题目是该范围内容的好样本，推论就有效。二、内容效度例如：30二、内容效度一个测验要具备较好的内容效度必须满足两个条件。

①要确定好内容范围，并使测验的全部项目均在此范围内。所谓内容范围可以是具体知识或技能，也可以是复杂行为。②测验项目应是已界定的内容范围的代表性样本。换句话说，就是选出的项目能包含所测的内容范围的主要方面，并且使各部分项目所占比例适当。如：老师出试卷，命题蓝图，主任审核等。二、内容效度一个测验要具备较好的内容效度必须满足两个条件。31实施要求：

1、专家人数3-10人，以5人较合适2、专家的选择应与研究工具所涉及的领域有关3、两次评议时间最好间隔10-14天内容效度实施要求：内32计算方法：CVR：内容效度比计算方法：33三、效标关联效度定义：

反映研究工作与其他测量标准之间的关系。分类:

同时效度预测效度三、效标关联效度定义：34同时效度：测量研究工具与现有标准之间的相关关系。预测效度：测量工具作为未来事情预测指标的有效程度。同时效度和预测效度的主要区别：

时间差异效标效度同时效度：测量研究工具与现有标准之间的相关关系。效35同时效度：

判断腋温是否是测量体温的有效方法预测效度：

推测病人压疮发生的机率同时效度：36四、结构效度定义：反映工具与其所依据的理论或概念框架的相吻合程度。重点是了解工具的内在属性，而不是使用工具测得的分数。它主要回答“该工具到底在测量什么？”，“使用该工具能否测量出被研究的抽象概念？”这类问题，反映工具所依据理论或概念构架的程度。四、结构效度定义：反映工具与其所依据的理论或概念框架的相吻37方法.探索性因素分析因素分析法验证性因素分析结构效度方法.38评价：

结构效度是目前最为严谨的一种建立和测量研究工具效度的方法，也是最为复杂的效度研究方法。结构效度评价：结39信度与效度信度和效度都不是“有或无”，而是表示一个程度的问题。对一个研究工具来说，信度和效度并非是截然孤立的。信度是效度的必要前提效度是信度的必然保证信度与效度信度和效度都不是“有或无”，而是表示一个程度的问题40信度与效度的关系信度是效度的必要条件，但不是充分条件。一个测量工具要有效度必须有信度，没有信度就没有效度；但是有了信度不一定有效度。信度低，效度不可能高。因为如果测量的数据不准确，也并不能有效地说明所研究的对象。信度高，效度未必高。例如，量了错误的概念。有效度必定有信度；效度高，信度也必然高。信度与效度的关系信度是效度的必要条件，但不是充分条件。一个测41高信度、低效度····················高信度、高效度高信度、低效度····················高信度42·······低信度、低效度·······低信度、低效度43

第三节国外量表的翻译和应用过程的性能测定

翻译和应用国外量表的原则：

1、不偏离原文的原意2、适合中国的文化特点3、译后的量表具有较好的信度和效度第三节国外量表的翻译和应用过程的性能测定翻译和应用国外44翻译国外量表的步骤翻译回译检译翻译回译检译翻译国外量表的步骤翻译回译检译翻译回译检译451、翻译两个或多个既熟悉原量表语言又有较好汉语功底的翻译者将国外量表翻译成中文；注意直译与意译结合，使更适合中国文化特点；多个翻译版本进行集体讨论后形成中文版本的量表。1、翻译两个或多个既熟悉原量表语言又有较好汉语功底的翻译者将462、回译请语言功底好、对源量表不知情的一位或多位翻译者将翻译成中文的量表再翻译回去；将原量表与回译后的量表进行细致比较和分析，找出不同的部分，并对中文版的相应内容进行修改；修改后的中文版进行表面效度检验。2、回译请语言功底好、对源量表不知情的一位或多位翻译者将翻译473、检译寻找一定数量的既懂中文又懂源语言的样本对两种语言版本的量表进行作答，计算不同语言版本的量表得分的相关性。相关程度越高，表示两种版本的等同性越好。使用中文版本进行预试验，检测中文版量表的内在一致性，并了解量表文字是否易于理解和符合中国人的表达习惯。3、检译寻找一定数量的既懂中文又懂源语言的样本对两种语言版本48教学目的回顾掌握效度的概念和分类掌握信度的概念和分类掌握信度与效度的关系熟悉信度和效度的测量方法了解国外量表翻译的基本步骤教学目的回顾掌握效度的概念和分类49谢谢谢谢50第八章研究工具性能的测定第八章研究工具性能的测定51教学目的和要求掌握信度的概念和分类掌握效度的概念和分类掌握信度与效度的关系熟悉信度和效度的测量方法了解国外量表翻译的基本步骤教学目的和要求掌握信度的概念和分类52做任何研究之前，首先要想好选用什么样的研究工具？这个研究工具到底在不在测量你想要测量的概念？用什么来测量，准不准确？做任何研究之前，首先要想好选用什么样的研究工具？53凡是通过测量工具得到的结果,无论是通过测定仪器得到的硬数据(如物理测定),还是通过测定量表、问卷得到的软数据(如心理测定、考试等)均需进行信度和效度分析；信度与效度评价的对象可以是整个测定量表(对整个量表评价),也可以是各个方面或领域(对领域评价),还可以是具体的条目(对条目评价)【1】【1】倪宗瓒.医学统计学［M］.北京：高等教育出版社，2003.230-239.凡是通过测量工具得到的结果,无论是通过测定仪器得到的硬数据(54信度和效度是用来反映研究工具质量高低的两个指标，高信度和高效度的研究工具是良好科研的必需条件。Wecan’tstudywellwhatwecan’tmeasurewell.信度和效度是用来反映研究工具质量高低的两个指标，高55第一节、信度一、概念

信度（reliability）是指使用某研究工具所获得结果的一致程度或准确程度。

一个体重70公斤的患者在15分钟内称了三次体重，结果为：60kg70kg80kg?第一节、信度一个体重70公斤的患者在15分钟内称了三次体56二、信度的三个主要特征

稳定性内在一致性等同性二、信度的三个主要特征稳定性内在一致性等同性57稳定性

用同一工具两次或多次测定同一研究对象，所得结果的一致程度。一致程度越高，工具的稳定性越好。稳定性用同一工具两次或多次测定同一研究对象，所得结58

内在一致性

组成研究工具的各项目之间的同质性和内在相关性。内在相关性越大或同质性越好，工具的内在一致性越好，信度越高。内在一致性59

等同性

不同评定者使用相同工具同时测量相同对象时，评定者间的一致程度；或大致相同两个研究工具同时被用于研究对象，工具的一致程度。等同性60三、信度的计算方法稳定性测量内在一致性测量等同性测量

重测信度折半信度评定者间信度Cronbach’α系数KR-20值复本信度三、信度的计算方法稳定性测量内在一致性测量等同性61三、信度的计算方法（一）重测信度

(test-retestreliability)

（稳定性）

1.定义：是用同一测量工具在不同的时间对同一群受试者前后测量两次，然后计算两次测量分数的相关系数，相关系数越大说明两次测量的一致性越高。一致程度越高，重测信度越高，研究工具的稳定性越好。三、信度的计算方法（一）重测信度(test-retest62重测信度(test-retestreliability)重测信度的具体做法是先进行第一次测试，隔一段时间后进行重测，然后计算两次测试结果的相关系数。重测对象一般要达到总研究数目的1/10。相关系数在0～1之间，越接近1，说明重测信度越高。一般而言,重测信度系数能达到0.70以上即可.不足之处在于计算结果会受多种因素影响。例如时间、受测对象第二次反应、态度和记忆力等

重测信度(test-retestreliability)63研究对象第一次测试（X）第二次测试（Y）123272443833537453495444662628732348282593834103936例：人格问卷重测数值表研究对象第一次测试（X）第二次测试（Y）12327264

3.使用重测信度需考虑的问题（1）两次测量之间的间隔时间

第一次的测量对第二次的测量不会产生影响；

在客观情况未发生改变时进行；1-2W颇为常用。（2）研究工具所测量的变量的性质：

评估性质相对稳定问题，如个性、价值观、生活质量等；而诸如情感、态度、知识不稳定的变量，则不宜使用（3）测量环境的一致性

相同的测试者，相同的程序，相同的测量时间及相似的周围环境

3.使用重测信度需考虑的问题65（二）折半信度、Cronbach‘α系数与KR值此三种方法用来反映工具的内在一致性。当研究工具包含多条项目时，需要对各项目之间的关系进行评定。内在一致性（internalconsistency）指各项目之间的同质性或内在相关性,内在相关性越好，说明组成研究工具的各项目都在一致地测量同一个问题或指标，也就是说明工具的内在一致性越好，信度越高.（二）折半信度、Cronbach‘α系数与KR值此三种方法66例如：一个量表，有12个条目，旨在测量乳腺癌放疗术后的疲乏程度。这些题目之间不仅存在着相关性，更能互相补充。例如：67(1)折半系数：折半系数是测定内在一致性的最古老方法，具体方法是将项目分成两部分，分别记分，对两个部分进行相关分析，然后采用Spearman-Brown公式计算信度

方法:

前后折半法奇偶折半法（常用此法）(1)折半系数：折半系数是测定内在一致性的最古老方法，具体方68计算：只用一个测量工具对同一群受试者实施一次测量，但将奇数题和偶数题分开计分，再计算奇数试题和偶数试题分数之间的相关系数。缺点:

不同的折半方法会导致不同的结果折半信度计算：折69(2)Cronbach’α相关系数与KR-20值：Cronbach’α与KR20值所计算的是工具中所有项目的平均相关程度，避免了折半信度计算的缺点。与Cronbach’α不同的是KR-20值适用于二分制的研究工具（包含两种反应，例如回答“是”或“不是”）的一种方法。(2)Cronbach’α相关系数与KR-20值：70Cronbach’α是描述一个研究工具信度时最常用的一种方法。α系数越大表示条目间相关性越好，一般而言，α大于0.8表示内部一致性极好，α在0.7到0.8表示较好，而低于0.7表示内部一致性较差。Cronbach’α是描述一个研究工具信度时最常用的一种方法71（三）、评定者间信度和复本信度评定者间信度测量方法：

不同评定者使用相同工具同时观察，计算观察者们的观察结果之间的相关系数。如：为调查ICU护士的压力，观察她们工作的紧张程度。复本信度测量方法：将两种不同形式的工具同时对一群对象测试，然后计算两次工具得分的相关系数。相关系数越大说明两个复本构成带来的变异越小。比较少见（三）、评定者间信度和复本信度评定者间信度测量方法：72研究工具信度的基本要求通常通过预试验测试研究工具的信度。在进行预试验时，一般选取10-20例样本进行信度测量。报告研究工具的信度时，不仅要报告信度系数，还应报告是何种信度，信度系数是如何计算的。一般认为，研究工具重测信度和内部一致性信度系数最小应大于0.7。而评定者信度和复本信度一般应达到0.9以上。研究工具信度的基本要求通常通过预试验测试研究工具的信度。73Q：自己制作的问卷里面的一般资料问卷需不需要信度的检测呢？A：信度是针对概念的，人口统计学内容（如年龄、性别、出生地、教育程度、婚姻状况、收入、家庭成员数量等）一般不必进行信度检验，因为测量这些内容不太可能有测量误差。Q：自己制作的问卷里面的一般资料问卷需不需要信度的检测呢？74第二节效度效度（validity）是指某一研究工具能真正反映它所期望研究的概念的程度。反映研究概念的程度越好，效度越高。效度(Validity)即有效性，指此测验测查到所要测查的没有？测查到何种程度？如一个智力测验，若测验结果所表明的确实是受试的智力，而且量准了智力水平，那么这一智力测验的效度好；反之则不好。第二节效度75计算效度的方法：一、表面效度(facevalidity)二、内容效度(contentvalidity)三、效标关联效度(criterion-relatedvalidity)四、结构效度(constructionvalidity)计算效度的方法：76一、表面效度

定义：由评估人根据自己对所要测量的概念的理解，尽其断断能力之所及来断定工具是否恰当。属于一种直觉判断。表面效度是最浅层次上的效度，它指的是从表现上看起来，测验题目是否与测验目的一致。例如，调查护生对护理专业的认识态度一、表面效度定义：由评估人根据自己对所要测量的概念77缺点:

1.对工具的效度用“有或无”反映，未体现程度。2.表面效度一般不能作为工具质量的有力证据。表面效度缺点:表78二、内容效度定义：是根据理论基础及实际经验来对工具是否包括足够的项目而且有恰当的内容比例分配所做出的判断。有时也称专家效度。方法：从内容上检查工具的性质。二、内容效度定义：是根据理论基础及实际经验来对工具是否包括足79二、内容效度例如：

教师在讲授了一段时间课程之后就要进行考试，而试卷不可能包含所有内容，只能从中选出一个代表性样本来测试，再根据分数来推论学生在该范围内的知识技能的掌握情况。如果测试题目是该范围内容的好样本，推论就有效。二、内容效度例如：80二、内容效度一个测验要具备较好的内容效度必须满足两个条件。

①要确定好内容范围，并使测验的全部项目均在此范围内。所谓内容范围可以是具体知识或技能，也可以是复杂行为。②测验项目应是已界定的内容范围的代表性样本。换句话说，就是选出的项目能包含所测的内容范围的主要方面，并且使各部分项目所占比例适当。如：老师出试卷，命题蓝图，主任审核等。二、内容效度一个测验要具备较好的内容效度必须满足两个条件。81实施要求：

1、专家人数3-10人，以5人较合适2、专家的选择应与研究工具所涉及的领域有关3、两次评议时间最好间隔10-14天内容效度实施要求：内82计算方法：CVR：内容效度比计算方法：83三、效标关联效度定义：

反映研究工作与其他测量标准之间的关系。分类:

同时效度预测效度三、效标关联效度定义：84同时效度：测量研究工具与现有标准之间的相关关系。预测效度：测量工具作为未来事情预测指标的有效程度。同时效度和预测效度的主要区别：

时间差异效标效度同时效度：测量研究工具与现有标准之间的相关关系。效85同时效度：

判断腋温是否是测量体温的有效方法预测效度：

推测病人压疮发生的机率同时效度：86四、结构效度定义：反映工具与其所依据的理论或概念框架的相吻合程度。重点是了解工具的内在属性，而不是使用工具测得的分数。它主要回答“该工具到底在测量什么？”，“使用该工具能否测量出被研究的抽象概念？”这类问题，反映工具所依据理论或概念构架的程度。四、结构效度定义：反映工具与其所依据的理论或概念框架的相吻87方法.