研究工具性能的测定课件

第七章

研究工具性能的测定泰山医学院护理学院2023/8/5李蕾第七章

研究工具性能的测定泰山医学院护理学院2023/7教学目标掌握信度的概念和分类掌握效度的概念和分类掌握信度与效度的关系熟悉信度测量方法熟悉效度的建立和测量的方法了解国外量表翻译的基本步骤护理研究第七章研究工具性能的测定教学目标掌握信度的概念和分类护理研究第七章研究2023/8/5你如何解释下述现象？

一个很聪明的孩子，测得智商是80分一个学习很好的学生，考试成绩为60分一个人缘很好的人，人际关系测量低于常模值护理研究第七章研究工具性能的测定2023/7/31你如何解释下述现象？

一个很聪明的孩子，测2023/8/5误差的含义

在测量中与目的无关的因素所引起的不准确或不一致效应。不准确、不一致不准确、一致准确、一致测量误差护理研究第七章研究工具性能的测定2023/7/31误差的含义不准确、不一致不准确、一研究工具的性能指标信度：可靠性（一致性）效度：有效性2023/8/5无效度、无信度有效度、有信度无效度、有信度研究工具的性能指标信度：可靠性（一致性）2023/7/31无效度信度表面效度内容效度效标效度结构效度评定者间信度重测信度内部一致性信度复本信度2023/8/5效度信度表面效度内容效度效标效度结构效度评定者间信度重测信度第一节信度reliability2023/8/5护理研究第七章研究工具性能的测定第一节信度2023/7/31护理研究一、信度的基本概念

信度指研究工具所获得结果的一致程度。一个好的测量工具必须稳定可靠，即多次测量的结果要保持一致。2023/8/5护理研究第七章研究工具性能的测定一、信度的基本概念

信度指研究工具所获得结果的一致程信度的主要特征稳定性(stability)内在一致性(consistence)等同性(equivalence)2023/8/5护理研究第七章研究工具性能的测定信度的主要特征2023/7/31护理研究第七章研究工稳定性

用同一工具两次或多次测定同一研究对象，所得结果的一致程度。一致程度越高，工具的稳定性越好。护理研究第七章研究工具性能的测定稳定性用同一工具两次或多次测定同一研究对象，所得结

内在一致性

组成研究工具的各项目之间的同质性和内在相关性。内在相关性越大或同质性越好，工具的内在一致性越好，信度越高。护理研究第七章研究工具性能的测定内在一致性护理研究第七章研究工具性能的测

等同性

不同评定者使用相同工具同时测量相同对象时，评定者间的一致程度；或大致相同两个研究工具同时被用于研究对象，工具的一致程度。护理研究第七章研究工具性能的测定等同性护理研究第七章研究工具性能的测定二、信度的计算方法稳定性内在一致性等同性

重测信度折半信度Cronbach’α系数KR-20值评定者间信度复本信度护理研究第七章研究工具性能的测定二、信度的计算方法稳定性内在一致性

（一）重测信度(test-retestreliability)

1.定义:用同一工具两次或多次测定同一研究对象所得结果的一致程度。常表示研究工具的稳定性。一致程度越高，重测信度越高，研究工具的稳定性越好。护理研究第七章研究工具性能的测定（一）重测信度(test-retestrelia

2.计算方法

使用研究工具对研究对象施行第一次测试,间隔一段时间后使用同一工具对同一研究对象进行重测，然后计算两次资料的相关系数，该系数反映研究工具重测信度的高低。相关系数在0～1之间，越接近1，说明重测信度越高。护理研究第七章研究工具性能的测定2.计算方法护理研究第七章研究工具性能的

研究对象第一次测试（X）第二次测试（Y）123272443833537453495444662628732348282593834103936人格问卷重测数值表研究对象第一次测试（X）第二次测试（Y）123272

第一次测试和第二次测试数据间的相关系数即为人格问卷的重测信度。

护理研究第七章研究工具性能的测定第一次测试和第二次测试数据间的相关系数即为人格问卷3.使用重测信度需考虑的问题

(1)两次测量之间的间隔时间：

使第一次测量对第二次测量的结果不会造成影响；在客观情况未发生改变时进行；

护理研究第七章研究工具性能的测定3.使用重测信度需考虑的问题(1)两次测量之间的间隔时间：时间间隔的把握间隔时间越长，稳定性系数越低。适宜时间间隔依照测验目的、性质及被试特点而定。几分钟至几年。年幼儿童，间隔要小；年长群体，间隔可大。一般间隔时间不超过六个月。（即不能让被试记住上一次测验的内容，又不能让其特质发生变化，或对所学知识产生遗忘）2023/8/5护理研究第七章研究工具性能的测定时间间隔的把握间隔时间越长，稳定性系数越低。适宜时间间隔依照(2)测量环境的一致尽量保证测量环境的一致，如相同的测试者、相同的测量程序、相同的测量时间、相同的测量环境等2023/8/5护理研究第七章研究工具性能的测定(2)测量环境的一致2023/7/31护理研究第七章(3)工具所测量的变量的性质：对性质相对稳定的问题，如性格、价值观、生活质量等进行测量，适宜用重测信度来表示研究工具的信度如何；对性质不稳定的问题，如情感、态度、知识等进行测量，则不宜使用重测信度来表示研究工具的信度如何。护理研究第七章研究工具性能的测定(3)工具所测量的变量的性质：护理研究第七章研究工具（二）内在一致性信度内在一致性（internalconsistence)是指组成研究工具的各项目之间的同质性或内在相关性。内在相关性越好，说明组成研究工具的各项目都在一致地测量同一个问题或指标，也就是说明工具的内在一致性越好，信度越高。2023/8/5护理研究第七章研究工具性能的测定（二）内在一致性信度内在一致性（internalconsi折半信度Cronbach’α系数KR-202023/8/5护理研究第七章研究工具性能的测定折半信度2023/7/31护理研究第七章研究工具性能1.折半信度(split-halfreliability)将一种工具对一群人使用一次，将每个人的结果分数按工具中各项目分成两组，计算两组分数的相关系数。

内在一致性护理研究第七章研究工具性能的测定1.折半信度(split-halfrel方法:

前后折半法奇偶折半法缺点:

不同的折半方法会导致不同的结果

一个10个条目的问卷可以有126种不同的折半方法！护理研究第七章研究工具性能的测定方法:前后折半法护理研究第七章研究工具性能的测定

2.Cronbach’α系数计算研究工具中所有项目间的平均相关程度，反映研究工具的内在一致。

K：测验的题目数；

Si2：某一题目分数的变异数；

Sx2：测验总分的变异数。

2023/8/5护理研究第七章研究工具性能的测定

2.Cronbach’α系数计算研究工具中所有项目间的平均3.KR-20值

是Cronbach’α的一种特殊形式，用来反映研究工具的内在一致性。适用于二分制的研究工具，如回答“是”或“否”、“正确”或“错误”。护理研究第七章研究工具性能的测定3.KR-20值是Cronbach’α的一种特殊形表1PACIE各条目间相关矩阵项目面部表情声音/语言身体姿势活动情绪人际互动/交流生命体征睡眠总分面部表情-声音/语言0.69**-身体姿势0.48**0.56*-活动0.55*0.62**0.35**-情绪0.24**0.57**0.21

0.19-人际互动/交流0.35**0.49**0.45*0.38*0.36*-生命体征0.40**0.41**0.41**0.44**0.41**0.46**-睡眠0.67**0.54**0.57**0.41**0.28*0.41**0.46**-总分0.75**0.81**0.58**0.66**0.44*0.56**0.49**0.68**-注：*相关系数假设检验P<0.05，**P<0.01内部一致性信度

量表总分的Cronbach’sα系数为0.85。

护理研究第七章研究工具性能的测定表1PACIE各条目间相关矩阵面部声音/语言身体活动情表示研究工具的等同性（equivalence）评定者间信度（inter－raterreliability)

不同的评定者使用相同工具，同时测量相同对象时，计算一致性的程度。最简单的估计方法就是随机抽取若干份答卷，由两个独立的评分者打分，再求每份答卷两个评判分数的相关系数。2023/8/5（三）评定者间信度护理研究第七章研究工具性能的测定表示研究工具的等同性（equivalence）2023/7/（四）复本信度任何测验只是所有可能题目中的一份取样（行为样本），所以可编制许多平行的等值测验，叫做复本。两个大致相同的研究工具同时被用于研究对象，计算两种复本测量分数的相关系数，称为复本信度（Alternate-formreliability）。相关系数越大说明两个复本构成带来的变异越小。2023/8/5护理研究第七章研究工具性能的测定（四）复本信度任何测验只是所有可能题目中的一份取样（行为样本A卷：你是一个喜欢热闹的人吗？1=绝对是2=是3=不一定4=不是5=绝对不是2023/8/5护理研究第七章研究工具性能的测定A卷：你是一个喜欢热闹的人吗？1=绝对是B卷：你是一个喜欢安静的人吗？1=绝对是2=是3=不一定4=不是5=绝对不是2023/8/5护理研究第七章研究工具性能的测定B卷：你是一个喜欢安静的人吗？1=绝对是复本等值要符合下列条件：

各份测验测量的是同一变量。各份测验具有相同的形式。各份测验的题目不应重复。各份测验题目数量相等，难度和区分度大体相同。各份测验的分数分布（平均数和标准差）大致相等。2023/8/5护理研究第七章研究工具性能的测定复本等值要符合下列条件：各份测验测量的是同一变量。2023研究工具信度的基本要求1、通常通过预试验测试研究工具的信度2、报告研究工具的信度时，不仅要报告信度系数，还应报告是何种信度，信度系数是如何计算的。3、一般认为，研究工具重测信度和内部一致性信度系数应不小于0.7。而评定者信度和复本信度一般应达到0.9以上。护理研究第七章研究工具性能的测定研究工具信度的基本要求1、通常通过预试验测试研究工具的信度护第二节效度（validity）2023/8/5护理研究第七章研究工具性能的测定第二节效度2023/7/31护理研究一、效度的概念

效度是测量的有效性，真正能反映他所期望研究的概念的程度，即一个工具对它所要测量特质的准确程度。效度回答两个问题：

1.一个工具测评什么？

2.一个工具对于所测量的变量，准到什么程度？2023/8/5护理研究第七章研究工具性能的测定一、效度的概念

效度是测量的有效性，真正能反映他所期望研究的二、效度的测量表面效度内容效度效标效度结构效度2023/8/5护理研究第七章研究工具性能的测定二、效度的测量表面效度2023/7/31护理研究第七章1、表面效度(facevalidity)表面效度指测验给人的第一个印象好像测量甚么东西，而不是指测验事实上能测量到什么东西。

2023/8/5护理研究第七章研究工具性能的测定1、表面效度(facevalidity)2023/7/31抑郁自评量表（SDS）

ABCDE1、我感到情绪沮丧，郁闷 □□□□□2、我感到早晨心情最好 □□□□□3、我要哭或想哭□□□□□4、我夜间睡眠不好 □□□□□5、我吃饭像平常一样多 □□□□□6、我的性功能很正常□□□□□7、我感到体重减轻 □□□□□8、我为便秘而烦恼 □□□□□9、我的心跳比平时快 □□□□□10、我无故感到疲劳 □□□□□11、我的头脑像往常一样清楚□□□□□12、我做事情像平时一样不感到困难□□□□□13、我坐卧不安，难以保持平静 □□□□□14、我对未来感到有希望 □□□□□15、我比平时更容易激怒□□□□□16、我觉得作出决定是很容易的 □□□□□17、我感到自己是有用的和不可缺少的人□□□□□18、我的生活很有意义□□□□□19、假若我死了别人会过得更好□□□□□20、我仍旧喜爱自己平时喜爱的东西□□□□□2023/8/5抑郁自评量表（SDS）2023/7/31

表面效度是由评估人根据自己对所要测量概念的理解，尽其判断能力之所及来断定工具是否适当而做出的一种直觉判断。对工具的效度用“有或无”反映，未体现程度。表面效度一般不能作为工具质量的有力证据。2023/8/5护理研究第七章研究工具性能的测定表面效度是由评估人根据自己对所要测量概念的理解，尽其判断2、内容效度(contentvalidity)内容效度是根据理论基础及实际经验对工具是否反映了所要测量的变量、是否包括足够的项目而且有恰当的内容分配比例所作出的判断。指项目对欲测的内容或行为范围取样的适当程度。2023/8/5护理研究第七章研究工具性能的测定2、内容效度(contentvalidity)内容效度是一个测验要具备较好的内容效度必须满足两个条件。①要确定好内容范围，并使测验的全部项目均在此范围内。②测验项目应是已界定的内容范围的代表性样本。换句话说，就是选出的项目能包含所测的内容范围的主要方面，并且使各部分项目所占比例适当。具体做法是对内容范围进行系统分析，将该范围划分为具体纲目，并对每个纲目作适当加权，然后根据权重，从每个纲目中随机取样。2023/8/52、内容效度护理研究第七章研究工具性能的测定一个测验要具备较好的内容效度必须满足两个条件。2023/7内容效度建立在大量文献查阅、工作经验以及综合分析、判断的基础上，多由有关专家委员会进行评议（专家效度)。2023/8/52、内容效度护理研究第七章研究工具性能的测定内容效度建立在大量文献查阅、工作经验以及综合分析、判断的基础

实施要求：

1、专家人数3-10人，以5人较合适

2、专家的选择应与研究工具所涉及的领域有关

3、两次评议时间最好间隔10-14天护理研究第七章研究工具性能的测定实施要求：护理研究第七章研究工具性能的测定2023/8/5项目活动时休息时不相关修改后相关相关需要小改动非常相关不相关修改后相关相关需要小改动非常相关1.声音（非语言性）:以非词语形式表达疼痛—呻吟、叹气、哼哼、哭泣、呼吸粗重修改意见修改意见2.表情痛苦/退缩：皱眉、闭眼抿唇、咬牙、表情扭曲修改意见修改意见疼痛评分指南护理研究第七章研究工具性能的测定2023/7/31项目活动时休息时不相关修改后相关相关需要小内容效度的应用适合于测验所要测量的内容总体能够明确界定的情况主要缺点缺乏可靠的数量指标妨碍各测验间的相互比较2023/8/52、内容效度护理研究第七章研究工具性能的测定内容效度的应用2023/7/312、内容效度护理研究第七3、效标关联效度(criterion-relatedvalidity)侧重反映研究工具与其他测量标准之间的关系，考察测验分数与效标的关系，属于实证效度,或统计效度。根据测验的时间可分为：同时效度（concurrentvalidity)预测效度（predictivevalidity)2023/8/5护理研究第七章研究工具性能的测定3、效标关联效度(criterion-relatedval预测效度与同时效度

（1）同时效度：是指研究工具与现有标准之间的关系。如对一个人格测验的结果，可以用同学、家长对他人的评定作为效标。（2）预测效度：测量工具作为未来情况预测指标的有效程度。效标是过一段时间后搜集得到。用智力测验的结果预测一个人会不会成功，用人格测验预测人会不会患心理疾病。2023/8/5护理研究第七章研究工具性能的测定预测效度与同时效度2023/7/31护理研究第七章研同时效度的目的是检查测验测量现有的某种能力或特质的有效性，即描述当前状态时的有效性，而预测效度则表明测验对某种行为的预测的有效性。2023/8/5护理研究第七章研究工具性能的测定同时效度的目的是检查测验测量现有的某种能力或特质的有效性，即4、结构效度（constructvalidity）

反映工具与其所依据的理论或概念框架的相结合程度，是工具的内在属性。是指实验与理论之间的一致性，即实验是否真正测量到假设（构造）的理论。2023/8/5护理研究第七章研究工具性能的测定4、结构效度（constructvalidity）反映工重点是了解工具的内在属性，而不是使用工具测得的分数。它主要回答“该工具到底在测量什么？”，“使用该工具能否测量出被研究的抽象概念？”这类问题。2023/8/5护理研究第七章研究工具性能的测定重点是了解工具的内在属性，而不是使用工具测得的分数。它主结构效度是目前最为严谨的一种建立和测量研究工具效度的方法，也是最为复杂的效度研究方法。护理研究第七章研究工具性能的测定结构效度是目前最为严谨的一种建立和测量研究工具效度的方法例如：智力测验的结构效度检验对智力的构念，目前较为流行的观点认为智力代表了一个人获得、保持知识的能力，推理能力及适应环境的能力。根据智力的定义，可以推演出以下几点假设，1）智力不同于后天获得的知识，因此与遗传因素有关，且更为稳定，2）智力会随着人的生理变化而发展变化，3）智力会影响人的学习成绩和事业成功。为验证以上假设，可以从三方面着手：1）计算同卵双生子、异卵双生子、其他同胞、非同胞间智商的相关，看相关系数是否依次降低；2）看智商与学业成绩间是否有高相关；3）智商是否随着年龄的增长而逐渐提高，在某一个阶段又是相对稳定的。如果以上假设都得到了证实，则说明所编的智力测验是有效的，如果假设得不到证实，则说明测验的效度不高。2023/8/5护理研究第七章研究工具性能的测定例如：智力测验的结构效度检验对智力的构念，目前较为流行的观点2023/8/5癫痫生活质量量表2023/7/31癫痫生活质量量表优势：促使研究者把着眼点放在提出假设、检验假设上，使得测验成为理论研究的重要工具；主要缺点：有些构想概念模糊，没有一致的定义；确定效度时没有明确的操作步骤；没有单一的数量指标来描述有效程度。2023/8/5护理研究第七章研究工具性能的测定优势：2023/7/31护理研究第七章研究工具性能的主要通过因子分析，来判断结构效度。属于实证效度或统计效度。2023/8/5护理研究第七章研究工具性能的测定2023/7/31护理研究第七章研究工具性能的测定2023/8/5信度高，并不保证效度就一定高；但效度高的话，信度必然要高。信度是效度的必要条件。护理研究第七章研究工具性能的测定2023/7/31信度高，并不保证效度就一定高；但效度高的话信度和效度关系1、信度是效度的必要前提高信度不能代表高效度低信度则可以肯定低效度2、效度是信度的必然保证有效度的工具一定有信度有信度的工具未必有效度护理研究第七章研究工具性能的测定信度和效度关系1、信度是效度的必要前提护理研究第七章

第三节国外量表的翻译和应用过程的性能测定护理研究第七章研究工具性能的测定第三节国外量表的翻译和应用过程的性能测定护理研究

翻译和应用国外量表的原则：

1、不偏离原文的原意

2、适合中国的文化特点

3、译后的量表具有较好的信度和效度2023/8/5护理研究第七章研究工具性能的测定翻译和应用国外量表的原则：2023/7/31护理研究翻译国外量表的步骤翻译回译检译护理研究第七章研究工具性能的测定翻译国外量表的步骤翻译回译检译护理研究第七章研究工具1、翻译两个或多个既熟悉原量表语言又有较好汉语功底的翻译者将国外量表翻译成中文；注意直译与意译结合，使更适合中国文化特点；多个翻译版本进行集体讨论后形成中文版本的量表。护理研究第七章研究工具性能的测定1、翻译两个或多个既熟悉原量表语言又有较好汉