行为观察信度检验电子讲义

1、行为观察信度检验一、观察信度的检验（一）观察信度我们可以通过评估观察者信度来确定目标行为是否被准确地记录下来了。要评估观察者信度，两个人必须在同一个观察阶段中各自独立地观察和记录相同被试的相同目标行为。然后比较两个观察者的记录结果，并计算两个人记录结果中相同部分的比例。这个比例较高时，说明两人的记录具有一致性。这表明对目标行为的定义清楚和客观，而且观察者们正确地利用了记录方法。研究结果报告中较高的信度说明研究人员准确地记录了目标行为。即使是其它研究项目中，只要进行了直接观察和记录，也应该定时对信度进行检验。所谓观察信度，是指观察所得结果的可靠性。通过观察记录所获得的行为资料的可靠性，将会直接影

2、响到行为评量的结果，以及对行为改变所取得结果的解释。也就是说，观察记录所得的行为资料若有误差，则以此为基础的行为评量和行为改变所取得的结果将是不可信的。有些专家认为，通常引起观察结果发生误差，可能有如下几种原因。1.目标行为把握不准确。如果目标行为界定不清楚、不具体、不完善，或目标行为确定得太过复杂、不易把握，则容易使观察者无所适从，难以准确操作，因而不同的观察者其观察的结果也就不可能一致。2.观察情境受到干扰。有时目标行为虽然已有具体、准确的界定，但是如果在容易受到干扰的情境中进行观察，或是在观察的过程中受到外来的预料不到的干扰，则观察的结果也易发生误差。3.观察者自身条件的限制。若观察者缺

3、乏专业训练，又无责任感和事业心，甚至未进行观察之前已存偏见，那么其观察结果自然容易出偏差。4.记录过程中，如果采用的行为指标和记录方法不适当，记录表格的设计不合理，也将导致观察结果的误差。为了减少误差，提高观察、记录结果的准确性，在观察记录过程中通常需采取一些特别措施。常用的措施如下。（1）核对观察。在评量行为的过程中，除了由一位观察者每天做观察与记录外，还需要安排一位核对者每周抽样进行23次的核对观察，以便查核两位观察者的观察结果是否完全吻合。（2）同时性观察。如果条件许可的话，应每天每次在同一段观察时间内，安排两位观察者同时进行观察，并分别记录观察结果。然后，计算二者观察结果的一致性。这是

4、最理想的做法。（二）观察信度的计算方法 让两位观察者同时来观察和记录同一目标行为，由于受多种因素的影响，在通常的情况下，其结果往往是既不会完全相同也不可能完全不同。由此而衍生出一个问题，即两位观察者的所见，有多大的比率是一致的呢？这正是计算观察信度所要解决的问题。观察信度的计算方式一般采用以下两种方法。1.粗略信度检验法例如，记录一位智障儿童在每节课时间内“乱发怪声”的行为次数。根据甲观察者的记录，在同一上午十10时至10时40分的观察时间内，患者共发出17次怪声；但据乙观察者的记录结果则只有15次怪声。按照粗略信度检验法的计算公式计算，二者观察结果一致性百分率约为88(15/17×

5、1008821)。如果两位观察者的观察结果完全一样，则二者观察结果的一致性就为100或1.0。粗略信度检验法的优点是较为简便，好掌握，计算十分简单便利；其缺点是不够精确，检验得出的结果往往难以反映出两位观察者记录到同一事件的真实次数及其比率。因此，粗略信度检验法并非计算信度的最佳途径。对此，我们可以从图13提供的资料来加以分析和讨论。表中所列举的真实发生怪声的次数是20次，这是借助录音机在现场录存的资料，是最为客观而准确的；甲观察者由于在起始阶段受到外界因素的干扰，未能正确记录，而仅记录了17次；乙观察者则于结尾时段受到干扰，而仅记录了15次。因此，若根据这三项资料来计算一致性百分率，其结果必

6、将产生相当大的出入。图1-3 两位观察者的观察结果（智障儿童乱发怪声）如果采用粗略信度检验法来计算，研究者只知道在40分钟的观察时间里，甲观察者观察所得结果是17次，乙观察者是15次，故二者的一致性是88。但事实上真实发生怪声的次数是20次，甲观察者只记录到17次，故其一致性是85；而乙观察者更差，只记录到15次，其一致性是75。现在让我们进一步详细检查图3-14中的资料，不难发现在20次发生事件中，甲、乙两位观察者真正记录到同一事件的次数则只有12次，故其信度该是60(12/20×100= 60)。 遗憾的是，在一般情境中，研究者很难做到随时随地架设各种记录仪器(如录音机、录像机或

7、摄影机等)，因而真实的行为发生次数也就无法获知，故不易采用真实的信度计算方式。为克服和避免此种缺陷，我们可以采用另一种观察信度的计算方式逐距核对信度检验法。2.逐距核对信度检验法该检验法是建立在运用“时距记录表格”的基础上，通常由甲、乙两位观察者分别逐一记录在每一个小时段内目标行为是否发生；然后核对两位观察记录一致的次数，以及不一致的次数；最后按照下列公式计算观察一致性百分率。逐距核对信度检验法可以计算：(1)发生次数信度系数；(2)未发生次数信度系数；(3)发生与否判断一致百分率。下面以图1-4提供的行为资料，对逐距核对信度考验法的三种计算方式分别做出说明。图1-4 甲、乙观察者记录小雄乱讲

8、话次数记录结果比较(1)发生次数信度系数的计算发生次数信度系数以计算两位观察者同时记录目标行为发生次数的判断一致性百分率来表示，通常称为“发生次数一致性百分率”。其计算公式是：根据图14的记录资料来分析，甲、乙两位观察者均判断目标行为已发生的次数(即甲、乙均打“”符号的小时段数)是4次，即第1、5、6、11时段，甲、乙均记录发生。甲、乙两者判断不一致的次数是3次，也即第3、8、9等三个观察小时段的记录结果不一致。在第3、9两个小时段里，甲观察者的记录是“”(表示目标行为已发生)，但乙观察者的记录是“一”(表示目标行为未发生)；而第8个小时段的记录正好相反，甲观察者的记录是“一”，而乙的记录则是

9、“”。我们将分析所得的数据分别代入公式并计算，则可得出“发生次数一致性百分率”为57.1(44+3×10057.14)。 发生次数一致性百分率越高，意味着两位观察者真正记录到同一事件的次数越多，信度也就越高，行为资料的可靠性也就越大。(2)未发生次数信度系数的计算该项信度系数是以计算两位观察者记录目标行为未发生次数的判断一致性百分率来表示，通常称之为“未发生次数一致性百分率”。其计算公式是： 查阅图14的记录资料，我们会发现，甲、乙两位观察者均判断目标行为未发生一共有5次(即甲、乙均打上“一”符号的小时段，计有第2、4、7、10、12等5个小时段)；而甲、乙判断不一致的是3次(即第3

10、、8、9等3个小时段)。将分析得出的数据代入公式，即可计算出未发生次数一致百分率为62.5(5/5+3×100=62.5)。(3)发生与否判断一致性百分率的计算观察信度的检验实际上就是在计算和研究不同的观察者的判断一致性有多高。而在逐距核对信度考验中，研究者所强调的判断不外包括在特定的观察小时段内，究竟目标行为是“发生”，或是“未发生”。而判断的一致性，既包含目标行为的发生，也包括目标行为的未发生。即如果两位观察者在某一观察小时段内，均判断目标行为未发生，也是属于判断一致性。因此，在计算真正的判断一致性百分率时，则应采用下列公式： 说明：O代表甲、乙观察者判断目标行为发生的一致性次数

11、； N代表甲、乙观察者判断目标行为未发生的一致性次数； T指事先划定的观察小时段数。 我们仍以图14的记录资料为例，可查出甲、乙二位观察者判断目标行为发生的一致性次数是4，未发生的一致性次数为5，而事先划定的观察小时段数为12。将这三个数据代入公式，则可计算出判断一致性总百分率为75(4+5/12 × 100=75)。从上述分析中可以看出，判断一致性总百分率相对于其他计算方法而言，能更客观地反映出不同观察者记录结果的判断一致性水平和信度的高低，是一种较为合理的观察信度检验方法。 总之，行为改变方案的实施与成效的评估，完全建立在对行为资料的汇集、记录与分析比较的基础上，所有这些环节都应力求做到既客观又正确。，尤其是对目标行为的观察、记录与评量，更需注意客观性与正确性。那么，