情景判断测验.ppt

1、情景判断测验的一般开发程序,(Situational Judgment Tests，SJTs),编写情景的可能行为反应项,01,试题题干（行为情景）的设置,搜集情景测验试题题干素材 收集情景素材、确定情景的仿真度,关键事件法 主题专家法（最广泛） 档案记录法 关键事件访谈法 问卷法 理论导向法,关键性事件,信息完备性,事件的典型性 和普遍性,情景需要满足的要求,S,关键事件法的STAR法,SITUATION情景,RESULT结果,TARGET目标,ACTION行动,星星,A,T,R,Page 6,【案例】 安妮是公司的物流主管。物流主管负责将客户从海外运过来的货，清关、报关，并把货提出来，然后

2、按照客户的需求运到客户那里，负责整个物流的顺利进行。 这家公司很小，共有20位员工，只有安妮一人负责这项工作。物流工作除了她再没人懂了。在刚进行完一月份考评后，安妮二月份就发生一件事情：她80多岁的祖母，在半夜里病逝了。她由祖母从小养大，祖母的病逝使她很悲伤。她为料理后事，人很憔悴，也病了。碰巧第二天，客户有一批货从美国进来，并要求清关后，要当天六点钟之前准时运到，而且这是一个很大的客户。安妮怎么做呢？ 她把家里的丧事放在一边，第二天早上九点钟准时出现在办公室，她的经理和同事都发现，她的脸色铁青，精神也不好，一问才知道家里出了事。但是，这个小女孩什么话也没说，一直做着进出口报关、清关的手续，把

3、货从海关提出来，并且在下午五点钟就把这批货发出去了，及时运到了客户那里。然后，五点钟时，她就下班走了，可公司是六点钟下班，她提前走了，回去处理祖母的丧事去了。,STAR分析,当时的情景是：安妮的祖母头一天晚上病逝了。 当时的目标是：为了第二天把一批货完整、准时的运到客户那里。 当时的行动是：她置家里的事于不顾，准时出现在办公室，提前一个小时把货发出去了。 当时的结果是：客户及时收到了货，没有损伤公司的信誉。,Page 8,主题专家法,请在职者或他们的上司提供工作中的一些情景。访谈、问卷调查等手段搜集职务专家（在职员工、直接主管、其他熟悉该职位工作的相关人员）工作中遇到的一些工作情景；在描述每个

4、工作情景的时候，可以采用结构化的格式，要求由职务专家说明当时的情景、如何处理以及结果如何。 让受访者描述最近由自己主导的在管理工作中遇到的棘手的事件，详细描述事件发生的时间、地点、起因、经过、结果、背景、人物，当时的想法，采取的措施，事后的看法。,(1)事件的编辑整理。通过行为事件访谈收集到所有事件，有些复杂事件里又含有几个简单的事件，需进一步提炼。,(2)采用专家讨论法对情景的典型性进行评定。在专家评定的基础上进行统计，保留代表性和复杂度都合适的情景，最后挑选出几个典型情景。,对“关键事件”进行筛选、编辑和修订，以这些关键事件为基础，设计测验的情景部分。,典型情景的挑选具体操作步骤如下：,档

5、案记录法 Hunter(2003)在关于飞行判断的研究中，利用事故报告来识别飞行员所面临的挑战性情境。 为了其他目的而记录的事件（如，事故报告、保险调查报告、行动后报告），档案记录法应该成为SJT所需事件的丰富的渠道来源,测验的编者编写试题测量某个特定的结构，可以是一组胜任力，也可以是某种能力或者人格，使SJT的题干能反映某些潜在的模型。近些年，这种方法也越来越流行。,理论导向法,Becker(2004)开发出了一套测量诚实的SJT，题目的编写反映了其关于诚实的理论模型中的7种价值观（仁慈、诚实、独立、正义、生产力、自豪和理性）。 Stevens和Campion(1994, 1999)识别出了

6、团队工作的5个维度，设计开发出了评估团队工作知识、技能和能力 (KSAs) 的一套SJT。,题干的仿真度,收集到情景并改变成题干后，还要确定题目的仿真度（题干的真实性程度），或真实地再现工作任务要求的程度。 纸笔式：文字描述 录像式：录音口语描述、影视短片 高表面效度、小危害、少认知、开发复杂昂贵 反应形式上的差异，例如：纸笔、计算机、互联网等形式，可能会导致反应上的差异。,行为反应项的编写,02,行为反应项的编写,行为反应项是供被试直接评价判断的对象。 要求： （1）问题针对性 （2）区分鉴别能力 （3）数量恰当并能按强度排成序列,行为反应项的编写方法,主题专家法 第一种方法，对一批在职员工

7、进行施测，要求他们针对情景部分中的问题找出较好的解决办法。第二种方法，采用行为事件访谈(BEI)的方法，通过比较绩效优异者与绩效平平者的可能反应的差别获得不同的反应项目。 结构导向法 测验开发者针对情景部分中的问题编写行为反应项来测量特定的结构。,编辑、整理可能的行为反应项。应 注意： 注意一个行为反应项只有一个行为； 尽量避免“首先，然后”的情况； 去除与情境无关的作答反应方式； 对意思相近或相同的行为反应进行归类、合并；,好的行为反应项的特点,确定反应指导语,03,反应指导语,反应指导语是测验中向答题者说明以何种方式进行答题的部分。 情景判断测验的反应指导语主要有两大类： 一类是知识行为指

8、导语或最佳行为指导语；一类是行为倾向指导语或典型行为指导语。 前者要求被试对行为反应项的有效性进行评价，后者要求被试选择自己可能采取的行为反应项或评价自己采取各行为反应项的可能性大小。,行为反应项的标答,04,行为反应项的标定,为了评判被试的水平，必须先有一个评判的标准，即标定好的各行为项（标答），再把被试的作答和标答进行对比，最后赋分。 答案的标定方法有三种：实证法、理论法、专家法。,实证法 (1)选择工作绩效为效标，用得较多的是直接主管的考核法； (2)求相关。先计算出各行为项上的得分，再计算得分与效标的相关，被试的绩效越高，该反应项越好； (3)确定行为反应项是否正确的规则。 有研究认为

9、确定的规则有(a)选择该项的人数不能少于25人；(b)效标关联效度不能低于0.1。实证法的不足之处在于它对样本的强依赖性。 缺点：样本量大,理论法 理论法是基于理论或结构来判断行为项好坏的方法。此法能克服实证法受样本影响的局限性，易于理解，但有人认为这种方法过于主观，并且其标定行为反应项的基础理论或结构并不一定正确。,专家法 所谓专家法是一种是请专家先对反应项评判，讨论后达成一致意见。没有达成的选项要修改甚至删除。也可以根据专家独立评判出的结果来确定选项的标定。 另一种是新手专家比较法。请一批专家和一批新手进行测试，然后通过比较新手和专家的作答来确定行为反应项的标答。一般专家选择频率高但新手选择频率低的行为反应项视为好的或正确的选项，而新手选择频率高但专家选择频率低的行为反应项则视为不好的或错误的选项。,测验评分方法的确定,05,计分方法,5.1迫选法,5.2,5.3