人格测验上的项目位置

1、人格测验上的项目位置：作假行为和测试计量属性的影响 摘要：尽管人格测验被广泛应用于各种不同职业的人才选拔，但仍然有人担心这种测评是不可靠的。一种被应用于最小化作假因素的程序通过随机化项目来误导真正的人格测量意图。在本研究中，我们检验了项目位置是否会影响人格测量的作假能力和心理属性。研究被试分为两种模式作答（随机作答和项目分组作答），人格测试又分为三种情境：诚实作答、根据指令作假以及表现的像一个求职者。结果显示项目分组位置模式对于神经质和尽责性的人更可能作假。项目随机安排的测试更拟合诚实情境和求职情境。这些结果表明项目位置问题应该在人格测试前被谨慎考虑，因为不同的项目演示可能影响测量中的作假行为

2、和心理属性。基于人才选拔目的而使用人格测试有很多益处。特别是这些测试已经被发现可以用来预测许多职业的重要性能标准（Ones,Viswesvaran,&Reiss,1996）。人格测试通常还产生更少的负面影响（Barrick & Mount,1991;Day & Silverman,1989;Hough,Eaton,Dunnette,Kamp,& McCloy,1990），这意味着用传统选拔测试（如认知能力测试）观察到的大种族测验分数差异在人格测试中没有被发现（Bobko,Roth, & Potosky,1999）。这对于许多试图区分他们的劳动力的组织是非

3、常重要的。通过使用有效的人才选拔测试，使其结果在测试分数中拥有更少的种族差异，这些组织更可能雇佣多样化群体中的合格申请者。这种特征就可以解释为什么人格测试越来越称为选拔工具（Hogan & Hogan,1995）。然而，有人认为这些测试的效度可能会被部分求职者故意作假而影响（Douglas,McDaniel,& Snell,1996）。也就是说，求职者可能在他们回答人格测试问题的时候试图通过说谎或夸大事实使他们自己显得更加积极。这可能恶化这些测试的心理属性和预测效度或改变选拔决策，从而减少该组织雇佣最合格人才的可能性（Dunnette,McCartney,Carlson, &a

4、mp; Kirchner,1962;Ellingson,Sackett, & Hough,1999）。为了解决这些问题，几个程序已经可以最小化求职者在人格测试中的作假行为（Anastssi & Urbina,1997;Ellingson,Smith, & Sackett,2001）。例如，人们已经发现，包含在人格测试之前的测谎量表可以警告求职者以减少求职者的作假行为（Doll,1971;Hiscock,Layman, & Hiscock,1994;McFarland & Ryan,2001;Vasilopoulos,Reilly, & Leama

5、n,2000）。另外，告诉求职者他们的答案将会被验证，这可以减少自我报告测验中的作假行为（Lautenschlager,1994）。一种已经被广泛应用于减少求职者作假的程序是在整个测验中随机化项目顺序（Anastasi,1976）。也就是说，项目在测试的分量表中分散分布。例如，神经质的项目1安排在宜人性的项目1后面，接着开放性的项目1安排在神经质的项目1后面，依次进行下去。五因素人格量表和霍根人格量表（经常应用于人才选拔情境的两种人格测量）使用这种随机化项目位置（Costa & McMrate,1992;Hogan & Hogan,1995）。有证据表明项目分组可以使得应答者对

6、于识别评估结构更加容易（Mumford & Stokes,1992）。研究已经证明应答者越容易识别评估特质，他们越会频繁给出理想的反应（Bornstein,Rossner,Hill, & Stephanian,1994;Mael,1991）。这意味着当项目的性质很容易识别时，更容易去作假（例如，更透明的项目更会作假；Jackson,1971;Lautenschlager,1994;Mael,1991;Mumford & Stokes,1992）。因为人们认为随机化项目可以使得应答者觉察测量的真实性质更加困难，这个测量将更难以去作假。或者，有一些证据表明项目分组可能导致更

7、加精确的反应而不是更多的作假。关于记忆检索过程的认知心理方面的研究表明为了使人格测验更加有用（例如，预测行为表现），求职者就像他们所认识的自己一样表现自己应该更加容易（Knowles & Byers,1996;Tourangeau & Smith,1996）。这可以通过使项目透明化来做到，这样求职者就可以很好的理解每个项目所要测的是什么（Johnson,1981）。如果项目分组可以对于正在进行的结构评估有更好的理解，那么求职者更精确的表现他们自己应该更加容易，从而增加测量心理属性的质量（例如，对于一个试图进行评估与衡量的人能进行更好的评估）。这显然与随机化项目位置可以减少作假行

8、为的理论相冲突，这可能提高心理属性测量的质量。然而，没有研究证明如果随机化人格测验项目导致更少的作假行为或者如果进行项目分组将导致更合理的心理属性。因此，一个关于这些争议假设的实证研究将会有相当大的价值。如果随机化导致更少的作假并且对心理属性的测试没有负面影响（例如，因子结构），那么项目应该被随机化。或者，如果项目分组被发现可以用来提高心理测量的质量并且不便于求职者作假，那么这种测试格式最好被使用。我们现在讨论有关人格测试作假方面的研究，接着讨论相关的认知心理方面的研究。作假的影响“作假”这个术语通常指的是一个人有意识的呈现假信息来创造对于别人来说最好的个人印象。因此，当有意识的参加选拔测试的

9、求职者并不选择最准确的答案（一个最能描述他们的答案），而是选择那个他们相信会使使他们看起来最好的答案，他们作假以便看起来不错。有好几个原因可以解释求职者在做选拔情境下的人格测试时的作假反应。Leary 和 Kowalski (1990)的研究表明当人们建立的印象与他们要实现的目标相一致并且这些目标有极大的价值时，人们会被激励着进行印象管理。一般来说，当一个求职者做选拔测试时，他或她都渴望得到这份工作。人们作假以得到更高的分数，这样可以增加他们被录取的机会。显然，也有几个原因解释求职者可能在做选拔情境下的人格测试时做出扭曲反应。下一个可能会被问道的问题是作假怎样影响人格测试结果。一些研究已经显示

10、作假怎样扭曲测试结果（Dwight & Alliger,1997;Frei,Griffith,Snell,McDaniel, & Douglas,1999）。比如，有越来越多的通过实验室研究和田野研究得到的证据显示作假可以影响谁会因为提高平均分和选择求职者等级顺序而被录用（Christiansen,Goffin,Johnston, & Rothstein,1994;Ellingson et al.,1999;Hough,1998）。另外，一些研究已经发现作假实际上通过改变因子结构和构成这些测试的信度估计来改变人格测验的测量属性。比如，Schmit 和 Ryan （199

11、3年）对求职者和未求职者（学生）使用了大五人格简化版（NEO-FFI），这是一种用于测量传统五因素结构模型的人格测试。使用验证性因子分析后，他们发现五因素模型拟合学生样本的数据，但是六因素被要求拟合求职样本的数据。研究者提出求职样本中的第六个因素（理想员工因素）可能是由于求职者作假引起。从那以后，其他人提供了相同的证据证明作假确实不利于通过改变因子结构、等级相关性以及内部一致性估计来改变人格测量的属性。 鉴于作假可能扭曲人格测试的结果，这样就有很好的理由去使用策略以减少求职者作假行为。许多用于选拔情境的人格测试使用随机化项目位置结构，他们认为这种程序将减少求职者作假。虽然没有研究可以发现项目位

12、置怎样影响作假，但仍有一些研究发现了项目位置和其他反应心向间的相关。例如，人们已经发现，在领导的选拔测量中，当项目分组而不是随机分布在整个测验中时，宽容的得分更高。（Schriesheim,1981a,1981b;Schriesheim,Kopelman, & Solomon,1989）。这些发现表明当项目分组后反应心向可能更普遍。进一步关于作假可以通过随机化项目位置而被避免的证据来自于已经检验了项目透明度的文献。已经一致认为项目透明度很容易被作假（Alliger,Lilienfeld, & Mitchell,1995;Furnham,1986;Jackson,1971;Lau

13、tenschlager,1994）。人们发现当项目被分组，应答者更容易识别项目所要测量的是什么（例如，项目更透明；Bornstein et al.,1994）。因此，当项目被分组而不是随机排列时，求职者可能更容易作假，因为测量的真正目的太明显了。除了这些发现外，其他的一些研究表明项目分组可能增加发应的准确度而不是导致作假反应的增加，因此在心理属性的测量上有积极的影响。我们发现了这种思想的下一个证据。记忆检索和项目位置 认知心理方面的研究显示当项目随机化后注意难度增加了。例如，有研究发现人具有有限的信息处理能力（Harrison,McLaughlin,& Coalter,1996;ODo

14、nnell & Eggemeier,1986;Tourangeau & Rasinski,1988）。相比于项目随机化来说，对项目重复连续的反应代表单一的、线性的构建位置而不是应答者的认知负荷。回答一系列测量同一个概念的问题会增加有关信仰、情感以及行为的可访问性。当回答项目的时候这种位置会减少应答者的负担（Knowles & Byers,1996），允许应答者提供更精确的答案(Tourangeau & Rasinski,1988)。已有研究考察过应对调查或测试项目时使用的认知过程，发现当个体被要求指出他或她怎样才会强烈的同意或不同意一个项目，比如“我总是干净整洁

15、的”，个体会从记忆中检索相关的信念、态度以及过去的行为。因为评估相同概念的项目涉及相似的信念和行为，通常的情况是回答这些项目将会从相同的记忆中枢检索信息（Budd,1987;Steinberg,1994）。因此，如果应答者按次序回答几个测量相同概念的项目，个体应该能够反应更快，并且能够更准确的回答，因为相关的记忆已经被促发。这意味着应答者在检索过程中不需要使用很多他或她的认知资源。当一个人必须切换问题，回答尽责性项目后回答宜人性项目时，例如，个体将需要使用不同的记忆中枢检索这样的情感、信念以及行为，因为这些概念包含不同的情感、信念以及行为。个体在这种位置上更大的认知负荷可能导致应答者不会准确或

16、一致的回答。降低应答者的准确性和一致性将导致对一个人试图评估的概念的测量更不精确，从而恶化心理属性的测量。本研究本研究旨在对人格测验中项目位置对作假行为和心理属性的影响提出两种相对的假设：那些关于作假文献的陈述以及那些关于记忆检索程序认知文献所做的预测。作假文献认为当项目被分组测验将更容易作假，从而可能改变心理属性的测量（Celler et al,1996;Ellingson Et al,1999;Schmit & Ryan,1993）。另外，记忆检索文献预测项目分组将会使应答者提高他们反应的准确性这样就可以产生更健全心理属性的测量（Tourangeau & Rasinski,

17、1988）。因此，在本研究中，我们检测了以下两种相对的假设。1、作假假设：项目分组将会导致更多的作假行为，在人格测验中，相比于项目在整个测验中随机排列，项目分组会产生更不合意的心理测量属性（例如，更糟糕的拟合模型）。2、记忆检索假设：在人格测验中，相比于项目在整个测验中随机排列，项目分组将会产生更好的心理测量属性。 为了检验这两种相对的假设，我们检查人格测验中项目随机和项目分组在三种实验情境下的平均差异以及心理测量属性的差异（例如，因子结构）：根据指令来作假、指引着其表现得像个求职者以及要求诚实作答。作假情境被用来检验如果项目分组是否会使应答者更容易作假。求职情境被用来检验真实情境设置中项目位

18、置怎样影响作假和心理测量属性（例如，并不是所有的个体都会作假还是他们作假的程度不同）。最后，最诚实的反应的产生有两种原因：第一，我们想要确定当应答者完全诚实回答时项目位置是否影响心理测量属性。第二，我们需要一条基线来确定当要求参与者作假或表现得像个求职者时他们怎样增加他们的分数（确定当项目分组时是否更容易作假）。方法样本被试选自大型中西部大学的368名大学生。81%的女生；82.2%的白人，8.6%的非裔美国人以及8.4%的其他人种。平均年龄是19岁（标准差=1.97）。三个人没有指出种族或性别。测量人格测验。大五人格简化版（Costa & McCrace,1989），是人格五因素模型

19、的测量工具，被用来对人格进行评估。这个测量是Costa 和McCrae 的大五人格量表简化版。这个测试之所以被选择是因为它被频繁的用于人才选拔，并且有相当多的研究支持这个测试用于预测工作绩效的效度（Costa & McCrae,1992）。这五个因素测量的是神经质、外倾性、开放性、宜人性以及尽责性。每个因素都是通过12个项目来测量，这12个项目采用利科特反应模式，从0（完全不同意）到4（完全同意）。参见表1五个量表中的每一个在六种条件下的系数。程序被试被分为两组，分别使用两种模式作答大五人格问卷。一组使用项目分组模式（例如，测量相同结构的项目被分在一组；n=184），一组使用想随机模式

20、（例如，测量同一结构的项目是随机分布在整个测验中的；n=184）。另外，所有被试是在两种实验管理条件下进行人格测验的，这两种实验条件进行了平衡顺序处理。所有被试都要求按照指导语诚实作答（n=368）。在这种实验条件下的被试被要求尽可能诚实的回答人格测量的问题，记住他们的答案将会完全保密并匿名。接着，大约一半的被试在人格问卷中按照指导语作假（n=178）。他们被特别告知每一个问题他们都应该选择最好的反应（这个反应将会得高分）。剩下的被试被要求他们做这个测试的时候表现的好像他们是一个求职者渴望得到这份工作（n=190）。那些在求职条件下的被试被告知他们回答问题的时候好像他们真的在参加求职时的人格测

21、验，他们想得到这份工作。在这两种作假和求职条件下的被试都被告知在测验中的得分在前15%的人将会得到15美元。这样做事为了鼓励被试按照指导语来操作，也是为了模拟选拔情境。在任务执行过程中，绝大多数被试表示这种激励是鼓舞人心的。项目随机项目分组测量诚实求职作假诚实求职作假神经质.89.86.79.84.77.76外倾性.82.85.74.84.69.78开放性.77.62.63.74.65.71宜人性.81.76.74.73.62.85尽责性.82.84.88.70.77.93表一 人格测验中三种项目位置模式诚实、求职以及作假的信度注：呈现的是内部一致性信度（）被试都是在相同的时间内在指导语下完成

22、测试（诚实和作假或者诚实和求职）。值得注意的是被试作答的模式一直是在两种实验条件下进行的。概述分析这个人格测验在两种项目位置模式下的心理测量属性被检验了，来确定项目位置是否影响这个测试的测量属性。为了检验这个问题，我们进行了多组的验证性因素分析（MGCFA）。下面概述Jöreskog和其他人的研究方法（Drasgow & Kanfer,1985;Jöreskog,1971a,1971b;Jöreskog & Sörbom，1993），所有的分析都是使用LISREL8进行极大似然估计。五个常用指标被用来评估模型的拟合情况：卡方（chi-sq

23、uare），非范拟合指数（NNFI），相对拟合指数（CFI），标准化残差均方根（SRMR），以及近似误差均方根（RMSEA）。NNFI和CFI的值均在0到1之间，如果其值大于.90说明模型与数据拟合比较好（Bentler,1990;Bentler & Bonett,1980）。SRMR是测量平均标准化残差的，也就是说，它是预测到协方差矩阵的元素与观察到的协方差矩阵的元素之间的差异。如果SRMR的值小于.10，说明数据拟合非常好（Jöreskog & Sörbom，1989）。RMSEA的值为.05或者更小被认为是数据拟合好，其中其值在.05到.08之间时说明

24、模型拟合数据（Brown & Cudeck,1993;Steiger,1990）。鉴于每个因子有大量的项目（每个因子有12个项目），Schmit和Ryan(1993)以及Schmit、Ryan、Stierwalt、Powell(1995)所使用的项目分配程序被用来减少指示变量的数量。大五人格量表（NEO-FFI）中组成的每个量表的12个项目被随机分布在三个子集，每个子集平均包含这个量表的4个项目。这将总共产生15个项目集（5个人格量表都有3个项目集）。因此，每个组将要估计一个15×15的协方差矩阵，并将在分析中使用。在项目随机化的人格测量和项目分组的人格测量之间，一系列多个组进行心理等价测试（对这个程序将会有更详细的讨论，见Bagozzi & Edwards,1998）。为了评估组间的测量等价性，接着会进行模型的比较，这个程序与其他研究者所使用的相似（Bollen,1989;Byrne,