（基础心理学专业论文）企业多源评估质量的概化分析.pdf

江西师范人学硕十论文：企业多源评估质量的概化研究 摘要 内容摘要：基于经典测量理论( c n ) 的多源评估的研究存在着诸多的局限，本 文通过采用多元概化理论( m g t ) 对多源研究巾评估者效应，跨维度的评估者 间一致性，评估目的对于评估质量的影响等进行了探索。研究发现，在绩效评估 的总方差变异中，评估者效应占据了相当大的比重；多源评估系统中，同级评估 的评估质量好于上级评估的评估质量：在上级评价中，评估用于发展性目的时的 评估一致性要比用于行政性目的时的一致性要高。本文希望通过这些初步的探 索，为多源评估系统在企业里的运用提供理论和技术上的指导。 关键词：多元概化理论( m g t )多源评估评估质量评估者效应 a b s t r a c t c o n t e n t ：o nt h eb a s i so fs h o r t c o m i n g so fs t u d yo nm u t t i s o u r c er a t i n g so fc l a s s i c t e s t i n gt h e o r y 。t h ea r t i c l eu s em u l t i v a r i a t eg e n e r a l i z a b i l i t yt h e o r ys t u d y i n gr a t e r e f f e c t so fm u l t i s o u r c er a t i n g 、a c r o s s d i m i s i o ni n t e r r a t e ra g r e e m e n t 、t h ee f f e c to fr a t i n g p u r p o s et oq u a l i t yo fr a t i n g 。t h er e s u l ts h o w st h a t ( 1 ) r a t e re f f e c t st a k eag r e a tp a r ti n t h e t o t a l v a r i a n c eo f p e r f o r m a n c ea s s e s s m e n t ，( 2 ) t h eq u a l i t yo fr a t i n go f p e e rr a t i n g s i sb e t t e rt h a nt h a to fs u p e r v i s o rr a t i n go fp e e rr a t i n g si nt h es y s t e m so fm u l t i s o u r c e r 乱i n g s ，( 3 ) i ns u p e r v i s o rr a t i n g ，i n t e r r a t e ra g r e e m e n to fd e v e l o p m e n t a la s s e s s m e n ti s h i g h e rt h a nt h a to fa d m i n i s t r a t i v ea s s e s s m e n t 。t h i sa r t i c l ew a n t st og i v et h e o r e t i c a l a n dt e c h n i c a lg u i d ef o ru s eo fm u l t i s o u r c er a t i n g si ne n t e r p r i s e sb yt h e s ep r e l i m i n a r y e x p l o r a t i o n 。 k e y w o r d s ：m u l t i v a r i a t eg e n e r a l i z a b i l i t yt h e o r y m u l t i s o u r c er a t i n g s q u a l i t yo f r a t i n g r a t e re f f e c t s 江p q 师范人学硕i ：论文：企业多源评f + 质量的概化研究 1 、文献综述 1 1 多源评估的含义及其价值 现代的商业趋势，如，企业规模缩小，全质量管理，企业重塑，雇员权 利化，以团队为基础的组织模式设计等等，促使我们对于传统的绩效评估系 统提出了新的要求。显然，传统意义上的仅仅依赖以上级考核为中心的评估 系统已经变得不合适了。正如l o n d o n 和s m i t h e r s ( 1 9 9 5 ) 所说，“多源评估和 反馈系统越来越流行，因为组织管理者认识到工作的本质是多维度的。”另外， 许多现代公司正在努力为庞大的组织机构瘦身，并将此举作为他们为缩小企 业规模所作出努力的一部分。在革新后的组织结构中，上级将拥有更大范围 内的控制权，直接参与普通员工事务的工作行为则会越来越少。员工的工作 范围将越来越广泛，受到的限制越来越少，会更大程度地参与到工作团队当 中( k a t z e n b a c h 和s m i t h ，1 9 9 3 ) 。员工的工作当然还需要上级的支持，但上 级的角色会变得更简单，起导向作用，而不是事事亲躬。 因为这些新趋势的出现，许多组织f 在考虑通过多种途径来评估员工和 管理者的成绩。多源评估和反馈系统的出现，迎合了这样一种需要，( m i l l i m a n e ta 1 ，1 9 9 4 ) ，并且多源评估和反馈系统的使用与过去数十年内的研究发现是一 致的，这些研究发现单源评估存在明显的缺陷( k a n e 和l a w l e r ，1 9 7 9 ：w e x l e y 和k l i m o s k i 1 9 8 4 ) 。 多源评估和反馈系统也称全视角考核( f u l l c i r c l ea p p r a i s a l ) 或3 6 0 度评估 与反馈( 3 6 0d e g r e ea s s e s s m e n ta n df e e d b a c k ) 是一种从多个角度获取组织成 员行为观察资料的方法，包括上级、下级、自己、同事等，有时甚至包括顾客( 包 括外部顾客和内部顾客) 。在过去的几年中，3 6 0 度评估与反馈和其他相关形 式的多源评估方法受到了企业组织越来越多的重视。它从一种创新性的技术 逐步进化成为一种整合总体绩效和人力资源的管理策略，在近几年盛行于西 方管理界。从工作团队中不同成员他或她的同级、梯队成员、上级或顾 客中获得的信息常常作为个人评估和管理胜任力判断的第二标准( 例如， b r a c k e n ，1 9 9 6 ：c h u r c h ，1 9 9 5 ；l o n d o ne ta 1 ，1 9 9 3 ；t o r n o w ，1 9 9 3 ) 。这种基于 江硝师范人学硕十论文：企业多渊评估质量的概化研究 多种评估来源和角度的评估系统很快成为衡量一个现代企业的绩效评估和绩 效管理是否先进的“极其重要的标志”( h r o n e c ，1 9 9 3 ) 。 多源评估和反馈系统系统的理论根据部分来源于经典测量理论( c l a s s i c t e s t i n g t h e o r y ) ，即从多个角度获取的信息可以获得更高的信度和效度，因此， 所得数据也更有意义和使用价值。根据经典测量理论( c r r ) 的真分数模型： x = r + a 其中x 为实得分数值，r 是假设的真分值，a 是测量误差，我们每次进行 评估所得分数实际是真分数和误差分数的线形组合。 在一个团体中，由于每个人的误差都是随机的，而且方向不同，所以， 从理论上讲，只要团体足够大，其误差便会相互抵消，误差项最后会趋于零。 对于多源评估系统而言，由于评估眼于各个不同的侧面，对任何一位组织成 员都测量了多次，平均误差渐趋于零，实得分数就渐渐趋于真分，进而在一 个团体中，测量误差的变异数也趋于零。那么，一组测验分数之间的变异数 就只由与测量目的有关的变异数和稳定的、但是出自无关变量的变异数所决 定了，从而使测量值更接近于真分值。也就是说，多源评估系统与其他评价 方法相比，具有比较高的信度和效度。 多源评估系统的另外一个基本假设在于实施多源评估与反馈可以通过增 迸员工的“自我觉察”来使员工的行为产生改变。许多多源评估与反馈实旌 者和研究者认同这样一种观点，当管理者评估和比较工作伙伴的某一与其工 作行为相似或相关的行为时，他们被迫进入了一种反射性的认知过程，这种 认知过程会导致管理者对于他们自己行为有更高水平的自我觉察，并且对于 这些行为在组织内或组织外会产不同水平的结果有着更为清楚的认识 ( y a m m a r i n o & a t w a t e r ，e ta 1 ，1 9 9 3 ) 。最近的研究也正在做出一种尝试，努力 在自评一他评的相似性与个体自我管理的绩效之问建立一种联系。而且，最 近的几个纵向的分析，表明随着时间的推移，多个评估者的方法确实对于管 理行为有着意义非凡的影响( c h e s t o ne ta 1 ，1 9 9 6 ) 。可以说多评估者评估系统 有着令人激动的前景。 江西师范人学硕l 论文：企业多源评估质量的概化研究 1 2 多源评估在企业中的应用情况 综合过去的调查研究( 张裕隆等，2 0 0 1 ) ，多源评估与反馈在现代公司和 组织中有着这么几方面功用： 第一，发展与反馈。多源评估系统的一个主要功能之一，即在于透过反馈 帮助被评估者有所知觉、成长与发展( t o r n o w ，1 9 9 3 ：m u c h i n s k y ，1 9 9 7 ，e ta 1 ) s m i t h e r ，l o n d o n ，s a l v e m i m i n ( 1 9 9 5 ) 的研究发现，在接受反馈之后， 最初在工作表现上被评为中等或以下的经理人员，在六个月后都有相当的进 步。h a z u c h a ，h e z l e t t 和s c h n e i d e r ( 1 9 9 3 ) 的研究也指出，在接受3 6 0 度反馈 后，经理人员的自评准确度和管理技巧都显著地提高。 第二，绩效评估。多源评估系统另外一个主要功能用做绩效评估的工具。 有别于传统的自上而下的考评方式，多源评估系统可以多方面从受评者的下 属、同僚甚至顾客的角度提供不同的讯息。 第三，斟选和派任。多源评估系统的第三功能则为斟选和派任，亦即可 以作为接班人计划( s u c c e s s i o np l a n ) 系统的一部分。m o s e s ，h o l l e n b e c k 和 s o r c h e r ( 1 9 9 3 ) 认为，在实行接班人计划的组织之中，多源评估系统可以为 系统化收集资料的基础，并提供预测接班人选未来表现的参考。 第四，组织改造。多源评估系统可协助组织改造( o r g a n i z a t i o n a lc h a n g e ) 。 l o n d o n 与b e a t t y ( 1 9 9 3 ) 将多源评估系统视为一种组织介入策略( 0 r 2 a n i z a t i o n a l i n t e r v e n t i o ns t r a t e g y ) ，是组织成员意识到“领导行为、单位工作结果以及客户 期望”与“组织策略及核心价值”间达成一致的重要性。他们认为管理工作 表现的测量工作，不应该只以业绩指标来测量经理人对组织工作结果的贡献， 更应该测量其领导行为是否与企业策略相符合。 k a p l a n ( 1 9 9 3 ) 亦将多源评估视作“组织改革”的策略之一。他认为组织 经常会面临许多挑战，最高管理阶层为有效因应这些问题，必须进行大规模 的变革，因此主张优先针对高阶主管施行多源评估。同时，他也认为唯有这 些高阶主管亲身进行改变，才1 能更有效地在进行改革时发挥作用，顺利完成 组织改造的任务。 4 江两师范人学硕1 。论文：企业多源评估质量的概化研究 1 3 对多源评估研究的回顾和局限 在近几年，国外学术界对于多源评估的研究逐渐形成了一个焦点，针对 多源评估的研究范畴十分，、+ 泛。在众多的研究中，对于多源评估评估质量的 研究较为集中，特别是评分者一致性方面( m i c h a e l m h a r r i s ，1 9 8 8 ： v i s w e s v a r a n ，1 9 9 6 ：b e t t e n h a u s e n ，1 9 9 7 ：c h u r c h ，1 9 9 7 , j a w a h a r ，1 9 9 7 ：g r e g u r a s ， 1 9 9 8 ；s t e p h a n eb r u t u s ，1 9 9 8 ；g r e g u r a s ，2 0 0 3 ，e ta 1 ) ，这些研究在一定程 度上推动了多源评估系统在实践当中的应用。 但是，过去的研究仍然存在着一些局限和不足。 第一，研究方法存在着较大的局限。在过去研究中，研究者大多都是 采用经典测量理论( c i t ) 来进行研究。c r r 本身存在一定的局限，相对于 复杂的多源评估系统，局限性也就更加突出。在c 丌中强调严格平行测验， 这在实践中很难得到满足，我们常常无法保证不同测量间得分的平均值和标 准差都相等。其次，c t t 真分数模型中所定义的误差项是一个笼统的，未分 化( u n d i f f e r e n t i a t e de r r o r ) 的误差，没有办法再进行分解和分别描述。而在实 际的绩效评估中，存在众多的误差来源，较为常见的有评估者个人特质所导 致的评估者效应，评估项目所导致的项目效应，等等，这些效应对于评估准确 性的影响不可忽视，但是按照c t i ，很难理想地将它们分解出来，并估计出 它们的大小。在传统研究中，类似于评估者效应的这些方羞效应在c 】盯中一 律被作为随机误差处理，这样做是欠缺考虑的，应该根据具体的决策和应用 来决定( m u r p h y ，2 0 0 0 ) 。再次，在c 丌的真分数模型中，仅仅将方差来源 分为两个部分，真分数和误差，这就使得它每次只能估计一个误差来源。这 就决定了c t f 在处理这些误差因素时，一般是在一次估计中抓住一个，而忽 略其他。对于简单的实验设计，c 丌还能处理，而对于影响因素相对复杂的 绩效评估( 如，评估者、评估项目、评估目的等) ，c r t 就会显得捉襟见肘。 因为在处理相对复杂的绩效评估时( 如概化分析巾的双侧面随机设计) ，c r r 就不得不将误差来源分解为一个个来处理( 将双侧面分解为单侧面) ，过程不 仅繁杂，而且会丢失很多信息。 第二，目前的研究缺乏跨维度的研究。众所周知，绩效的本质是多维 江砖师范人学硕+ 论文：企业多源评估质量的概化研究 度的，而不仅仅是单维。在当前的一些研究中，山于研究方法的局限，研究 者仍然将员工的绩效归为单维的。g r e g u r a s ( 2 0 0 3 ) 关于评估目的对于多源评 估的质量影响研究中，就将1 6 个项目归于一个维度。v i s w e s v a r a n ( 1 9 9 6 ) 则 分不同维度对于续效评估的信度进行了比较讨论。这样做的原因一方面是出 于研究的需要( v i s w e s v a r a n ，1 9 9 6 ) ，二是因为研究方法的局限而将数据进行 简化( g r e g u r a s ，2 0 0 3 ) 。但是这样做和实际工作是脱节的。工作实践中我们 更愿意将量表的信效度作为一个整体来讨论，而不是将它划分为多个维度来 讨论。 第三，对于多源评估有效性的求取一直是一个盲点。在过去的研究中， 对于多源评估质量的研究常常是将各个评估源分开来进行的，比如，分别求 取上级、同级和下级的评估一致性，然后再看看两者间的相关来判断多源评 估的质量好坏( m i c h a e l m h a r r i s ，1 9 8 8 ) 。评估者间的相关系数要代表多源评 估的信度有很多前提假设，如，评估者之间是可以互相代替的；评估者间的 一致反映了真分数方差；评估者间的不一致得到了很好的限定，我们可以将 其看作是测量误差；但是这些条件很难得到满足，因此m u r p h y 等( 2 0 0 0 ) 认 为将评估者间相关作为绩效评估的信度是不妥当的。但除此之外，传统的多 源评估研究并没有提供一种求取多源评估效度的合适方法。 第四，对于评估目的影响评估质量的假设缺乏实证研究。目前越来越多 的企业采用多源评估系统，这种评估系统被用于多种多样的目的，如，行政 性目的( a d m i n i s t r a t i v ea s s e s s m e n t ) ( 例如，像薪水决策、职位变迁这样的行政 决策) ，发展性目的( d e v e l o p m e n t a la s s e s s m e n t ) ( 例如，调查员工的优势和缺 陷，然后反馈给员工，以期望他提升： 作效率) ，等等。一般来讲，多源反馈 系统常常被用于发展性评价，但是，目前也出现了这样的趋势，将多源评估 用于行政决策。 评估目的的不同对于评估结果是有影响的。早在4 0 多年前，t a y l o r 和 w h e r r y ( 1 9 5 1 ) 假设评估用于行政性目的比用于研究和反馈更为宽松和不准 确。但是遗憾的是，后来很少有实证研究去探讨评估目的是如何影响评估质 量的( l o n d o n l 9 9 5 ，s u l s k y l 9 9 8 ) 。 针对以往研究的局限，本文采用了新的测量方法，对以往研究中的盲点 江西师范人学硕 ：论文：企业多源评估质晕的概化研究 和不足进行了新的探索。在这单，先介绍。种新的测量理论，将它应用于绩 效评估领域十分合适。 1 4 概化理论 概括化理论( g e n e r a l i z a b i l i t yt h e o r y ，g t ) 简称概化理论，又被译为概括 力理论或拓广力理论，是廿世纪六十年代中出克隆巴赫( c r o n b a c h ) 和格莱塞 ( g l e s e r ) 等正式数学形式化地引进测量领域的一种心理计量学理论，后为布 隆纳( b r e n n a n ) 等人所大力推进。目前随着计算机技术的应用和推广，特别 是布隆纳等于1 9 9 9 年开发出专门用于m g t 分析的m g e n o v a 软件，使得多 变量( 多元) 概化理论( m u l t i v a r i a t eg e n e r a l i z a b i l i t yt h e o r y ，m g t ) 也迅速发 展和推广起来，为许多研究者采用。 概化理论主要是一种测验信度理论，是对经典真分数理论特别是其信 度理论的有力拓展，是方差分析方法在测量资料变异性、尤其是测量误差来 源的具体分解与深入考察上的有效运用。概化理论使人们能站到新的理论高 度，更加有力而又具有预控性地去改善和提高测量精度与准确性。 概化理论是估计绩效评估信度的一种合适的方法。它根据误差来源的不 同将误差分为多个分量误差，在同时考虑多个误差来源的基础上进行信度分 析，这使得它的信度分析比经典测量理论( c 丌) 更为细致和准确。并且，概 化理论更注重测量的整体设计，可以考察在多种测试条件下的信度变化，这更 符合绩效评估中复杂的实际情况。概化理论在理论假设上扬弃了c r r 的“严 格平行测验假设”( 这在实际评估工作中很难得到满足) ，概化理论代之以更好 操作的“随机平行测验弱假设”，使分析问题的条件很容易得到满足。它还有 一个突出的特点在于能够在原有研究的基础上进行信度的拓广分析，即考察随 着测量情境的变化，概化系数是如何变化的，从而找到能够减少测量误差、提 高精度的最优测量设计，这跟c r r 只是施测后才来确定误差值的做法，是大 相径庭的。 概化分析的全部工作，包括g 研究与d 研究两部分。g 研究也叫做概 化研究( g e n e r a l i z a b i l i t ys t u d y ) ，就是在一定的测量情境条件下，进行收集资 料的设汁，并实际进行试验性测试，以获得实测数掘，求出各个不同的误差来 1 ：两师范人学硕十论文：企业多源评估质姑的概化研究 源的方差分量，估计它们对于总体方差的贡献，并且求出类似信度的评估测量 精度的系数，即类信度系数。d 研究我们称之为决策研究( d e c i s i o ns t u d y ) ， d 研究则根据g 研究的结果，改变测量情景关系，去判断和获取最佳测量设 计。例如，在研究中我们的评估者从9 个增成1 0 个、1 1 个、1 2 个时将会怎么 样，评估项目从5 个增成6 个、7 个、8 个时又会怎么样? 所以，d 研究阶段， 就是在改变测量情境关系的某些方面的情况下，利用g 研究所获结论，去考 察如何提高测量信度，乃至改进测量效度的工作。或者说，是推广g 研究成 果，不必等到在以后正式进行测量工作，就可以作出优化决策，实现预控调节 的工作阶段。这对于我们的实际工作意义重大。 目前，采用概化理论对绩效评估一致性的求取得了较大进展，m u r p h y 等 人( 2 0 0 0 ) 论证了评估者效应并不符合c t t 中的随机测量误差条件，在概化 理论中是否将评估者效应归入测量误差要根据决策任务来定，断然将其纳入 测量误差是不合适的，他们的研究表明了系统评估者效应和其他非测量误差 效应影响了信度估计和效度系数，使得传统研究中评估者间系数有可能高估 或低估信度系数，他们指出除非评估中所有的方差都来自真实绩效，而其他 所有因素作为随机误差，那么绩效评估中的评估者问系数才可以被解释为信 度系数，而大部分情况下都不符合这样的条件；在人力资源技术与公司绩效 关系研究中，g e r h a r t 等人( 2 0 0 0 ) 论证了采用概化理论来估计存在多个误差 来源的评估信度是十分合理的，在他们的案例中采用了概化理论分析，考虑 到了评估者效应，结果发现单个评估者对于人力资源变量评估的信度十分低， 在实践中可能导致大量的偏差，而且还发现，在人力资源评估中的聚合效度 相当有限，未来的研究应该多注意测量误差和结构效度问题，等等。 可以说，概化理论的出现为人力资源管理中绩效评估的研究拓展了一片 很广阔的天地。 1 5 研究目的以及研究构想的提出 15 1 研究目的 f 如以上所讨论的，在传统的多源评估的研究中，存在着诸多的局限 江豳师范人学顶| 论文：企业多源评估质避的概化研究 如，对于多个来源的误差不能进行同时估计，缺乏跨维度的研究等等，本文 通过采用多元概化理论( m g t ) 对传统多源研究中的弱项进行了探索，如评 估者效应的求取，跨维度的评估者间一致性的求取，多源评估有效性的求取 等等；另一方面，想通过这些研究，为企业的多源评估系统的决策优化以及 多源评估系统在企业里的运用提供理论和技术上的指导。 1 5 2 假设1 的提出 企业实旌续效评估的过程中，影晌评估准确性的因素相当多且复杂。参 与评估的评估者，构成评估量表的项目，评估的目的，评估的情景，评估的 方式，员工对于绩效评估的态度等等( a l l a nh c h u r c h 和d a v i dw b r a c k e n ， 1 9 9 7 ) ，都有可能成为评估中的误差来源。其中，评估者所产生的评估者效应 被认为对于评估一致性产生了重大影响( s c h m i d t 和h u n t e r ，1 9 9 6 ) 。造成这 样一个现象的主要原因在于，绩效评估中，员工绩效分数的评定与评估者的 个人特质( i d i o s y n c r a s y ) 有较大的关系。评估者个人的动机，认知偏差等等， 都会对于评估结果产生影响。在传统的教育考试中，我们常常通过标准化的 题目和答案使得评分者给试卷评分带来的误差最小化，甚至可以忽略。但在 绩效评估中则不然，评估者做出的评估往往带有强烈的主观色彩，不同的评 估者由于动机、职位、态度的不同造成绩效评估的差异。借助于概化理论， 我们可以对于这些误差来源进行分解，并且同时估计出这些影响因素在绩效 评估中的影响。 在过去曾有少数研究者采用概化理论对绩效评估中的各个误差源进行分 析。k r a i g e r 和t e a c h o u t ( 1 9 9 0 ) 调查了跨评估形式和来源( 自评、同级评定、 上级评定) 绩效评估的概化系数( 用于研究性目的) ，其对象是空军机械师。 评估源内的方差揭示了最大的方差分量是未分化的残差项，接着是被评估者 项目( 测量目标或真分数方差) ，剩下项目的方差所占总方差的比重比较小。 需要说明的是，在他们这项研究中，评估源内的分析并没有包括评估者效应， 因为在实验中，每一个评估源内只有一个评估者，因此，他们的估计更类似 于评估者内估计，而不是评估者间估计。 w e d ，s h a v e l s o n ，k i m ，c h e n ( 1 9 8 9 ) 调查了海军机械师的绩效评估一致 江两师范人学硕士论文：企业多源评什质量的概化研究 性，这些调查跨越了不同的任务( 手动任务、工作知识) 和不同的评估来源 ( 自评、同级、上级) 。刘于所有的误差来源，结果表明被评估者效应( 测量 目标) 占据了最大的方差分量，第二大方差分量来自残差项。在这次调查中， 对于上级评估和自我评估而言，只有个评估者，所以评估者效应和评估者 交互效应不能被计算。但是，同级中采用了多个评估者，于是与同级相联系 的各个效应可以被计算出来，分析结果表明，评估者与被评估者的交互效应 占得比较多( 占总方差分量的2 3 ) 。这个结果与过去所做的一些研究有些相 似，在这些研究中发现评估者个人特质在绩效评估中导致了较大的一个方差 来源( d a y s i l v e r m a n ，1 9 9 2 ；m o u n t ，j u d g e ，s c u l l e n ，s y s t m a ，h e z l e t t ， 1 9 9 8 ，e ta 1 ) 。 g r e g u r a s 和r o b i e ( 1 9 9 8 ) 分析了由上级，同级和下级进行发展性评估的 一致性，评估源内的分析表明，最大的方差分量来自未分化的残差项，接着 是评估者效应和评估者受评者的联合效应，接着是被评估者效应。而项目效 应和项目与被评估者的交互效应很小。 m u r p h y 和d e s h o n ( 2 0 0 0 ) 的发表的评论认为，在多源评估系统里面，评 估者效应可能成为至少和残差效应一样大的方差来源。 基于以上这些研究以及讨论，本论文提出研究假设1 ： 假设1 ：对于上级( a ) 和同级( b ) 评估者来讲，评估者效应为评估的方差来 源，其次为交互效应和残存效应，而只有少量的方差效应集中在受评者效应， 即评估目标效应上。 1 5 3 假设2 的提出 在历来多源评估的研究中，对于不同评估源的评估一致性一向是研究焦 点。过去的研究和实践都证明不同评估源的评估一致性存在差异( h a r r i s ， 1 9 8 8 ；v i s w c s v a r a n 1 9 9 6 ：b e t t e n h a u s e n ，1 9 9 7 ：g r e g u r a s ，1 9 9 8 ，2 0 0 3 ，c ta 1 ) 。 导致不同评估来源( 上级，同级和下级) 的评估质量不一样的可能有这 样几个原因：第一，从组织水甲的差异来解释评估者间存在的不一致有两种 看法。一些研究者( 如，k l i m o s k i ，1 9 8 8 ) 认为处于不同水平的评估者衡量绩 效尺度是不样的。这就表明处j ：1 i 同组织水平的评估者( 如，同级和上级) 1 0 江硝师范人学硕十论文：企、i k 多源评估质颦的概化研究 可能对于总体评价会不一致，但是可能在某些维度评估，k 会一致。第二种看 法是不同水平的评估者定义和测量绩效的标准是不一样的( 如，b o r m a n ， 1 9 7 4 ) 。后一种假设表明不同水平的评估者在维度和总体评估上同样不一致。 同时，这两种解释表明同一水平上的评估者( 自评和同级评估) 会提供相似 的评估。第二，关于不同评估者存在不一致的第二种解释为观察机会的不同。 上级、同级和下级处于不同的组织岗位，决定了他们对于同一行为有着不同 的观察机会，特别地是，同级被假定有更多的机会观察被评估者，比上级更 多处于被评估者的暴露时间( r e v e a l i n gt i m e s ) ( l a t h a m w e l x l e y ，1 9 8 2 ，e ta 1 ) 。 这种解释表明上级产生不一致是因为上级有较少的机会观察个体的绩效，而 他们观察到的行为并没有反映他们的真实绩效。第三、不同评估源在获取绩 效信息上存在差异。评估者从不同的信息来源获取被评估者的信息，包括从 同事、顾客等获取的间接报告。m u r p h y 和c l e v e l a n d ( 1 9 9 5 ) 的研究认为，间 接报告者的动机以及报告内容与评估者所观察到是否一致都会影响到这些报 告将被如何解释和使用。不同的评估者从不同的来源获取信息，或者在形成 对他们员工的评估时依赖于他们直接观察和间接报告的混合。第四、评估者 的经验也影响着评估的准确性。k i n g s t o o m 和m a i n s t o n e ( 1 9 8 5 ) 认为，在对 一些特殊任务进行评估时，评估者通常有着不同程度的经验。对于绩效的某 一部分有着渊博知识的评估者很有可能在评估相关的行为时，形成一个更为 尖锐的分布。评估者在他们的知识标准上存在差异，那些明了组织中绩效标 准的评估者更倾向于愿意在员工之间进行仔细判断以区分出差异，而那些对 绩效标准知之甚少的评估者很有可能给出极端化的评估。最后，不同价值观， 不同经历，不同的培训等因素都会影响到评估者的评估，即使他们看到了同 样的行为信息。用于评估绩效的标准往往同时反映了个体的价值观和社会的 价值取向( b o b k o & c o l e l l a ，1 9 9 4 ：m u r p h y c l e v e l a n d ，1 9 9 5 ) 。 总结过去的研究发现，上级的评估质量可能比同级的要好。首先，上级 有着共同的价值观( a u s t i n ，1 9 9 1 ) ，或者是相同的图式( b a i l e y ，1 9 8 3 ) ，而 其他的评估者没有。更进一步，对于上级来讲，留意员一 的行为，为员工提 供反馈信息给员工是他们本职工作的一部分( c o n w a y ，1 9 8 5 ) ，他们可能拥有 更多的经验和机会去观察员工行为，这些可以用来解释上级评估的高信度。 江西师范人学硕 j 论文：企业多源评估质量的概化研究 相反，其他来源的信度可能非常低，因为他们这种评估过程是一种威胁( 存 在潜在的消极后果) ；对于不同的同级和下级，管理者的行为表现可能不一样， 但他们在上级面前，行为表现可能是一样的；对于管理者的绩效，同级的投 入很少，而上级不一样；下级对于整个目标和上级的责任理解得不透彻，因 此，他们并不能认识那些是有效行为，那些是无效行为。 v i s w e s v a r a n ，e ta 1 f 1 9 9 6 ) 在对于续效评估信度系数的元分析中，发现在绩 效评估的众多维度上，上级评估者的评估者间信度系数都较之同级要高些， 也就是说上级间的评估比同级间的评估更具有一致性。在总体工作绩效维度 上，生产率维度，领导力维度，人际交往能力维度上，上级与同级的信度系 数分别为：o 5 2 0 4 2 ，o 5 7 一o 3 4 ，0 5 3 一o 3 8 ，0 ，4 5 0 4 2 。 s c u l l e n ，e ta 1 在1 9 9 5 的研究报告中，也发现同级评估相比于上级评估的 有着更低的评估者间信度系数。 g r e g u r a s ，e ta 1 ( 1 9 9 8 ) 运用概化理论对于绩效评估中的评估一致性的研 究中，也发现同一个评估样本中，上级评估的概化系数( 0 2 4 0 3 ) 和可靠性系 数( o 2 2 9 1 ) 系数都比同级评估的概化系数( o 1 5 7 9 ) 和可靠性系数( o 1 5 1 4 ) 要略高。 综上所述，在人力资源绩效评估中，由于拥有共同的价值观或对于绩效 标准理解更为一致等等因素，我们预测上级评估的一致性要比同级要好，由 此，提出假设2 ： 假设2 ：上级的评估一致性要比同级的评估一致性高，即上级评估的概 化系数要比同级的概化系数高。 1 5 4 假设3 的提出 目前企业越来越多地使用多源评估，它们被用于多种多样的目的，包括： 被评估者问( 例如，像薪水决策这样的行政决策) ，被评估者内( 例如，作为 发展性评价用来评估员工的优势和缺陷) ，或者是用于系统维护( 例如，评估 员工系统) 。 般来讲，多源反馈系统常常被用于发展性评价的目的( l o n d o n s m i t h e r ，1 9 9 5 ) 。但是，目前也_ f _ 现了这样的趋势，将多源评估用于行政决策 1 2 江西师范人学硕+ 论文：企业多源评估质量的概化研究 ( d a l e s s i o ，1 9 9 8 ；l o n d o n ，2 0 0 1 ) 。 将多源评估用于行政目的基于两个假设，第一，这样一个系统相对于单 一的评估来源能够提供更全面更好质量的信息( d a l e s s i o ，1 9 9 8 ；l o n d o n ， 2 0 0 1 ) ，第二，希望通过在执行和发展这些评估系统上的投资能够获得更大的 回报。( g h o r p a d e ，2 0 0 0 ；w a l d m a n ，a t w a t e r & a n t o n i o n i ，1 9 9 8 ) 。 然而，早在1 9 5 1 年，t a y l o r 和w h e r r y 通过他们的研究认为，绩效评估 如果用于行政性目的的话，如，加薪，升职，相比于那些用作研究，反馈， 或员工发展的目的，更不精确，更为不严格。这种观点基于这样一种假定， 评估者会因为评估目的不同而对评估带有偏见。 从理论上讲，可信的，有效的评估数据能够帮助管理者在涉及到员工的 利益决策中作出可靠的判断，因为这些数据能够告诉你，那些人是在标准以 上的，那些人是在标准以下的。但是评估目的效应表明管理者并不愿意在绩 效中作出这种重要的区分。过去的一个的研究报告表明( b r e t z ，m i l m o v i c h ， 和r e a d ，1 9 9 2 ) “在美国工厂中，评估者对于员工的评价一般处于尺度的顶 端和低端”。管理者面对困难和重要的员工决定时，常常想通过评估来解决， 但是不幸地是，可能这时评估所提供的是不可靠的依据。 因为绩效评估数据常常用于选拔研究中的标准尺度，所以评估目的效应 是研究者十分关心的问题。如果评估目的效应发生了，那么用于行政性目的 评估相比与用于研究或发展性目的的评估遭受到了严重的效标污染。有一些 评论认为效标污染问题很严重，以致于他们认为在进行选拔时，使用行政性 评估要“极端小心”( h g e n ，e ta 1 ，1 9 9 2 ) 。g a t e w o o d 等人( 1 9 9 4 ) 的研究表明， 相比于研究性评估，与行政性评估相联系的效标污染可能导致更小的效度系 数。在这个问题上，m c d a n i e l 等人( 1 9 9 4 ) 所做的研究提供了依据，在员工 面试的选拔效度研究上，他们发现，平均效度系数为o 4 7 ( 研究性效标) 一 - - 0 3 6 ( 行政性效标) 。 有许多原因可以解释为什么评估目的可以影响评估质量。第一，评估目 的很可能影响评估者动机。例如，评估者可能歪曲行政评估以避免否定性评 估所带来的潜在效应；为他们或别人确保他们期望的结果；或者激励绩效低 的员工。相反，对于发展性评价，评估者更愿望帮助员工去鉴明他们的优势 江“师范人学硕f ：论文：企业多源评什质量的概化研究 和缺陷。第二，不同的评估目的可能和评估者在组织中的典型角色相冲突。 尽管同级和下级可能觉得为其他员工提供反馈是他们份内的事情，相反，当 他们执行行政性评估决策时会感到十分不舒服，而这些决定通常是由上级决 定的。另外，采用下级或同级提供影响行政决策的信息违背了典型的组织等 级制度，就像m u r p h y 和c l e v e l o n d ( 1 9 9 5 ) 所提 i _ 的，这样一种违背可能导 致一种严重的结果。第三，评估目的可以被认为是一种重要的背景因素，这 种背景因素会与评估者的能力和认知过程产生相互影响。特别的是，研究表 明，不同评估目的可能要求不同水平和类型的认知过程。因为面对不同评估 目的时，评估者会使用不同标准或参照框架，所以会产生不同类型的信息加 工过程。当评估者进行行政性评估时，采用的是相对比较，而作为发展性评 估时，采用的是绝对比较。诸多因素都可能决定评估目的会影响评估结果。 那些对评估目的对评估质量影响的研究发现，当评估用于行政目的时， 与用于发展性评价相比，更宽松，不易变化，精确性低，这些很可能降低评 估者间信度。与这些理论相一致的，一个由f a r h ( 1 9 9 1 ) 所做的研究提供了 主要支持，他认为当进行行政性评估时，评估者间信度比进行发展性评价时 要低。 综上所述，在绩效评估中，当评估用于行政性目的，那么其评估质量是 低于用作员工的发展性评价的，组织将会由于低质量的行政决策而获取更少 的回报。不幸的是，很少有研究去证实评估目的是如何实实在在地影响多源 评估的质量( l o n d o n s m i t h e r ，1 9 9 5 ；s u t s k y k e o w n ，1 9 9 8 ) 。 由此本文提出研究假设3 ： 假设3 ：不同的评估目的对于评估质量有影响，对于上级( a ) 和同级 ( b ) 来讲，当评价用于发展性评价时的一致性系数比采用行政性评价的评估 效果要好。 江西师范大学硕十论文：企业多源评什质量的概化研究 2 、 实证部分 2 1 研究程序及概化设计 2 1 1 样本的选择和构成 样本来自一个大的药业集团公司。根据公司的业务拓展，整个企业在 0 2 0 4 年处于一个转型期。为了使公司更具有持续的发展力，公司总裁于0 2 年起开始设计并实施公司新的发展规划。这促使公司于2 0 0 2 年起开始实施绩 效管理规程，并与0 3 年1 0 月份在原来的绩效管理基础上实施多源评估系统。 我们的原始数据包含了2 9 名受评者。这2 9 名被评估者选自集团公司制 造事业部，2 9 名被评估者分别为制造事业部各车间的班长，或考核员，属于 中层干部。考核上级为分管总监，正副部长，其中总监和正部长属于企业高 管层。2 9 名被评估者中有男性2 0 人，女性9 人，平均年龄为3 2 岁。 2 1 2 考核量表的确定 评估所用量表基本沿用原公司的“工作能力和工作态度评估”量表( 见 附表1 ) 。 整个量表分为五个维度，分别为，工作态度、创新能力、团队建设、 计划组织能力、沟通能力。第一、第二个维度包含了4 个评估项目，其他三 个维度包含了3 个评估项目，总共有1 7 个项目，所有的题目用l i k e r t 量表形 式，分为5 个等级。其中5 代表最好，1 代表最差。 所采用的评估量表属于行为锚定评估量表，量表编制人员由岗位上工作 多年，具有丰富工作经验的人员构成。整个量表的编制步骤是：首先请各个 参编者确定量表的范围和内容，各个维度无交叉，并分配好各个维度的权重 系数：第二，根据从日常工作中提取的关键业绩指标( k p i ) 编制题目；第 三，请若干非参编人员将编制出的题目分别归类到各个维度当中，出现较大 分歧的题目进行删除，保留归类一致的题目，最后整理形成量表。实施评估 前，该量表已经被使用多次，反映良好，具有较好的内容效度。 江两师范人学硕l ：论文：企业多源评竹质量的概化研究 21 3 实施考核 按照预先的设计，整个研究的评估进行两次，第一次以发展性评估 ( d e v e l o p m e n t a la s s e s s m e n t ) 为目的，告诉评估者，整个评估是匿名的，评估 的主要目的在于发现部门员工在工作中的跃处和缺点，以便部门及时向员工 进行反馈，改进他们的绩效，评估不与工资福利挂钩。第二次以行政性评估 ( a d m i n i s t r a t i v ea s s e s s m e n t ) 为目的，告诉评估者，整个评估是匿名的，评估 结果将用于行政性决策，如，绩效工资的确定，岗位的升迁。两次评估间隔 时间为一个月。 根据设计，共收集了两批数据。当进行发展性评价时，2 9 名被评价者分 别接受3 位上级评估，1 0 位同级评估，当进行行政性评价时，2 9 名被评价者 分别被4 位上级评估，1 0 位同级评估。 2 1 4 概化设计 2 1 4 1 数据格式 整个评估量表分为五部分，即，工作念度，创新能力，团队建设，计 划组织能力，沟通能力。这五部分分别用来评估具有相关关系的五种能力或 特质，因此我们采用多元概化理论( m g t ) 进行分析。我们将评估维度用( h ) 表示，员工在这五个维度上表现出来的绩效水平作为测量目标( p ) ，将对绩 效评估有较大影响的评估者因素( r ) 作为评估侧面，并假定评估者( r ) 是 随机取样于容量无限的评估者全域，被试( r ) 也是随机取样于容量无限的被 试总体，这样我们就形成了多维度的单侧面p ，完全随机设计。( 注：受评 者在每一个维度上的得分这样计算：将维度内每个项日的得分进行累加再求平均分) 整个概化设计数据格式为： 江西师范人学硕士论文：企业多源评竹质鼙的概化研究 表2 - 1p ，完全随机设计及其数据结构 2 1 4 2 概化分析步骤 根据本研究的具体情况，结合过去有关学者的研究( 杨志明，张雷，2 0 0 3 ) 本文中对绩效评估质量进行概化分析可为以下几步： 第一，分别估计测量目标( 被评估者) 、测量侧面(