民主测评效度分析的方法

民主测评效度分析的方法

对干部进行了主观评价，这是在20世纪80年代定性调查的基础上形成的。这是干部考察方法的一项重要改革,推行后产生了积极意义。长期以来,民主测评一直作为群众评价机关工作人员的杠杆,是选拔任用干部的重要依据,也是考核干部政绩的主要形式。加紧探索建立一种科学、简便、适用的民主测评结构模式,是当前领导干部考察考核和干部选拔工作中急需解决的问题。本文通过民主测评表的设计和赋予测评项目等次相应的权重系数,运用数理统计方法和设定有关民意评价指标进行量化记分,对领导干部民主测评情况作出定性分析判断。一、结果的评价机制深化干部工作中的民主是干部人事制度改革的方向,而民主测评是实现多方位征求、反映群众民意和客观、公正、准确评价干部的有效形式,是贯彻群众公认原则和公开、平等、竞争、择优原则的具体体现。随着干部人事制度改革的深化,它已经被应用到干部的选拔、评价、任用和管理的全过程,成为推进干部工作民主化进程中备受关注和重要环节。民主测评工作的目的就是全面真实地反映民意,准确无误地展现被测评者的客观情况。但由于民主测评是个人的主观评判的集中体现,因而它往往受到众多因素的制衡,导致“测评结果失真”和“了解不到真实情况”。从目前民主测评的实际情况看,主要有以下几种制衡因素:一是情感因素。民主测评作为参与测评人对被测评对象的能动反映,不可避免地受到测评人情感因素的影响,因而对被测评人产生不同的情感评判效应。如评判者往往从自己的政治观点出发,作出对被测评对象的评判,当二人的观点一致或者基本一致时,对被测评对象鉴定就是好的,反之,鉴定往往是差的。此外,经历轨迹、性格爱好、工作恩怨、老乡校友等都会影响测评者的评判标准,往往出现打人情票、报复票的现象。二是职位因素。机关的每一个职位均有不同的分工职能,由于涉及的职责范围、服务对象、交往人员等的不一致性,也会影响民主测评的公证性。如由于机关的各个职位在整个机关运转过程中的角色作用是不同的,有的强或有的弱。民主测评中,办公室、人事、财务等宏观调控力度大的部门,较之其他业务部门的得票就会高一些。业务较强的部门在外部的测评中又会处于相对优势的地位。结果,导致出现盲目票、人缘票的现象。三是责任因素。一些参与测评的人,认为民主测评是走形式,自己的意见不会受到领导的重视,对这项工作缺乏应有的热情和责任感,不是托故放弃,就是不负责地划票,甚至交空白票。有的被测评对象还搞非组织活动,搞“拉票贿选”,讲“哥们义气”等,严重影响了民主测评的真实性。四是本位因素。民主测评中,有的人怕影响团结,对被测评对象采取“睁一只眼闭一只眼”、“事不关己,高高挂起”的态度,提高评价档次。有的人从自身利益出发,抱着送走一个提拔一串,好处人人有份的心理,对被测评对象作出了较好的评价。五是标准因素。在民主测评中,往往是一张表格,标明“优秀、称职、不称职”或“优秀、良好、一般、差”等分类档次,测评对象根据自己心目中的标准,作出评判。从内容和形式上看,测评表中没有对被测评对象的德、能、勤、廉作出科学分析,却可无根据、随意、无记名的划票。这样做,是违背民主测评工作初衷的,体现不出对被测评对象的定量和定性分析,不能真正的反映民意,成为一种不负责的简单化测评形式。由于民主测评受到上述因素的制衡,因此我们在分析测评结果时,就不能简单地以票取人,以票定“音”,而是需要对测评结果的加以定量分析,并与定性判断相结合后,再对干部作出评价。效度是检验测评结果的一个概念。它指测评的有效性,即运用量表或其他测验手段所获得的结果达到期望目标的程度。干部考察中民主测评的效度①,是指通过民主测评手段所获得的结果接近于干部现实表现的程度,用于衡量民主测评是否如实地反映干部的情况,是否对干部德、能、勤、绩、廉做出正确的定位。随着现代评价科学成果的推广和信息数据处理手段的现代化,改革传统测评方式势在必行,刻不容缓。二、建立以绩效为主要内容的测评标准,把民主测评人打造成社会管理基础。根据对于社会科学设计民主测评的指标体系和评价标准是搞好干部考察工作,提高民主测评效度,确保考核结果准确的基础和前提。制定干部考核中民主测评的指标体系和评价标准要坚持以下三个原则:一是重点与全面相结合的原则。全面是指民主测评要完全反映干部的德能勤绩廉,既要有德才素质指标,又要有实绩考核目标。突出重点是指测评指标要体现注重实绩的原则,重点研究确定实绩的指标。同时要注意把定期考核与平时考核结合起来进行客观评价。二是分类原则。不同岗位、不同层次领导干部的能力素质要求和他所承担的岗位职责是不一样的。要根据不同领导职务的不同特点,制定科学的民主测评体系和标准。着重建立以实绩为主要内容的民主测评指标体系,细化不同类型、不同层次领导干部民主测评的评价标准,切实做到民主测评指标符合实际,能够准确的反映干部的品行、才能和工作能力,既有定性分析,又有定量比较;既科学合理,又便于操作。三是广泛性原则。在参与测评人员的结构和层次上,既要注重参被测评人所在系统、单位的人员为主,又要兼顾与其工作有联系的相关单位和人员参加;既要有基层单位领导和群众参与测评,又要有上级管理部门的相关领导和同志的测评,要特别注意根据被测评人的不同岗位职责特点,尽量选择与其工作联系较多、了解较深的人员参与测评,避免盲目选定。根据上述原则,我们把干部的测评内容分为“思想政治素质、组织领导能力、工作作风、工作实绩、廉洁自律、总体评价”六大类。前五类素质子项为“好、中、差”三个评价等次,任职评价为“优秀、称职、基本称职、不称职”四个等次。1、要有好的80票,有2.2.2原始测评数据汇总后,经统一处理,计算出各测评项目等次的比值。如某领导干部的素质子项得“好”80票,“中”18票,“差”2票,则该干部素质子项得“好”的百分率R好=80÷(80+18+2)=0.80,同理R中=0.08,R差=0.02。其他测评项目等级的得票比值可照此一一算出来。(对任职评价的等次可用R优、R称、R基、R不分别表示)2、用条件限定权重系数设定设定素质子项评价等次“好”、“中”、“差”和任职评价等次“优秀”、“称职”、“基本称职”、“不称职”的权重系数分别为P好=1.0,P中=0.6,P差=-1.0,P优=1.0,P称=0.6,P基=-0.2,P不=-0.6。这套权重系数设定的基本考虑是:取P好=1.0,P中=0.6,P优=1.0,P称=0.6,便于运算分析,又符合通常的“中等”、“一般”对应于百分率中60%-70%的数值概念。对于“差”、“基本称职”、“不称职”,由于反映的是对干部的一种负面评价,故用负值表示。这样也可以拉大对领导干部评价等次之间的距离、增大领导干部民主测评的反差程度。3、计算素质子项及任职评价分值通过上述计算方法,可以得出各类测评等次的百分率和所设定的权重系数。通过公式1与公式2,可以计算出其素质子项和任职评价分值。其素质子项分值S子=P好×R好+P中×R中+P差×R差(公式1)任职评价分值S总=P优×R优+P称×R称+P基×R基+P不×R不(公式2)4、职高生工作有效程度和测评对象的被了解程度的计算一般而言,测评人员对同一领导干部的评价总是有差异的,我们把这种差异的程度定义为争议度。任职评价透明度是判断和评价工作有效程度和被测评对象的被了解程度的指标。二者的计算公式为:任职评价争议度T总=[R优×(S总-P优)2+R称×(S总-P称)2+R基×(S总-P基)2+R不×(S总-P不)2]1/2任职评价透明度D总=收回有效任职评价总票数÷发出测评表总数。影响任职评价透明度的因素主要有未收回测评表数、空白测评表数和未对干部作出任职评价的表数。三、民主测评价结果的有效性的分析根据对干部民主测评的要求,结合数理统计的经验做法和干部考核中的实际情况,我们可以确定对干部评价的标准规定。1.等式中的等分限制取P优与P称的中间值,即S优=1/2×(P优+P称)=1/2×(1.0+0.6)=0.82.干部个人是职务工作中,一般为优秀和称职票数超过总票数的三分之二以上的便认为是称职的干部。即S称=2/3×[1/2×(P优+P称)]+1/3×[1/2×(P基+P不)]=2/3×[1/2×(1.0+0.6)]+1/3×[1/2×(-0.2-0.6)]=0.43.对某领导干部任职评价标准的描述工作中一般为基本称职和不称职票数超过总票数的三分之二以上的便认为是不称职的干部。这也是不称职等次的分值的上限。即S基=1/3×[1/2×(P优+P称)]+2/3×[1/2×(P基+P不)]=1/3×[1/2×(1.0+0.6)]+2/3×[1/2×(-0.2-0.6)]=0综合上述情况,根据对某领导干部任职评价记分S总,对其任职评价作出的定性判断标准为:S总≥0.8者为优秀,0.4≤S总≤0.8者为称职,0≤S总≤0.4者为基本称职,S总≤0者为不称职。同理,我们还可以计算出某领导干部任职评价争议度的判断标准:T总≤0.25者表示评价一致,0.25≤S总≤0.35表示评价比较一致,而0.35≤T总≤0.45表示评价有争议,T总≥0.45表示评价争议较大。任职评价透明度的判断标准为:D总≥90%表示评价透明度很高,80%≤S总≤90%表示评价透明度较高,T总≤80%时表示评价透明度不高。这样,就可以对民主测评的结果进行科学的量化分析,从而进一步提高测评的效度,客观公正的反映测评人员的情况。四、及时公开测评结果,增强民主意识通过民主测评考察领导干部是一项复杂的评判工作。实践证明,要提高测评结果的效度,必须进一步扩大对干部活动的知情权,只有对干部有较为全面的了解,才能做出较公正的评价。一是要强化对干部述职真实性的管理力度,认真做好干部公开述职工作,增强透明度和群众的了解程度。对领导干部履行岗位职责和素质表现情况通过适当方式予以公开。通过建立岗位目标责任制度、工作记实制度、政绩公示制度、领导干部述职述廉制度、家庭财产报告制度等,把领导行为适时、适当地向社会公布,使群众对干部的德、能、勤、绩、廉方面情况有一个全面的了解。在干部考察前,提前公布被测评人的履历、奖惩、表现情况,给参与测评人充分的思考、酝酿时间。二是辩证运用测评结果。检验一项制度生命力的大小,主要取决于工作成果的运用程度和使用方式。要把测评结果与其他形式考核掌握的情况结合起来,互为补充,综合分析,由表及里,去伪存真,不搞简单地“以票取人,以票定人”,防止“公论不公”的现象发生。如果发现被测评人的得票与平时掌握的情况出入很大,或者发现有拉票贿选、受他人操纵等不正当行为,组织部门就要及时介入,查清情况,绝不能把这种情况下的得票作为使用干部的“重要依据”。三是要公开测评结果。干部测评工作中的民主程度,往往与领导干部的民主思想和群众的参与意识密不可分。因此,一方面要引导群众以对党和社会事业高度负责的态度,客观公正、实事求是地评价干部。另一方面要强化领导干部的民主意识和民主作风。群众是实践的主体,每个干部都是置身入群众中开展工作的。对领导干部的政治立场、思想品德、才能素质,群众作为干部从政行为的对象和政绩的最终承受者,感受最直接,体会最深刻。因此,群众在民主测评中是最有发言权的。因此,对群众民主测评的结果要进行公布,并正确运用测评结果,建立正向激