国家公务员能力倾向测验效度的实证研究

国家公务员能力倾向测验效度的实证研究

一、行政职业能力倾向测验的现状在当前的国家官僚命名考试中，行政职位的能力倾向测试是其的重要组成部分。主要用来测试应试者从事国家行政机关工作的潜能,以预测应试者在行政职业领域内取得成功的可能性。心理学研究表明,人的高层次能力是由基本能力构成的,只有当基本能力达到一定程度并具有相关的经验时,才能形成较高层次的能力。依据这些理论,专家们通过对行政职业能力的调查研究和工作分析,得出从事机关行政工作的公务员需要具有知觉速度与准确性、数量关系把握与运算、言语理解与运用、分析推理与判断、数据资料的分析和理解等五个方面的基本能力素质。目前的行政职业能力倾向测验基本上都是围绕这五个方面来编制的。近几年来,中央和各省市公务员的招考,在行政职业能力倾向测验方面,无论是测验内容上,还是在测验题型方面,均无大的变化。然而我国的社会应试力量不可低估,近几年考生在该测验上的平均成绩在逐步提高,有人担心目前的考生成绩中存在着高分低能市的现象,如此发展下去,该测验难以担当国家选才的重任。目前的行政职业能力倾向测验的质量如何,有否达到考试设计者的预期效果,确实是令人关注的问题。为此,本项研究针对上文中提出的种种存问题,应用现代测量理论,采用科学的规范的实证研究方法,通过对行政职业能力倾向测验的效度分析,为我国公务员录用考试的深化改革提供有用的信息。二、学习方法为了得到有效的分析结果,本次研究在数据采集上严格把关,确保数据采集的代表性、客观性和完备性。(一)干个分测验设计本次研究选用的题本,是2000年江苏省国家公务员录用考试中使用的行政职业能力倾向测验题本。该题本共有140道“四选一”单选题,其中可以划分为5个分量表,每个分量表又由若干个分测验组成,整个题本共有13个分测验。第一个分量表为“知觉速度”,有3个分测验:同符对照、数字定位、替代知觉,题量分别为35、15、10:第二个分量表为“数量关系”,有2个分测验:数字推理、数字运算,题量分别为6、6;第三个分量表为“判断推理”,有4个分测验:事件排序、演绎推理、图形推理、类比推理,题量分别为12、10、6、10;第四个分量表“言语理解”,有3个分测验:定义理解、短文理解、阅读理解,题量分别为10、5、5;第五个分量表为“资料分析”,有2个分测验:图形分析、表式分析,题量均为5道。(二)预测效度的检验本次研究主要采集两个方面的数据资料:一是,用于构想效度分析的数据。在2000年江苏省国家公务员录用考试中,本次研究从南京和扬州两地考生中随机抽取行政职业能力倾向测验的有效答卷1154份,其中具有本科学历的考生599人,具有专科学历的考生555人。我们按照评分标准,应用光电阅读机对抽取的这批试卷进行评阅,得到考生在每道题上的得分,并建立相应的数据文件供分析用。二是,用于效标关联效度分析的数据。为了检验行政职业能力倾向测验的预测效度,我们首先结合新任国家公务员一年试用期满的考核工作,随机抽取191999年录用的扬州市工商和地税部门的50名新任公务员,对他们一年后的工作表现进行跟踪考核。考核指标是根据新任国家公务员的基本任职要求制定的,分德、能、勤、绩4个部分,共计24个评定项目。考核工作分为五个步骤进行:对照《考核评分标准》进行个人自评(包括自我小结和评分)、同事评介、直接领导评价、县区主管局人事部门负责人评分,最后再由扬州市人事局、工商局、地税局、国税局的5名经验丰富的人事干部组成终评小组,根据前面获取的有关材料分项独立评分,然后再将5位终评者评分的平均数作为考核对象的最终评分。由此,我们得到50名新任公务员在2000年底的跟踪考核结果,并登分、汇总,建立数据文件供分析用。由于新任公务员第一年为试用期,工作比较认真,处事也较为谨慎,50名新任公务员在“德”和“勤”方面的表现均较好,考核结果个体间差异不大,因此,我们在进行预测效度分析时,仅使用“能”和“绩”两个方面的考核结果。然后,在人事部门存档的文件中,我们查阅了50名新任公务员99年参加江苏省公务员录用考试的行政能力倾向测验成绩(只有卷面总分,没有保留分项得分)。我们对考生的成绩进行登记、汇总,建立数据文件供分析用。(三)spss软件本次研究采用的数据分析工具有美国出版的大型统计分析软件STAT第5版、美国出版的大型统计分析软件SPSS第9.0版。使用的统计分析方法有基础统计分析、相关统计分析、差异统计检验(t检验)等,具体分析数据经归类整理后,见后文各表。三、行政能力流程绩效分析与探讨效度是衡量测验结果的有效性的指标。本项研究将根据行政职业能力倾向测验的特点,围绕测验的构想效率和效标关联效度进行分析。(一)公务员最大使用考试结果是否符合资格测试对于行政职业能力倾向测验,构想效度分析的目的在于检验,在目前的国家公务员录用考试中,行政职业能力倾向测验的实际测量结果是否符合测验编制前的各种理论假设。本研究将应用多质—一多法分析法和因子分析法来分析行政职业能力倾向测验的构想效度。1.计算相关矩阵在本研究中,如果行政职业能力倾向测验具有较好的构想效度,从理论上来讲,构成分量表的各个分测验成绩之间应该具有较高的相关,而属于不同分量表的分测验成绩之间应该具有较低的相关;每个分测验与测验总分之间又存在较高的相关。为了检验目前的行政职业能力倾向测验是否符合这一理论假设,我们根据考生的成绩,对12个分测验(考虑到第一部分“知觉速度与准确性”是单纯的速度测验,因此在本研究中将该部分的三个分测验作为一个分测验进行研究),计算出各个分测验之间的相关矩阵,如表1所示。从表1中,我们可以看出,各分测验与整份测验成绩之间的相关均大于该测验与其它分测验的相关,说明各分测验虽然在测量基本能力方面相对比较独立,但它们的测量目标都是围绕着本测验所关心的最终目标“行政职业能力倾向”,这一结果符合测验编制者的期望。我们再来考察各分测验彼此间的相关情况。在表1中,分测验“数字推理”和“数学运算”同属“数量关系”分量表,两个分测验的相关系数为0.27,均高于两个分测验与其它分测验之间的相关;分测验“图形分析”和“表式分析”同属“资料分析”分量表,两个分测验的相关系数为0.39,均明显高于两个分测验与其它分测验之间的相关,说明行政职业能力倾向测验中的“数量关系”分量表和“资料分析”分量表具有较高的会聚效度和区分效度。而在分量表“判断推理”中,有4个分测验“事件排序”、“演绎推理”、“图形推理”和“类比推理”,但没有哪两个分测验之间的相关均高于该分测验与属于其它分量表的各个分测验的相关;在分量表“言语理解”中,有3个分测验“定义理解”、“短文理解”和“阅读理解”,其中只有分测验“短文理解”和“阅读理解”的相关系数为0.29,高于两个分测验与其它分测验的相关,说明在分量表“判断推理”和“言语理解”方面,虽然具有较好的区分效度,但在会聚效度方面并不不理想,仅此一点不符合测验编制者的期望,尚有待于进一步改进。我们检查了试题质量后发现,会聚效度较差的原因可能是因为该部分测验中存在少量的异质性试题。2.影响方差大的因子为了进一步探究目前的行政职业能力倾向测验实际测量到的能力因子结构,我们应用大型统计软件STAT,对12项分测验成绩进行了多元因子分析,得到特征值大于1的3个主要原因表:第一个因素所占方差比例为26.42%,第二个因素所占方差比例为22.09%,第三个因素所占方差比例为22.86%。三个因素的累计方差比例为71.3%。经过方差极大旋转后的因子负荷短阵见表3—5。从表2的因子分析结果中可以看出,在12个分测验变量中抽取的3个公共因子,这3个因子决定了分数总变异的71.37%。第一个因子与数字推理、数学运算、演绎推理、图形推理关系密切,第二个因子与图形分析、表式分析关系密切,第三个因子与定义理解、短文理阅读理解关系密切。由此我们可以认为,第一个因子是与抽象关系能力有关的因素,第二个因子是与资料分析能力有关的因素,第三个因子是与言语理解能力有关的因素。其中第一个因子涵盖了“数量关系”和“判断推理”两个分量表的测量目标,“知觉速度和准确性”与抽象关系能力和资料分析能力均有一定的关系。这些实证分析结果与分量表编制前的理论构想也是基本一致的,由此可以认为目前的行政职业能力倾向测验的构想效度基本符合标要求。(二)测评效标的选择效标是用来考察测验效用的外在参照标准,在行政职业能力倾向测验中,本项研究主要选择考生的学历和考生录用后的工作表现来作为检验测验有效性程度的效标。1.专科学历组的考试结果分析在2000年江苏省国家公务员录用考试中,我们抽取了1154份行政职业能力倾向测验的有效答卷,其中具有大学本科学历的考生有599人,具有专科学历的考生有555人,我们对两个学历组考生的行政职业能力倾向测验中的各项成绩进行了统计分析。结果表明,本科学历组与专科学历组考生成绩在行政职业能力倾向测验的各分测验及整份测验成绩都存在着显著性差异(P<0.01),且本科学历组考生在行政职业能力倾向测验的各分测验及整个测验上的平均成绩均显著地高于专科学历组考生,说明就整体而言,不同教育背景的考生在基本能力方面有所差别,这与事先的理论构想是基本一致的。2.行政职业能力倾向成绩的预测效度分析我们对1999年录用的50名新任公务员进行了跟踪考核,然后将他们一年后的工作表现与他们的行政职业能力倾向测验成绩进行比较。本项研究考虑到我国公务员录用考试的录取率比较低,被录取的考生均具有较高的行政职业能力倾向测验成绩,此时作为预测源的考生的行政职业能力倾向测验成绩与以一年后工作表现评价来表示的效标之间的关系不一定是线性的。因此只能通过对工作表现好的和差的群体其能力倾向测验分数的统计检验,来考察作为预测源的行政职业能力倾向测验成绩是否可区分由效标测量所定义的团体。检验结果见表3。从表3中,我们看到,在计划能力、理解贯彻能力、观察判断能力、应变能力等4项工作能力上,以及在工作质量和工作效率等2项工作绩效上,工作表现好的考生与工作表现差的考生,他们的行政职业能力倾向成绩之间也存在统计上的显著性差异,说明考生的行政职业能力倾向测验成绩对上述4项工作能力和2项工作绩效具有较好的预测性。由于本项结果是通过50名新任公务员的考试成绩计算出来的,而这些新任公务员均是通过笔试和面试的考生,以他们作为研究样组,显然具有较高的同质性,实际预测效度要比目前计算出来的略好,因此对于t检验统计量接近临界值2.012的考核项目上,也有可能存在较高的预测有效性,这尚有待今后作进一步的验证。目前,用人单位对行政职业能力倾向验测在人才选拔方面所起的作用存在着较多的争议。在目前的国家公务员录用考试中,行政职业能力倾向测验是适合用来预测考生在未来的行政工作中取得成功的可能性,还是更适合用来筛除在未来行政工作中没有成功可能性的个体?这是当前争议的焦点。事实上,行政职业能力倾向测验只是测量考生在未来行政工作方面的潜在能力,但是个体的成功除了所需的能力倾向以外,还有动机、态度以及环境条件等多种因素在起作用。因此,行政职业能力倾向对于较好地从事行政工作来说只是一个必要条件,而非充分条件。根据上文中的研究结果,我们不难发现在表3中,存在较高预测效度的几项工作能力都含有行政职业能力倾向测验所测量的基本能力因素,并且这些基本能力因素在这些工作能力的建构中起着主要作用,但象“组织协调”这些更多受到非智力因素影响的复合能力,目前的行政职业能力倾向测验的预测效度是十分有限的。仅此而言,行政职业能力倾向测验对于预测考生在未来行政工作中取得成功的可能性存在着一定的局限性。相反,如果一个人缺乏某些方面的基本能力,则可以说他(她)在这方面成功的可能性微乎其微。从这个意义上说,行政职业能力倾向测验在预测失败方面比预测成功更为准确。四、能力倾向测验的会聚效度不够理想综上所述,本项研究可以初步得到如下几项结论:1)本项研究表明,行政职业能力倾向测验具有较好的构想效度,通过因子分析得出的三个因子:抽象关系能力、资料分析能力、言语理解能力正是国家公务员素质结构中最基本的三个能力因素。但本项研究也发现行政职业能力倾向测验的各分量表虽具有较好的区分效度,但在会聚效度方面不够理想。“数量关系”、“资料分析”部分的会聚效度相对较好,而“判断推理”、“言语理解”部分的会聚效度相对较差,会聚效度较差的