考评技术与方法

1、考评技术与方法考评技术与方法 湖南工业职业技术学院湖南工业职业技术学院 欧阳陵江欧阳陵江什么是职业技能鉴定的考评工作 ？ 考评工作就是考评员根据国家职业技能鉴考评工作就是考评员根据国家职业技能鉴定标准，用自己的定标准，用自己的“知识知识”和和“经验经验”对每位参考者的对每位参考者的“考试行为考试行为”和和“结果结果”作出判断作出判断 。职业技能鉴定的考评工作 对考评员的要求1、考评员具备、考评员具备相关领域相关领域的专业技术知识和经的专业技术知识和经验。验。2、考评员应该树立正确的评判工作态度，掌、考评员应该树立正确的评判工作态度，掌握职业技能鉴定的握职业技能鉴定的考评方法与技巧考评方法与技巧

2、。v我们要明白我们要明白任何人的判断任何人的判断都有局限都有局限，都，都可能出错。正确的考评工作态度，考评规则可能出错。正确的考评工作态度，考评规则和考评技能，才可以保证考评员充分运用自和考评技能，才可以保证考评员充分运用自己的专业技术知识和经验作出准确的判断，己的专业技术知识和经验作出准确的判断，保证得出高质量、令人信服的考评结果。保证得出高质量、令人信服的考评结果。考评技术与方法的主要内容v1、考评员的职业道德、考评员的职业道德v2、鉴定命题技术、鉴定命题技术 v3现场评分评定偏差分析现场评分评定偏差分析 1、考评员的职业道德v作为一个国家职业技能鉴定考评员首先应具作为一个国家职业技能鉴定

3、考评员首先应具备良好的职业道德备良好的职业道德 爱岗敬业爱岗敬业诚实守信诚实守信办事公道办事公道文明礼貌文明礼貌遵纪守法遵纪守法团结互助团结互助开拓创新开拓创新. 职业道德工作态度公正、认真良好良好遵守考评规则和国家职业技能标准 考评工作1.1 公正 v公正是对考评工作的首要要求 公正，就是对所有考生一视同仁，不因考生其它无关的特质而影响考评结果。 1.1 公正 无关特制 性别 种族 年龄 所在地区 或系统 是否相识 及个人关系 1.1 公正 考评员各个地区、各部门、各单位 考生兼职考评考评公正1.2 认真 v认真认真，就是要考评员全神贯注地观察考生的操作，不被其它无关事物所干扰，不偏离考试要

4、求与鉴定标准。 一句话善始善终！一句话善始善终！1.2 认真 考生1考生2考生X很认真较认真懈怠 时间长。疲惫时间长。疲惫考生动作重复单调。疲惫考生动作重复单调。疲惫1.3 遵守考评规则和国家职业技能标准 v遵守考评规则和考评标准是对考评员的基本道德要求 。1.3 遵守考评规则和国家职业技能标准 任何考评规则和考评标准都存在缺陷 使用中不断改进 考 评 按照自己的标准进行考评 不公 抗拒2、鉴定命题技术v2.1、职业技能鉴定命题概述v2.2、鉴定命题技术基础v2.3 具体考评方法v2.4、 现场评分评定偏差原因 2.1、职业技能鉴定命题概述职业技能鉴定具有四大要素：v一是具备考评员、督导员和相

5、关的专家队伍；v第二是具备考评的场地，设施、设备；v第三是题库及试题；v第四是与职业技能鉴定相关的各级各类鉴定机构和管理体系。 2.1、职业技能鉴定命题概述试题是职业技能鉴定测评体试题是职业技能鉴定测评体系最重要的环节之一，它是系最重要的环节之一，它是实施职业技能鉴定过程中的实施职业技能鉴定过程中的一种特殊的具体的、可操作一种特殊的具体的、可操作性的性的“测量工具测量工具”。2.1、职业技能鉴定命题概述如果没有这一如果没有这一“工具工具”，鉴定工作就无法进，鉴定工作就无法进行；行；如果如果“测量工具测量工具”不准确，或者设计不科学，不准确，或者设计不科学，那么鉴定质量就无法保证，难以做到客观、

6、那么鉴定质量就无法保证，难以做到客观、公正；公正；2.1、职业技能鉴定命题概述 我们现在的命题主要是靠经验来进行，这我们现在的命题主要是靠经验来进行，这种经验式命题好处就是来得快，只需适当选种经验式命题好处就是来得快，只需适当选择命题专家的资质，告诉命题专家试题格式择命题专家的资质，告诉命题专家试题格式和命题方式即可。和命题方式即可。2.1、职业技能鉴定命题概述v 专家自身经验间的差异专家自身经验间的差异v 专家对职业标准理解上的差异专家对职业标准理解上的差异v 专家将标准转化成试题过程中的规范性专家将标准转化成试题过程中的规范性v 专家行为的可评价程度专家行为的可评价程度v测验标准化保证测验

7、的编制、实施、记分以及测验分数解释程序的一致性。v1974年，美国心理学会出版了教育心理测验的标准，指出了测验编制者和使用者必须遵照执行的标准化步骤。为了确保测验条件一致性，提出了以下几方面的标准化要求。2.1、职业技能鉴定命题概述标准参照测验v一、内容标准化 v二、实施标准化 v三、分数解释标准化 2.1、职业技能鉴定命题概述标准参照测验内容标准化 v内容是标准化的第一个要素。给所有被试者实施相同的一组测题，即给所有被试者实施相同内容的刺激，这样对被试的行为或反应才能进行比较。（考核内容一致）v另外要使测量的物理特性保持一致，这就要求在编制测验时，测题的印刷和成批生产的器具能保证物理特性上的

8、一致，而使测验条件保持一致，使测验结果更可靠。（考件、材料一致）2.1、职业技能鉴定命题概述标准参照测验实施标准化v标准实施是标准化的第二个要素。只有对所有的被试都使用相同的测题，并且是在相同的条件下进行测验，他们的分数才能进行比较。2.1、职业技能鉴定命题概述标准参照测验标准实施主要包括v1统一的指导语，指导语有两个方面，一种是对被试的，另一种是对主试的。对被试的指导语应尽量做到清晰，应简单扼要地向被试解释分如何对测题作出反应，如果测题的格式对于被试是生疏的，应举出一个例题。例如一个思考能力测验给出这样的指导语：以下这些测验的目的是为了考考你认为最合适的，如不知道，可以猜测，猜测的影响在评分

9、中已考虑了。 2.1、职业技能鉴定命题概述标准参照测验标准实施主要包括v2统一的施测时间。测验的时限是测验程序中的一个重要方面。一般说来，每一测验都要求被试在一定的时间内完成。但一般足以使90%以上的被试能在规定时间内做完全部测验。2.1、职业技能鉴定命题概述标准参照测验标准实施主要包括v3客观记分。客观记分是标准化的第三个要素。它意指在两个或两个以上有能力的记分者之间有一致性。不同记分者之间取得完全的一致似乎是最理想的。但实际上对主观题即论文式的测题一部评分时，很难完全一致。一般认为在成对的受过训练的记分者之间平均一致性达到90%以上，就认为记分是客观的。只有保证记分分是客观的，才能够把分数

10、的差异归于被试的差异。2.1、职业技能鉴定命题概述标准参照测验分数解释标准化v从某个测验中得出的单个分数往往并不能说明什么问题，只有把这个分数与常模进行比较，才能对测验分数进行很好的解释。v常模是指某一标准化样组在某一测验上的平均分数。2.1、职业技能鉴定命题概述2.2、鉴定命题技术基础2.2.1.职业技能鉴定命题相关术语 鉴定内容：定义：某一鉴定范围中，可鉴定的具体知识项目或具体操作项目。2.2、鉴定命题技术基础2.2.1.职业技能鉴定命题相关术语 鉴定点：定义：鉴定点指具有最小不可分割性的独立可鉴定的职业技能要素，是职业技能要素的最小可测量单位。说明：鉴定点由专家按职业标准规定的鉴定内容进

11、行要素划分后确定并填写在鉴定要素细目表中。2.2、鉴定命题技术基础2.2.1.职业技能鉴定命题相关术语 1.3重要程度：定义：依据职业技能标准，一个鉴定点所涵盖内容在相应鉴定领域中的重要程度。说明：划分为“核心要素”、“一般要素”、“辅助要素”三个等级。A）核心要素：在本职业技能要素中，占据关键地位，具有必备性、典型性的鉴定点。B）一般要素：在本职业技能要素中，具有基础性质、或处于关键点之间的必要衔接性质的鉴定点。C）辅助要素：在本职业技能要素中，具有相对关键要素和一般要素的次要功能，或辅助性、背景性的鉴定点。2.2、鉴定命题技术基础2.2.1.职业技能鉴定命题相关术语 鉴定点重要程度的名称和

12、通用代码重要程度核心要素一般要素辅助要素代码XYZ2.2、鉴定命题技术基础2.2.2.试卷编制规则 各行业领域下的鉴定比重 鉴定方式行为领域名称鉴定比重知 识基本知识25%专业知识65%相关知识10%技 能操作技能75%工具和使用10%安全及其他15%2.2、鉴定命题技术基础2.2.2.试卷编制规则 鉴定点重要程度的名称和通 用代码 认 知 层 次第一级第二级第三级第四级鉴定方式知识题记忆理解分析应用技能题模仿掌握熟练熟巧代 码12342.2、鉴定命题技术基础2.2.3.知识试卷编制 编制原则 分配方案一鉴定工种级别分 数题 型初级工中级工高级工初、中级高 级填 空10题（2分/题）20分选

13、择20题（2分/题）40分判 断10题（2分/题）10题（1分/题）20分10分简答/计算共4题（平均每题5分）20分论述/绘图（无）1题（10分/题）0分10分总 分100分（44/45题）2.2、鉴定命题技术基础2.2.3.知识试卷编制 编制原则 分配方案二题型鉴定职业等级配分初级中级高级初级、中级 高级及以上选择80题（1分题）80分判断20题（1分题）20分总分100分（100题）2.2、鉴定命题技术基础2.2.3.技能试卷的编制 编制原则技能试卷根据操作项目的大小，只在操作时间、题型、难度上保持相对等值，总体来讲不作严格规定。2.2.4.考核目标设计2.2、鉴定命题技术基础2.2.4

14、.操作技能的总体特征考核准备：材料、设备、基本条件等考核要求：工件形状、位置、尺寸等评分标准：精度、表面粗糙度、时间等 2.2.5 操作技能的表现形式考核准备：材料、设备、基本条件等考核准备：材料、设备、基本条件等考核要求：工件形状、位置、尺寸等考核要求：工件形状、位置、尺寸等评分标准：精度、表面粗糙度、时间等评分标准：精度、表面粗糙度、时间等 2.2.6 操作技能的要素分析操作技能业务素质2.2.7 操作技能测量要素的评价标准尺寸精度表面粗糙度锥度精度内外三角螺纹形状位置公差梯型螺纹公差蜗杆精度孔距偏心距螺距初级外径IT8一般Ra1.69级7级9级内径IT8长度IT12特异圆弧IT12中级外

15、径IT7一般Ra1.68级6级8级7级8级内径IT7长度IT10特异Ra3.2圆弧IT12高级外径IT6一般Ra1.6内径IT72.2.8 操作技能要素的有效组织在鉴定考核中实际执行的测量模块在鉴定考核中实际执行的测量模块 底层测量模块2.2.9 操作技能要素的结构化领域2.2.10 操作技能考核整体安排1.1.5.1.1.5.01 01 进行进行CJ10-20CJ10-20型交流接触器的拆装及试运行型交流接触器的拆装及试运行准备要求：序号名称型号与规格单位 数量 备注1交流电源3380/220V三相四线处12万用表自定个13镊子自定把14交流接触器 CJ10-20（线闸电压220V或380V

16、）只1考核要求： （1）按工艺要求，正确拆卸、组装交流接触器。 （2）通电运行时，通断电时动作正常，吸合后无噪声。2.2.11 操作技能考核试题编制定义：用专用工具、仪器、仪表正确测量并联电路的组抗。考核要求： （1）能够正确选择和使用工具仪器仪表； （2）测量步骤正确； （3）并联电路组抗的测量数据准确；配分与评分标准：序号考核要点配分评分标准扣分得分1操作步骤正确2步骤不正确扣3分2(1)正确选择测量工具(2)正确使用仪器仪表4(1)工具选择错误扣2分(2)仪器仪表使用错误扣2分3测量数据值准确41%测量数据误差 10%扣4分否定项： （1）测量数据误差10%； （2）损坏测量工具、仪器、

17、仪表。其它因素：选用一般标准型并联电路板。2.2.12 操作技能要素的实际考核标准2.2.12 职业资格分析：不同级别典型职业活动领域职业活动初级中级高级技师操作技能基础性操作主体性操作工作活动复杂性工作非常规性工作问题解决技术问题工艺问题技术革新技术攻关工艺革新技术改革技术组织技术改造技术革新培训指导指导他人工作进行技术培训经营管理管理活动2.2.13 职业资格分析：不同级别主要活动领域高级技师技师高级中级初级2.3 具体考评方法v理论知识考核在标准教室进行，每教室可安排30个考生；v应将考生准考证号安排座位，考生应带好身份证和准考证；v阅卷时可根据考生安排2名或2名以上的考评员根据标准答案

18、按流水作业法评阅已密封好的试卷； 2.3.1 理论知识考核 2.3 具体考评方法v A每个技能考核模块均合格方为合格，此法对参考者综合素质要求较高，适合于具有完备条件的社会化考核，参考者可逐个模块考核，如上海； 2.3.2 技能考核综合评分方法 2.3 具体考评方法v B技能考核若干模块以不同比例配分，总分及格即为合格，此法综合考虑了当前我省的实际条件和工人队伍的现状，适于集中考核，技能考核一般在两天内完成，我省目前采用此法；它便于操作和管理。 2.3.2 技能考核综合评分方法 2.3 具体考评方法vA技能考核试题一般是按份装订，考评员应根据考试顺序按模块分发，不要一次发放； 2.3.3 技能

19、考核中应注意的问题 2.3 具体考评方法vB为在两天技能考核时间内完成合部考核与评分任务，一般将评分难度高费时的技能操作考核内容（如焊工工件需拍片钳工和机加工零件需逐项检测）安排在第一天考核，将能现场评分的内容安排在第二天考核，有些项目还需穿插进行，考生较多时一般是一个考评员主考一个项目。 2.3.3 技能考核中应注意的问题 2.3 具体考评方法v评分标准包括评定工作行为的若干指标，评分量纲，最小记分单位及其意义等规定。一般，最小记分单位为1分， 考评员根据评分标准对考生的表现作判断，并以记分的方式作为评定结果。在考评中，根据各评定指标，判断考生工作的质量，将评分分配到各评定指标上。可以说，每

20、名考评员对考生的评定结果是技能考核指标得分的总和。 2.3.4 现场评分的方法 2.3 具体考评方法v首先，根据评分标准设想出最完美的表现应得满分。然后认真观察考生的表现。当考生出现失误时，或工作质量不理想时，便在相应的指标下一个记分单位、一个记分单位地减分。对选手成绩的最后判断就是剩余的记分。减分法的优点是，考评员记分的心理负荷较低，因而可以专心致志于对考生的表现进行观察和判断：缺点是，如果观察不够认真或经验不足，容易产生较多考生得满分的结果 2.3.4 现场评分的方法 减分法2.3 具体考评方法v加分法与与减分法的做法相反：首先，根据评分标准和考生的水平确定一个最低可能的表现及相应的记分，

21、如60分。以这种表现及记分作为判断的基准点。然后认真观察选手的表现。凡是考生的表现优于基准表现时，便根据考生优于基准表现的程度加记相应的记分单位。如果考生出现严重失误而低于基准表现时，则要根据其劣于基准表现的程度减分。加分法的优点是可以拉开考生得分的差距，较少出现满分现象。但加分法可能既要做加分，又要做减分，因而考评员的心理负荷较高 2.3.4 现场评分的方法 加分法2.4、 现场评分评定偏差原因v2.4.1 顺序效应 v2.4.2 光晕效应v2.4.3 考评行为对考生的影响 2.4.1 顺序效应 v在评定中，评定者往往倾向于以前一个被评定者或将评定指标的评定结果作为后一个被评定者的直接参照。

22、 v考生们为什么都不希望第一个出场?这是因为考评员往往以第一个考生的表现将考评标准具体化，并将第一个考生的评定结果作为以后考评判断的参照点。 2.4.1 顺序效应 解决之道v在安排技能模块考核中，各模块考生随机安排出场次序，再总和或平均每个考生各模块的成绩，可以抵销顺序效应。v每个裁判员每次只就一个评定指标评定所有选手；各个裁判的评定指标随机排序，也可以抵销顺序效应。 2.4.2 光晕效应v光晕效应指评定者某对被评定者某一方面的强列印象影响其对被评定者其他方面的判断。v这种强烈的印象好象边缘模糊的光晕，笼罩在被评定者的其他方面，形成对其他方面朦胧、相似的感受，故命此名。v用俗话来说，光晕效应就

23、是以偏概全。 v例如，机加工技能考核中，某考生CAD考得好，考评员在其它模块中简单地认为都好而不认真考核；v同理另一个考生一个项目考得不好考评员又会给该考生其它模块以低分，这就是光晕效应。2.4.2 光晕效应v首先，每个有相当社会生活经验的人都形成了某种“内隐特质理论”，就是坚信不同特质之间有某种稳定联系 。v例如，人们对各地人的性格形成了某种刻板印象：东北人豪爽；山东人耿直；上海人精明。 v当获得的被评定者信息不完全时，评定者往往凭着自己的“经验”对被评定者那些不易观察到的方面作出推断。这就容易产生光晕效应。2.4.2 光晕效应 生成的原因v其次，对评定指标的意义说明不明确，或者对评定指标的

24、说明显示出表面的相关时，也容易诱发评定者的光晕效应 。v例如，对足球运动员的评定有个“心理素质”指标。如果不加说明或说明不明确，评定时就容易与“拼抢勇猛”、“意志顽强”等评定指标有显著的高相关。 2.4.2 光晕效应 生成的原因v第三，对评定指标的意义不求甚解，或观察和评定不认真、不全面，也可能增大光晕效应。 v如前面提到对足球运动员的评定指标“心理素质”，实际指情绪的稳定性。有的评定者却把它当作比赛中的斗志来评定。v再如有的评定者不认真观察被评定者的行为，结果只好凭笼统的印象来评定。这样的评定结果，肯定会有很高的光晕效应。 2.4.2 光晕效应 生成的原因v第四，评定指标过多，致使评定者的认知负荷增加，对评定指标区分不清，也会增大光晕效应。 v评定指标划分过细，本身就会增加指标间的相关性。心理学将这种现象称作“真光晕”。例如前面提到的评定足球运动员的“拼抢勇猛”和“意志顽强”，就有较高的相关。再高明、再有经验的评定者也难以将它们完全区分开来。 2.4.2 光晕效应 生成的原因v它很难得到完全克服，但只要有意识