企业数字化学习项目评估指标体系研究及定量分析

企业数字化学习项目评估指标体系研究及定量分析

［］G40－057［］A［］1672—0008（2010）05—0105—06e－learning在企业学习中的应用会越来越广泛而深远。根据北京大学企业与教育研究中心e－learning项目组的调研，国内一些知名企业，如中国工商银行、首钢集团，70％左右的企业学习是通过e－learning方式完成的。TheRoyerCenterforLearningandAcademicTechnologiesinPennStateUniversity发表文章指出：e－learning作为一种企业学习的强有力的工具，主要体现在有以下几个特征：e－learning提供及时的反馈信息；e－learning集文本、图像和声音于一体；e－learning成本低；e－learning是有效的成人培训工具；e－learning提供自定步调、灵活多样和个性化学习方式；e－learning提供了无限和可持续的终身学习模式；e－learning有利于提高工作效率。e－learning将是企业学习的一个主要方式，也是未来企业学习的必然发展趋势。e－learning这种学习方式与终身学习理念非常吻合，必将成为终身学习的主要载体。北京大学企业与教育研究中心于2009年启动“十佳企业e－1earning项目”评选，需要对于参与评选的各个企业的e－learning项目作全面的评估。因此，对于企业e－learning项目评估的指标体系的建构是必需的，并且，进一步需要的是，对于指标体系进行定量化刻画与分析，这也是本文的研究目的。一、研究框架（一）企业与学校e－learning特征比较国内对于企业e－learning的研究相对较少，在国内cnki期刊网上检索，企业e－learning的研究文章共计23篇，其中专业的研究文献更少。然而，企业e－learning既是一个非常具有实践意义的领域，也是一个具有研究意义的领域：企业e－learning由于它服务于企业战略的特性，而表现出和学校e－learning差异性的特征，如企业e－learning学习系统设计基于能力胜任模型；企业e－learning与绩效关联，企业e－learning设计与人力资源、员工职业生涯路径紧密联结，等等。下表是企业e－learning与学校e－learning的特征比较。由上面比较可以看出企业e－learning的一些特征。第一，表现在企业e－learning战略服务性非常强，项目服务于企业发展战略，否则就很难得到高层的支持，员工也没有学习的动力；第二，学习对象差异性。企业的学习对象是成人，课程的选择更趋向于实际应用，课程的设计更侧重于目标导向；第三，企业e－learning非常关注于效果，e－learning学习是否达到预期的效果、学员满意程度、项目提出部门的满意程度、绩效或者业绩是否得到提升等等，是检验企业e－learning项目成功与否的重要标志；第四，e－learning作为一项企业行为，企业注重投资回报，因此e－learning项目的投资回报率也是企业一个重要的关注点；第五，企业e－learning的关联性较强。也就是与胜任能力关联、和员工职业生涯规划关联、与人力资源政策关联。当然，还有许多别的特征。（二）企业e－learning项目评估模型国内外一些对于e－learning的评估维度以及对于企业学习的评估维度值得借鉴。2007年美国培训与发展协会ASTD组织了企业学习项目的评选，评选指标体系包含学习投入、员工学习机会、效率、关联、效果测量、效果、非学习措施、高层参与和创新这九项。Rosenberg提出四个成功的要件4C是文化（culture）、拥护（champions）、沟通（communication）、变革（change），他认为企业如果不重视学习文化、没有主观线上学习工作的拥护者、缺乏线上学习价值立场的沟通，以及无促成行动一致的整合性变革策略这四个成功要件，线上学习就难以发扬光大（Rosenberg，2001）。李业成（2001）指出，企业导入e－learning的关键因素需要有高阶主管支持及明确的导入目标、资讯环境与技术支援及负责导入的专案组织运作。陈创立（2000）指出，成功的网络化训练除了在软件、硬件的搭配与良好的课程建构外，相关组织行为、情景因素的配合还是非常重要，他认为成功的网络化训练所应具备的因素包括：（1）显性因素——设备、课程、企业有利资源；（2）组织协调层次——组织文化、组织结构；（3）群体行为层次——领导、冲突、群体规范、沟通；（4）个人行为层次——态度、学习、人格特质、激励。林荣彬（2001）认为，有关影响企业建构网络化训练的因素有五个方面，包括：（1）环境因素——产业特征、企业规模大小、组织正式化程度；（2）资讯环境因素——电脑与网路环境完整性、管理平台功能、IT专业人员配合；（3）使用者因素——教育程度、学习动机、使用电脑经验能力、年龄；（4）课程因素——课程性质与类型、内容呈现方式；（5）主导因素——高阶主管的支持、主导单位发展团队。王舒可（2002）认为，影响企业实施网络化训练之关键成功应视为：（1）组织因素方面——高阶主管的支持、组织文化、组织集权化程度、负责发展团队；（2）受训练者特质方面——个人背景、参与课程动机、使用网络课程软体的能力、过去使用网络学习的经验、他人支持；（3）课程因素方面——课程类别与性质、教材设计、线上教学者的干预程度、受训者的学习控制、学习成果的鉴定与激励、课程目标；（4）网络技术方面——电脑及网络设备完善、频宽的充分、使用网络训练平台的适合性、系统的使用容易及具备网络人才。整合上面这些观点，在调研我国十五家知名企业e－learning学习项目的基础上，本文作者从流程角度对于企业e－learning项目进行分析，如图1所示，一般可以分为五个流程：学习准备、学习进行、学习结果、学习绩效、评估反馈。在学习准备阶段，组织者基于给定的学习对象进行学习项目设计，项目的战略服务性非常明确，学习者在一定的学习环境下准备开展学习；在学习进行阶段，组织者实施e－learning项目，学习者在线学习；在学习效果阶段，学习者个人获得发展，主要是获得知识和技能的提升，以及由于知识技能的提升导致行为的改变。组织获得发展，主要体现在形成企业知识沉淀、企业文化养成、流程再造、组织变革与创新。个人的发展以及组织的发展最终导致企业绩效的提高。评估反馈一般是以学习结果和学习绩效作为依据，其中包含投资回报率ROI的评估。企业e－learning项目框架模型如下图所示。图1企业e－learning项目框架模型图二、指标体系研究按照上述企业e－learning项目框架模型图，我们提出企业e－learning项目评估指标体系如表2所示。作为指标体系必须具备两个特性：完备性与独立性。完备性即指指标体系能涵盖对象的全部；独立性即指指标之间必须非关联，包括一级指标之间、二级指标之间完全独立。本指标体系分八个一级维度来刻画企业e－learning项目评估。分别是：1.基础指标本指标主要描述企业e－learning的环境框架，对于企业e－learning基本情况的描述。企业为员工e－learning学习提供的机会、投入的花费和网络条件。必要的基础条件是e－learning正常进行的保证。（1）员工学习投入：组织在e－learning学习方面的花费，包括正式／非正式学习以及非学习活动，外包的学习项目花费，以及对员工参加各种学习与考试费用的资助。在这里用e－learning投入占总投入的比例来刻度。（2）员工学习机会：员工平均每年通过e－learning方式所学习的课时总数等指标，反映了组织里学习的广度。在ASTD获奖组织中，2006年平均是44小时。在这里用每个员工的平均学习时间来刻度，用小时表示。（3）员工学习环境：网络条件、员工计算机条件。e-learning学习需要计算机、网络、服务器来支撑，本项考察网络带宽、员工的计算机普及程度、计算机性能等这些硬件环境。必要的学习环境是项目进行的基本条件。当然，这一指标不具备可比性，因此在整个指标体系中的权重并不大。2.战略性e－learning项目为企业战略服务，这是企业e－learning的主要特征。项目与企业战略的结合程度紧，将会对企业的绩效贡献程度大。项目按照企业战略、业务流程展开，这样既具有针对性，又容易得到企业高层、参加学习的员工的支持与配合。（1）目标一致性：项目目标与企业发展战略一致。偏离企业发展战略的e－learning学习项目不能得到高层的重视与支持，因此，学习项目需要紧密结合企业战略、业务流程。（2）高层参与：组织学习获得成功不可缺少的要素。组织的领导们不仅公开支持学习，还将学习目标作为绩效目标的一部分。高层领导是否自身参与到了学习过程中，如担任教师或者演讲者。高层指的是企业领导班子，副总裁职位以上。（3）关联性：为了切实提升绩效，组织都具有正式的流程，建立战略目标与胜任力、学习之间的关联，并且将学习资源映射到岗位、胜任力、个人发展计划及组织目标。学习纳入绩效考核。（4）政策支持：对于企业学习，企业内部是否有正式的政策支持性文件。政策性支持文件包含两个方面：一个方面是为e－learning创造环境，鼓励与引导这种学习方式，如将e－learning学习时长也计入员工年度的培训量；另外一方面是对员工e－learning学习方式做出规定，如有的企业要求员工年完成e－learning学习40小时，这种带有强制意味的规定对于企业在初期推广e－learning有促进作用。3.实施考察人力资源部门或者培训中心实施企业e-learning项目的流程与环节。如对于项目的组织力度、宣传力度、执行力等的评估。（1）e－learning价值体现（重要性）。该学习项目为什么采用e－learning方式而不是面授或者其它学习方式？也就是采用e－learning这种学习方式的必要性。如节省时间、节省费用、扩大覆盖面，或者满足随时随地学习要求等等，如果不采用e－learning学习方式而采取别的方式代价将变大。（2）对象分析（问卷，访谈）。对象分析是教学设计的一个重要环节，了解对象的特征，以及分析他们的需求，对于项目的设计与组织非常重要。（3）组织。本指标考察项目的组织情况，从组织构架、组织力度、参与组织人数、组织分工来刻画。（4）宣传。项目的推广是通过哪些宣传措施，如下达内部通知、海报、或者网络宣传；有无具体的宣传活动策划。通过宣传，让更多员工了解这个项目从而选择学习这个项目，另外，宣传也是使员工学习从被动走向主动的一个重要措施。（5）执行力。项目的执行情况与执行力度。所有环节衔接是否顺利流畅，在哪些环节会产生问题以及如何得到解决。（6）效果测量评估。效果测量，反映了测量组织和个人的绩效指标，并将绩效的变化与学习关联起来，反映学习效果的过程与方法。一般在测量效果时，使用了顾客／员工的满意度，产品／服务的质量，生产效率等指标。4.学习过程员工通过e－learning方式进行学习，这种学习方式不同于面授方式。因此学习平台、互动性、网上学习资源就非常重要。本指标从员工的学习角度进行评估。（1）学习支持：本项目是否有课程讲师答疑或者助教答疑。学习支持是e－learning学习的重要一环，如果没有学习支持，学员往往一知半解，有问题不能得到及时解决。在企业中，通常业务部门会充当答疑讲师或者助教。（2）技术支持：学员出现学习上的技术问题是否能得到尽快地支持，如员工对于学习系统的不熟练操作是否能得到有效解决；是否有系统应用帮助文件；支持服务响应时间。（3）学习资源。e－learning项目的支撑需要在线学习课件等资源的支持。本指标考察总体课件情况，以及支撑本项目的课件情况。实际上，课件来源多样化应该也是一个考量指标，基于Web2.0理念，员工以后应该渐渐成为课件资源的提供者与创造者。（4）学习交互。交互性是e－learning学习的特性。好的学习支持环境应该提供强的交互功能。现在应用比较广泛的交互工具是论坛、聊天室、视频会议。项目应具有学习交互的工具并且真正地得到很好地应用。（5）学习平台评估。在e-learning研究中关于学习平台的评价的文献较多，按照学习平台是否满足学习要求来进行刻度划分。5.报告评估对需求分析报告等文字材料的完整性进行评估。一个好的项目，文字材料的整理与归档是必须的。包括需求分析报告、方案设计报告、评估报告、总结报告。在项目启动之前，按照教学设计和项目管理的流程，需要做需求分析研究，特别是对象分析。需求分析的成功与失败直接关系到项目是否得到学员的支持与欢迎。按照项目管理流程，在项目执行阶段，需要进行方案设计。学习结束之后，需要进行学习评估，以及对于整个项目进行总结。本项指标考察企业e－learning的项目执行流程是否规范。详细的报告材料是下一次开展类似学习活动的很好地借鉴与基础，也是企业知识管理的一部分，从项目管理角度来说，要求每一个阶段都有明确的文字材料。6.效果对于本项目完成之后是否取得预期目标，满意度如何进行评估。企业十分注重学习效果，特别是强调通过学习造成员工行为的改变，从而提高企业绩效，是企业学习的根本所在。效果评估部分采用柯式四级分类评估模型。（1）预期目标完成度（一般以项目提出者为参照）。项目提出单位对于项目执行的满意程度，是考察项目效果的标志之一。（2）覆盖率。本项目有多少员工参加，占全体员工的比例。高覆盖率的项目比低覆盖率的项目实施起来难度要大。（3）学员满意度。这是柯氏评估模型中第一级评估，e－learning学习对象是学员，因此这项指标具有非常的重要性。（4）高层满意度。高层的支持是企业e－learning长期稳定发展的必要条件，因此，需要考察高层对于本e－learning项目的满意程度。（5）绩效或业绩改变。这是柯氏评估模型中第四级评估。通过这个项目，不仅仅参加者学习到知识，更重要的是有行为上的改变，最终导致企业绩效或业绩的提升，如企业流程再造等。7.影响与创新项目完成产生哪些影响，有哪些技术上组织上的创新。一个项目完成之后，它可能还会有潜在的长远一些的影响，如学习模式在整个行业内部得到推广，后来又多次重复举办等等。创新是ASTD在2007年进行学习项目评估时引入的一个新的评价指标，强调组织学习的持续创新能力。（1）项目可重复性。项目是否具有可持续发展前景，项目可重复性体现项目设计的质量以及项目是否具有需求针对性。（2）认可程度。该项目在企业内部、行业内部、行业外部得到认可的程度。同行的肯定，是判断企业e－learning项目成功与否的标志，也利于本项目在行业之内产生辐射效应。（3）知识沉淀。通过e－learning学习之后，企业能形成一定程度的知识沉淀。本项指标考察企业学习部门对于企业知识管理的重视程度。实际上，知识管理既是企业e－learning的未来趋势，也是企业大学的核心所在。企业知识沉淀有多种实现方式，如针对学员的作业与练习进行加工与整理、编写教材、论坛帖子加工等。（4）创新：这是ASTD在2007关于企业学习项目的评选中新加入的一个重要考察因素。体现了在商业环境迅速变化，学习也越来越受重视的环境下，成功的组织学习对于创新的要求；组织所取得的成功，当然也蕴含着持续创新的贡献。创新主要体现在技术、组织、学习方法、评估方法四个方面上。（5）企业学习文化推动。企业e－learning项目对于企业文化的构建起到促进作用，特别是对于学习型文化、扁平化组织的形成。继而，企业学习文化又对企业e－learning起到很好的推动作用。优秀的企业文化是主动学习的环境与土壤，否则企业e－learning学习仍然处于被动学习阶段。8.投资回报率（ROI）收益与投资的比例，这是企业高层非常重视的一个因素，特别是在企业e－learning实施与推广初期。e－learning的投资回报率计算方法有狭义与广义两种。狭义计算方法指，在达到同样的效果基础上，面授学习方式的花费与e-learning学习方式的花费之比。这种方式计算起来简单，也是现在采取的较为普遍的计算方法。广义的投资回报率计算相对复杂，指通过e－learning学习而带来企业绩效的提高、经济的增长。广义的投资回报率计算难点在于，企业经济增长往往是多因素的综合结果，难以剥离出独立的e－learning学习的因素。但是针对一些理想化的e－learning项目，可以计算出来广义的投资回报率的，如针对银行信贷员的e－learning学习项目，通过学习之后，信贷员在单位时间接待客户的数量提高以及投诉率降低，而接待客户的数量的提高和投诉率的降低是可以用经济价值来进行衡量的，从而可以计算标准的广义投资回报率。三、层次分析方法定量化分析在教育技术中，评估的应用与范围越来越广泛。如对于课件质量的评估，对于e－learning学习系统的评估，对于项目的评估，但是定性的评估相对较多，定量的较少，如何采用科学的方法将评估指标体系定量化，是一个应用性的研究问题。（一）层次分析法层次分析法（TheAnalyticHierarchyProcess，以下简称AHP）是区域经济学中应用得较多的一种方法，通过两两比较的方法用以对于指标权重的确定。这个方法是由美国运筹学家、匹兹堡大学萨第（T.L.Saaty）教授于本世纪70年代提出的，他首先于1971年在为美国国防部研究“应急计划”时运用了AHP，又于1977年在国际数学建模会议上发表了“无结构决策问题的建模——层次分析法”一文，此后AHP在决策问题的许多领域得到应用，同时AHP的理论也得到不断深入和发展。目前每年都有不少AHP的相关论文发表，以AHP为基本方法的决策分析系统——“专家选择系统”软件也已早推向市场，并日益成熟。层次分析法的基本原理是排序的原理，即最终将各方法（或措施）排出优劣次序，作为决策的依据。具体可描述为：层次分析法首先将决策的问题看作受多种因素影响的大系统，这些相互关联、相互制约的因素可以按照它们之间的隶属关系排成从高到低的若干层次，叫做构造递阶层次结构。然后请专家、学者、权威人士对各因素两两比较重要性，再利用数学方法，对各因素层层排序，最后对排序结果进行分析，辅助进行决策。（二）层次分析法应用步骤构造递阶层次结构：应用AHP解决实际问题，首先明确要分析决策的问题，并把它条理化、层次化，理出递阶层次结构。AHP要求的递阶层次结构一般由以下三个层次组成：目标层（最高层）：指问题的预定目标；准则层（中间层）：指影响目标实现的准则；措施层（最低层）：指促使目标实现的措施。构造判断矩阵并请专家填写：填写判断矩阵的方法是：向填写人（专家）反复询问，针对判断矩阵的准则，其中两个元素两两比较哪个重要，重要多少，对重要性程度按1－9赋值。层次单排序与检验：对于专家填写后的判断矩阵，利用一定数学方法进行层次排序。单排序是指每一个判断矩阵各因素针对其准则的相对权重。对于判断矩阵，计算满足AW＝λmaxW的特征根λmax和特征向量W。W为对应于λmax的归一化特征向量，即为同一层次中各因素对于上一层某个目标相对重要性排序权值。常用的计算方法有幂乘法、几何平均法、和积法。一致性检验：由于客观事物的复杂性、人们占有资料的不完全性和认识能力的局限性，对事物的认识难免有主观片面性和模糊性，由此构造的判断矩阵会存在偏差而无法满足一致性的要求。因此，在实际中要求判断矩阵满足大体上的一致性，需进行一致性检验。只有通过检验，才能说明判断矩阵在逻辑上是合理的，才能继续对结果进行分析。计算一致性比例C.R.（consistencyratio）并进行判断，当C.R.＜0.1时，认为判断矩阵的一致性是可以接受的；C.R.＞0.1时，认为判断矩阵不符合一致性要求，需要对该判断矩阵进行重新修正。层次总排序及其一致性检验：计算同一层次所有因素对于整个总目标相对重要性的排序权重，即为层次总排序。它是用下一层次各个因素的权重和上一层次因素的组合权重，得到最下层因素相对于整个总目标的相对重要性。多位专家汇总得出权重：由多个专家打分之后，得到各自的层次总排序计算结果。将其综合，得到综合指标体系中各指标的最终权重。一般来说，采取专家权重求平均的方法来确定最后权重。（三）确定企业e－learning项目评估指标权重下面以某银行e－learning项目为例评估指标权重。1.指标体系如图1所示2.构造判断矩阵与计算所有判断矩阵的一致性比例均小于0.1，因此通过一致性检验。3.某银行e－learning项目以某银行“个人信贷客户经理岗位专业资格培训与考试”项目为例计算。本项目从2007年9月20日启动到2007年11月30日结束，项目由个人金融业务部提出，由教育部组织实施，通过e－learning方式进行。全行从事于个人信贷营销业务人员的80％参与该项目的学习。项目设计前，总行组织相关部门到广东等七个一级分行进行了信贷业务培训需求调研，与各一、二级分行从事信贷业务人员进行座谈，了解到大多数信贷业务人员自感业务知识更新较快，急