（运筹学与控制论专业论文）开放教育评价方法研究及应用.pdf

山东大学硕士学位论文 摘要 本文运用系统论 控制论 投入产出理论和信息论方法研究开放教育评价 根据这些理论和方法 对开放教育评价体系进行了建模 并利用这些模型对开放 教育院校进行评价 从而为教育管理者进行决策提供依据 并对开放教育进行监 控和预警 推动开放教育的发展 在开放教育的评价方法上 将精确思维的传统模式结合现代模糊控制理论 将定性与定量 模糊与精确 静态与动态的方法综合起来研究开放教育的质量评 价 同时要体现公平和客观的原则 让被评价者感到评价结果的公正 减少抵触 情绪 要建立起科学 客观 简易 可行的教育评价指标体系 并且可以用效用 的原则对指标进行评价 使用的指标体系要具有可扩展性和兼容性 便于评价不 同类型的开放教育体系 因为体系的复杂性 所以其指标体系要有多样性和稳定 性 而一个良好的指标体系 要求指标在变动的同时 体系总体要具有一定的内 在稳定性 这样体系的结构才能够做到可靠 当院校有重大的情况 其指标曲线 就会呈现明显的波动 这样指标体系就能够实时反映体系的变化来 开放教育院校的评价要注重信息化的方法 利用信息化的方法 建立相应的 信息化网络 有了信息化的网络平台 开放教育的评价工作就大大简化 信息利 用率显著提高 将计算机作为信息处理平台还可以将各种数学工具灵活应用到开 放教育质量的评价上来 另外开放教育评价系统还要注意评价的效益性 遵循 产 学研 结合的原则 瞄准开放教育培养应用型复合型人才 努力适应市场的需要 并利用投入产出理论 追求效益最大化 本文介绍了研究背景 研究意义 教育评价的目的 思路及主要内容 介绍 了国际国内高等教育评价方法的讨论和研究 介绍了国际上比较先进的高等教育 评价理论 重点对开放教育评价方法进行研究及应用 结合我国开放教育的特色 和现状以及开放教育院校山东广播电视大学 深入探讨了开放教育质量评价所使 用的各种方法及其应用 包括特尔斐法 层次分析法a h p 及其应用 模糊综合 评价法及其应用 数据包络分析法 d e a 及其应用 还对开放教育评价方法研 究进行展望 针对山东广播电视大学的质量评价 对开放教育评价给出了相应的 建议 并把现代信息技术应用到开放教育评价中 利用网络教育评价技术和计算 山东大学硕士学位论文 机技术进行大量的数据收集和处理 从而可以推进开放教育的发展 关键词 开放教育评价体系模糊综合评价法a h p 方法d e a 方法 分类号 g 4 0 0 3 4 2 山东大学硕士学位论文 a b s t r a c t t h i sa r t i c l eu t i l i z e st h es y s t e mt h e o r y t h ec y b e r n e t i c s t op u ti n t o p r o d u c t i o nt h et h e o r ya n dt h ei n f o r m a ti o nt h e o r ym e t h o ds t u d yo p e n i n g e d u c a t i o na p p r a i s a l a c c o r d i n gt ot h e s et h e o r i e sa n dt h em e t h o d h a s c a r r i e do nt h em o d e l l i n gt ot h eo p e n i n ge d u c a t i o na p p r a i s a ls y s t e m a n d e d u c a t e st h ec o l l e g e sa n du n i v e r s i t i e su s i n gt h e s em o d e l st ot h eo p e n i n g t oc a r r yo nt h ea p p r a i s a l t h u st oe d u c a t et h es u p e r i n t e n d e n tt oc a r r y o nt h ed e c i s i o n m a k i n gt op r o v i d et h eb a s i s a n dc a r r i e so nt h em o n i t o r i n g a n dt h ee a r l yw a r n i n gt ot h eo p e n i n ge d u c a t i o n p r o m o t e st h eo p e n i n g e d u c a ti o nt h ed e v e l o p m e n t i nt h eo p e n i n ge d u c a t i o n sa s s e s s m e n tm e t h o d t h ep r e c i s et h o u g h t s t r a d i t i o n a lp a t t e r nu n i o nm o d e r nf u z z yc o n t r o lt h e o r y w i l ld e t e r m i n et h e n a t u r eo fw i t ht h eq u o t a f u z z ya n dp r e c i s e t h es t a t i cs t a t ea n dt h e d y n a m i cm e t h o ds y n t h e s i z e st h er e s e a r c ho p e n i n ge d u c a t i o nt h eq u a l i t y r a t i n g s i m u l t a n e o u s l ym u s tm a n i f e s tf a i ra n dt h eo b j e c t i v ep r i n c i p l e l e t sb yt h ev a l u e rf e e l t h a tt h em e a s u r er e s u l t sf a i r r e d u c e st h e r e s i s t a n c e m u s te s t a b l i s ht h es c i e n c e o b j e c t i v e l y s i m p l e t h ef e a s i b l e e d u c a t i o ne v a l u a t i n gi n d i c a t o rs y s t e m a n dm a yu s ee f f e c t i v e n e s st h e p r i n c i p l et oc a r r yo nt h ea p p r a i s a lt ot h et a r g e t t h eu s ei n d i c a t o rs y s t e m m u s th a v et h ee x t e n d i b i l i t ya n dt h ec o m p a t i b i l i t y i sa d v a n t a g e o u sf o r t h ea p p r a i s a ld i f f e r e n tt y p et h eo p e n i n ge d u c a t i o ns y s t e m b e c a u s eo f s y s t e m sc o m p l e x i t y t h e r e f o r ei t si n d i c a t o rs y s t e mm u s th a v et h e m u l t i p l i c i t ya n dt h es t a b i l i t y b u tag o o di n d i c a t o rs y s t e m t h er e q u e s t t a r g e td u r i n gc h a n g e t h es y s t e mo v e r a l lm u s th a v ec e r t a i ni n t r i n s i c s t a b i l i t y s u c hs y s t e m ss t r u c t u r eo n l yt h e nc a na c h i e v er e l i a b l y w h e n t h ec o l l e g e sa n du n i v e r s i t i e sh a v et h es i g n i f i c a n ts i t u a t i o n i t st a r g e t c u r v ew i1 1p r e s e n tt h eo b v i o u sf l u c t u a t i o n s u c hi n d i c a t o rs y s t e mc a nt h e r e a l ti m er e f l e c ti o ns y s t e m sc h a n g e 3 山东大学硕士学位论文 t h eo p e n i n ge d u c a t e st h ec o l l e g e sa n du n i v e r s i t i e st h ea p p r a i s a lt o n e e dt op a yg r e a ta t t e n t i o nt h ei n f o r m a t i o n i z a t i o nt h em e t h o d u s i n gt h e i n f o r m a t i o n i z a t i o n m e t h o d e s t a b l i s h e st h e c o r r e s p o n d i n g i n f o r m a t i o n i z a t i o nn e t w o r k h a dt h ei n f o r m a t i o n i z a t i o nn e t w o r kp l a t f o r m t h eo p e n i n ge d u c a t i o ne v a l u a t i o ne x e r c i s eg r e a t l ys i m p l i f i e d t h e i n f o r m a t i o nu s ef a c t o ro b v i o u s l ye n h a n c e d m i g h ta l s oa p p l yn i m b l yt h e c o m p u t e r a st h ei n f o r m a t i o n p r o c e s s i n gp l a t f o r me a c h m a t h e m a t i c a l i n s t r u m e n t t h eo p e n i n ge d u c a t i o nq u a l i t yt h ea p p r a i s a l m o r e o v e rt h e o p e n i n ge d u c a t i o ne v a l u a t i o ns y s t e mm u s tp a ya t t e n t i o nt ot h ea p p r a i s a l t h eb e n e f i t f o l l o w s p r o d u c e ss t u d yg r i n d s t h eu n i o np r i n c i p l e t h e a i m i n go p e n i n ge d u c a t i o nr a i s ea p p l i c a t i o ni n t e r d i s c i p l i n a r yt a l e n t m e e t st h em a r k e t n e e dd i l i g e n t l y a n du s i n gp u t si n t op r o d u c t i o nt h e t h e o r y t h ep u r s u eb e n e f i tm a x i m i z a t i o n t h i sa r t i c l ei n t r o d u c e dt h er e s e a r c h b a c k g r o u n d t h er e s e a r c h s i g n i f i c a n c e t h ee d u c a t i o na p p r a i s a lg o a l t h em e n t a l i t ya n dt h ep r i m a r y c o v e r a g e i n t r o d u c e dt h ei n t e r n a t i o n a ld o m e s t i c h i g h e r e d u c a t i o n a s s e s s m e n tm e t h o dd i s c u s s i o na n dt h e r e s e a r c h i n t r o d u c e d i n t e r n a t i o n a l l yt h eq u i t ea d v a n c e dh i g h e re d u c a t i o na p p r a i s a lt h e o r y k e y c o n d u c t st h er e s e a r c ha n dt h ea p p li c a t i o nt ot h eo p e n i n ge d u c a t i o n a s s e s s m e n t m e t h o d u n i f i e so u rc o u n t r yt o o p e nt h ee d u c a t i o nt h e c h a r a c t e r i s t i ca n dt h ep r e s e n ts i t u a t i o na sw e l la st h eo p e n i n ge d u c a t e s t h ec o l l e g e sa n du n i v e r s i t i e ss h a n d o n gr a d i oa n dt e l e v i s i o nu n i v e r s i t y h a sd i s c u s s e de a c hm e t h o dw h i c ha n dt h ea p p l i c a t i o nt h o r o u g h l yt h eo p e n i n g e d u c a t i o nq u a l i t yr a t i n gu s e s i n c l u d i n gt h et u r l ef e il a w a n a l y t i c h i e r a r c h yp r o c e s sa h pa n da p p l i e s t h ef u z z yj u d g m e n tm e t h o da n da p p l i e s t h ed a t ae n v e l o p ea n a l y t i cm e t h o d d e a a n dt h ea p p l i c a t i o n a l s oc a r r i e s o nt h ef o r e c a s tt ot h eo p e n i n ge d u c a t i o na s s e s s m e n tm e t h o dr e s e a r c h i n v i e wo ft h es h a n d o n gr a d i oa n dt e l e v i s i o nu n i v e r s i t y sq u a l i t yr a t i n g h a sg i v e nt h ec o r r e s p o n d i n gs u g g e s t i o nt ot h eo p e n i n ge d u c a t i o na p p r a i s a l 4 山东大学硕士学位论文 a n da p p l i e st h ep r e s e n ti n f o r m a t i o nt e c h n o l o g yi nt h eo p e n i n ge d u c a t i o n a p p r a is a l c a r r i e so nt h em a s s i v ed a t ac o l l e c ti o na n dp r o c e s s i n gu s i n g t h en e t w o r ke d u c a ti o na p p r a is a lt e c h n o l o g ya n dt h ec o m p u t e rt e c h n o l o g y t h u sm a ya d v a n c et h eo p e n i n ge d u c a t i o nt h ed e v e l o p m e n t k e yw o r d o p e n in ge d u c a tio na p p r a is a ls y s t e mf u z z yj u d g m e n tm e t h o d a h pm e t h o dd e am e t h o d c a t e g o r yn u m b e r g 4 0 0 3 4 5 原创性声明 本人郑重声明 所呈交的学位论文 是本人在导师的指导下 独 立进行研究所取得的成果 除文中已经注明引用的内容外 本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果 对本文的研 究作出重要贡献的个人和集体 均已在文中以明确方式标明 本声明 的法律责任由本人承担 论文作者签名 关于学位论文使用授权的声明 本人完全了解山东大学有关保留 使用学位论文的规定 同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版 允许论 文被查阅和借阅 本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索 可以采用影印 缩印或其他复制手段 保存论文和汇编本学位论文 保密论文在解密后应遵守此规定 论文作者签名 堂导师签名 童逝日 期 塑塑尘 山东大学硕士学位论文 第一章绪论 随着人们观念的更新 在网上学习不仅仅是一种时尚的举动 更是逐步自我 充实 提升自身各方面素质的必要途径 在信息社会和知识经济社会里 知识和 信息时空呈几何级数般地增长 客观上要求人们的素质和能力也要随之不断的充 实和提升 而其最有效的途径就是不断地学习 人们拥有了知识就拥有了改变生 活和面对挑战的基础和优势 因此 一方面人们对继续教育和终生学习的渴望和 需求日益迫切 另一方面 信息技术的迅速发展和在教育领域中的广泛应用又为 人们享受终身教育提供了可能 正是在这种社会背景下 开放教育应运而生 并 且得到了飞速发展 当热闹和喧嚣都沉寂下来后 人们开始关注开放教育教学质 量问题 对于开放教育的评价 我国现状是什么样呢 我国目前开放教育现状又 是什么样的呢 发达国家的开放教育发展状况又怎样 我从远程高等教育的发展 到开放教育评价方法研究及应用进行着探索 现代开放教育手段的主要特点是教 师和学生能够实现跨空间进行实时或非实时的交互 这是现代开放教育与传统教 育最显著的区别 也是现代远程高等教育的优势所在 1 1 研究背景及研究意义 一 研究背景 进入2 1 世纪后 中国高等教育大众化步伐加快 高校学生数迅速增加 质 量保障是维护大众化成果 确保下一步发展的关键 质量教育已成为世界高等教 育改革中最受关注的热点和难点之一 2 1 世纪已被视为 质量的年代 我国 自从1 9 9 9 年走上高等教育发展的快车道 几年来高等教育扩张一直呈现上升态 势 来自教育部的数字显示 高等教育毛入学率 2 0 0 2 年达到1 5 2 0 0 3 年达 到1 7 2 0 0 4 年达到1 9 到2 0 0 5 年底高等学校在校生突破2 0 0 0 万人 为世界 规模之最 但高等教育大众化也带来了一定的困难和挑战 数量大幅扩张的同时 如果没有质量的保障和相应提高 它带来的问题最终再次制约数量的发展 伴随 着高等教育改革的深入发展 如何评价和提高教育质量的问题日益突出 尤其是 2 1 1 工程 的实施 标志着我国高等教育的进一步改革必将以 提高质量和效 6 山东人学硕士学位论文 益为中心 如何评价和提高教育质量已成为高等学校今后各项工作的 重中之 重 难中之难 急中之急 可以说我国目前关键的问题是 要尽快建立起一套 符合中国国情 并且行之有效的高等教育质量保障体系 现代开放教育教学质量 评价指标体系研究 国际上对教育质量的关注 从上个世纪6 0 7 0 年代对受教育 机会的研究转向8 0 一9 0 年代对其自身意义的研究和指标体系研究 源于西方发达国家的教育质量评价 在国际上主要始自上个世纪8 0 年代中 期 1 9 8 5 年荷兰政府发布了高等教育政策报告书 高等教育 自治与质量 以此为开端 西方发达国家普遍进行了广泛的高等教育质量保障理论研究 并且 进行了大量的实践探索 形成了声势浩大的高等教育质量保障运动 这一运动于 上世纪末波及到了发展中国家 质量保障问题也成为联合国教科文组织等国际性 组织的重要议题 教育质量评价在欧美发达国家已有多年的历史 相当多的国家 都已形成了比较完善的高等教育质量评价体系并已制度化甚至法制化 评价也为 社会各界包括学术界 专业机构 工商界 政府以及社会公众所接受 因此 西 方高等教育的质量评价模式是将原有的质量评价体系进行深化 提炼与充实的产 物 如美国高等教育质量评价的鉴定模式就是在该国一百多年鉴定实践基础上的 不断发展与完善 是对原有高等教育质量评价体系的继承与发展 自从1 9 9 9 年 1 月1 3 日国务院批准了教育部1 9 9 8 年1 2 月2 4 日制定的 面向2 1 世纪教育振 兴行动计划 明确提出了在我国大力发展现代开放教育的计划 不久 有4 5 所高等院校相继被批准开展现代开放教育试点工作 到2 0 0 5 年4 月止 开放教 育试点学校共有6 8 家 在读学生已经超过3 0 0 万人 随着人数的扩大 随之而 来的是人们对开放教育教学质量的关注 虽然 目前世界各国围绕开放教育教学 质量而开展的评价活动层出不穷 但是 首先质量是一个与价值观联系非常紧密 的概念 两者都深受国家 地区文化传统 社会背景的影响 因此质量评价注定 因国家 地区的不同而存在一定的差异 这也是各国都必须开展属于自己的开放 教育教学质量评价研究 而不能盲目引进他国研究成果 以及质量评价研究成果 不具备全球普适性的原因 同时 从全球来说 人们总是希望无论是产品质量还 是教育质量都有一个较为公认的基准 这不但能方便全球的交流活动 也为各国 提高教育质量提供参考 在这两点的基础上 中国开放教育教学质量评价就必须 既具有一定的国别文化特色 又具有一定的国际性 要体现这一特色 研究评价 7 山东大学硕士学位论文 指标的体系结构是一个比较好的切入点 开放教育教学质量评价方法和指标体系 以体系结构的建立为核心 并综合研究其建立的理论和应用 设计一套具有一定 普适性的开放教育教学质量评价指标体系 为各种主体的开放教育教学质量评价 提供制定指标体系的参考 二 研究意义 开放教育教学质量评价是质量保证 质量管理和质量控制的重要环节 在教 育实践中倍受研究者们关注 我国一直大力发展开放教育 但其质量却一直不被 公众所看好 原因是多方面的 既有开放教育内部本身的问题 也受开放教育外 各种因素的影响 我国开放教育工程实施后 各校积累了质量保障的丰富 但也 出现了不少质量问题 本研究着力于为开放教育的质量评价者 包括政府机构的 评价者 行业第三方评价者 以及开放教育试点院校本身 提供一套可借鉴和参 考的开放教育教学质量评价方法 评价方法不仅适用于我国开放教育试点院校 也可用于未来欲加入我国开放教育国外开放教育单位 这对于保证我国开放教育 教学质量 维护开放教育市场声誉具有重要的意义 从开放教育本身发展的角度 来说 科学地研究和建构一个开放教育教学质量评价方法 不仅使行业内部在质 量有了可供参考的标准 也能使其外部对开放教育教学质量的影响程度相对既有 利于开放教育本身的发展 也有利于开放教育的质量能为社会所用 1 2 开放教育质量评价的目的 任务和作用 一 开放教育质量评价体系的目的 开放教育质量是开放教育的生存之本 也是教育界关注的焦点和热点 开放 教育质量评价体系能帮助开放教育的行政人员和教学管理人员进行教育决策提 供信息反馈 开放教育质量评价的目的就是引导学校在面向社会 依法自主办学 的同时 确立取信于社会的人才培养质量的自我保障体系 促使学校重视教学工 作 加强教学基本建设和教学管理 深化教学改革和教育创新 提高教学质量 并为学校改进工作提供依据 密切学校与社会的联系 发挥社会对开放教育的监 督作用 加强教育行政部门对开放教育的宏观管理 二 开放教育质量评价体系的任务 开放教育质量评价是根据一定的标准 运用一定的途径和方法对开放教育质 8 山东大学硕士学位论文 量进行的一种价值判断 开放教育质量评价的基本任务和标准 包括办学标准和 质量标准 就是通过系统地搜集学校的主要信息 准确地了解实际情况 进行 科学地分析和判断 对学校的人才培养工作质量满足社会需要和国家法律法规规 定的程度做出价值判断 为学校深化改革 强化建设和管理 实现可持续发展 为社会各方择人 用人 为学生选择学校 为国家教育行政部门改善宏观管理 推进全国开放教育持续健康地发展提供依据 三 开放教育质量评价体系的作用 1 导向作用 即开放教育质量评价对被评者具有指导方向的作用 在教育 质量评价中 对任何被评对象所作的价值判断 都是根据一定的评价目标和标准 进行的 这些评价目标 标准 指标及其权重 对被评价对象来说 起着指挥棒 的作用 评价目标实际是由目标制定者根据社会需要而制定的 是评判者对被评 对象应达到的社会价值的反映 也是社会需要的体现 通过评价的导向作用 引 导开放教育向正确方向发展 是开放院校生存和发展的关键 2 鉴定作用 即开放教育质量评价对被评者达到目标的程度有提供证明的 作用 也就是评价活动可以衡量被评价对象是否达到合格标准或区分其达到目标 的优劣程度 并把结果作为对其进行确认或甄选的依据 通过评价 评价者根据 被评者达到目标的程度 给予恰如其分的不同对待和针对性的正确指导 以促进 工作 被评价者能确切的找出与评价目标的差距 明确其努力方向 3 监督作用 即教育质量评价对被评价对象起检查督促的作用 开放教育 质量评价总是将被评对象与评价目标相比较 来确定其是否达到目标及达到目标 的程度 这体现了它的检查作用 找出被评价对象与目标的差距 使其明确今后 努力的方向和途径 督促被评价对象向评价目标前进 这体现了它的督促作用 4 调节作用 一方面是评价者为被评价者调节目标和进程 当评价者认为 被评价者已达到目标 并能达到更高目标时 就会将目标调高 将进程相对调快 当认为被评价者几乎没有可能达到目标时 就会将目标调低 将进程相对调慢 使之符合被评价者的实际 另一方面是被评价者通过评价了解自己的长短 功过 明确努力方向及改进措施 以实现自我调节 9 山东大学硕士学位论文 5 诊断作用 开放教育评价的过程是评价者利用观察 问卷 测验等手段 搜集被评者的有关资料并进行分析 然后根据评价标准对被评者哪些达到了目 标 哪些没达到目标作出价值判断 并为其所存在的问题找出原因 再针对这些 原因提供改进途径和措施的过程 6 激励作用 根据开放教育质量的评价结果 被评价者按其达到目标的优 劣程度可分为不同等级 这种不同的等级会使个人与个人 单位与单位之间进行 不自觉的比较 对被评对象来说 是一个积极的刺激和有力的推动 良好的评价 会对成功的经验起强化作用 使被评者更加努力 产生获取更大成功的动力 不 好的评价对被评者是一种无形的压力 会对失败的教训起消退作用 使被评者产 生不甘落后 奋发努力 改进工作的动力 科学开放教育评价体系的建构需要科 学的评价理论和方法 1 3 开放教育评价方法研究现状 开放教育是成人高等教育的重要组成部分之一 目前 高等教育评价方法 研究大多数集中在已建立价值理论的指导下 探索建立判断评价对象与已知价值 的一致性的方法 对于如何发现价值 如何在没有价值理论指导下进行评价等方 面缺乏研究 数量方法作为现代评价所使用的一种重要方法 其使用和研究主要 集中于评价指标体系设计和综合多指标评价的数学技术两个方面 评价指标研究 方面 主要集中于对评价指标内部一致性的分析 科学确定权重和评价对象的理 想模型研究三个方面 所使用的数量方法有数量化方法 传统统计方法 层次分 析方法 马尔科夫链方法 多元分析 因素分析 主成分分析 聚类分析等 综 合多指标评价方面 主要集中于通过选定数学模型对所得的数据进行运算 得出 反映评价对象价值状态的指数 或确定其价值状态 所使用的数量方法有数量化 方法 传统统计方法 非参数统计方法 线性规划 层次分析方法 马尔科夫链 方法 随机过程 多元分析 因素分析 主成分分析 聚类分析等 模糊综合评 i 判等 l o 山东大学硕士学位论文 1 4 目前开放教育评价方法使用和研究中存在的问题 一 高等教育评价方法问题 在评价方法的一般研究中 重视对评价对象进行价值判断的方法 对发现新 的高等教育价值的评价方法普遍研究不够 在实际评价中 评价者将发现大学新 价值的评价与判断大学是否具有某种价值的评价混为一谈 阻碍了大学的价值创 新 例如 大学特色评价和合格大学评价就是两种不同类型的评价 前者是通过 评价发现特色 特色不因被发现而存在 它独立于评价者 是评价对象进行价值 创新的结果 后者是通过评价判断它与既定的价值标准是否一致 是评价对象追 求价值的结果 显然 两类评价应该使用不同的评价策略和方法 但现行的评价 对此重视不够 二 使用和研究评价中的数量技术存在的问题 众所周知 运用数量技术于评价的关键是建立与价值结构同构的数学模型 如果所分析的问题与数学模型同构 那么利用特定的数学工具展开所建立的数学 模型 就能更深入地认识问题的本质 随着对教育评价所评价的价值结构认识 的深入 以及数学科学本身的发展 人们对评价过程所使用 数 的认识 评价 数量技术所使用的数学模型经历了 确定数学模型一随机数学模型一模糊数学模 型阶段的探索与发展 由于历史的原因 以及对价值结构和数量技术认识的局限 目前较为常用的还是这三类模型 只是在模型具体使用的数学方法上有新的发 展 在大量使用评价技术的实践中 可以发现使用定量评价技术不当和简化评价 所涉及的数量化问题两类问题 数学技术问题简单化评价所涉及数量化问题的后果有二 其一 在评价时错 用数量化方法 其二 限制或拒绝在评价中应用新的数量化方法由于将 定量评 价 和 定性评价 割裂 当前的问题是 多数的评价数量模型只停留在用不同 的观点看同一价值问题上 至于其看法是否合理 则缺乏评价的标准 数量化技 术的滥用 源于价值问题是否有一种相对合理的问题归宿 如果有 该如何判断 具体价值问题的问题归宿 而对这些问题的研究 在教育评价学科中还很少 定 量评价遭到责难也再所难免 创新评价数量化技术的动力不够也理所当然 山东大学硕士学位论文 1 5 本文的研究思路及主要内容 本文通过学习和借鉴前人对教育评价研究的理论和方法 对国内外开放教育 的现状进行分析 根据我国的开放教育的实际情况 对开放教育评价体系的研究 方法进行了探讨和比较 将一些现代评价理论融入开放教育体系的研究中 并在 此基础上运用数学工具对我国的开放教育评价体系进行分析和设计 结合山东广 播电视大学的实际情况进行质量评价 在权重系数的确定 评价结果的模糊聚类 使用了层次分析 模糊综合评价 数据包络分析等多重方法 并针对评价结果提 出了相应的对策 本文分为五章 第一章绪论 介绍了本文的研究背景 研究意义 教育评价 的目的 思路及主要内容 第二章高等教育评价方法论 介绍了国际国内高等教 育评价方法的讨论和研究 第三章与开放教育评价有关的科学理论 介绍了国际 上比较先进的高等教育评价理论 第四章开放教育评价方法研究及应用 介绍了 高等教育评价的通用方法 并且结合我国开放教育的特色和现状 结合山东广播 电视大学深入探讨了开放教育质量评价所使用的各种方法 包括特尔斐法 层次 分析法a h p 及其应用 模糊综合评价法及其应用 数据包络分析法 d e a 及 其应用 第五章开放教育评价方法研究展望 针对山东广播电视大学的质量评价 对开放教育评价给出了相应的建议 并把现代信息技术应用到开放教育评价中 利用网络教育评价技术和计算机技术进行大量的数据收集和处理 从而可以推进 开放教育的发展 本文的特色 由于开放教育在国内的发展只有短短的9 年时间 评价方法还 处在初级阶段 本文通过对高等教育评价方法的研究 结合作者所从事的开放教 育职业和开放教育的特点 将实用可行和先进的教育评价方法引入到开放教育评 价体系中去 为科学制定开放教育评价体系的制定提供科学方法和技术支持 1 2 山东大学硕士学位论文 第二章高等教育评价方法论 2 1 高等教育评价方法分类研究 高等教育评价方法的分类研究 有利于认识不同评价方法的共同点 在中国 习惯上仍将评价方法分为定量评价与定性评价两类 在西方 评价方法也有硬评 价和软评价两派 所谓硬评价 就是运用客观收集信息方法和定量分析技术为主 的评价 方法 与之相对 软评价是运用主观收集信息方法和定性分析技术为主 的评价 方法 因此 硬评价和软评价之分 也与定量评价与定性评价方法之 分密切相关 这种评价方法的二分式分类是否科学 只要弄清 定性 之 性 的含义 定量 之 量 的含义 就不难对这个问题进行回答 根据词义 定 性有对犯错误或罪行的人确定其问题性质 测定物质包含那些成分及性质等含 义 由此可见 定性研究实际上就是确定对象是否具有某种已经为人们所确知的 性质 再看定量 我们知道黑格尔关于 定量 的认识 他还指出 定量是漠不 相关的规定性 即超出并否定自身的规定性 我们通常所理解的定量则有测定 物质所含各种成分的数量 规定数量 以及规定的数量三种含义 也即定量研究 实际上是测定所研究对象所含各种成分 成分的性质是已知的 的数量 或规定数 量 因此 尽管定量与定性均可成为研究手段 但是 它们的区分并不是简单的 研究对象手段的区别上 有学者将评价方法划分为抽象化方法 理想化方法 模 型化方法和系统化方法 这种划分交叉太多 而且用方法定义方法 例如 他界 定模型化方法为 主体利用抽象化方法和理想化方法以及类比方法 建立起一定 的模型 通过对可控模型的细致研究 把握原型对象的结构 功能和变化规 律 这种方法就是模型化方法 我们认为 评价方法总是与评价目的联系的 方法是实现目的的手段 离开评价目的很难准确把握评价方法的本质 相对来说 以开展评价有无具体的价值形态作为评价方法的分类标准 体现了评价方法和评 价目的的统一 是一种比较科学的评价方法分类方法 按照开展评价之前有无具 体的价值形态作为评价的先行组织者 标准 评价方法可以分为以下四类 第一类 以社会科学的研究方法为工具 建立价值形态作为评价标准的评价 1 3 山东大学硕士学位论文 方法 目的是发现新价值 称这类评价方法为质化评价方法 第二类 以数学和自然科学的研究方法为工具 建立价值形态作为评价标准 的评价方法 目的是发现新价值 称这类评价方法为量化评价方法 第三类 根据已建立价值形态作为评价标准 并建立价值形态的描述性模型 评价对象价值的评价方法 目的是证实价值 称这类评价方法为质化后评价 它 就是传统意义上的定性评价方法 第四类 根据已建立价值形态作为评价标准 并建立价值形态的确定性 一般 是数学 模型的评价方法 目的是证实价值 称这类评价方法为量化后评价 它 就是传统意义上的定量评价方法 2 2 高等教育评价的科学化问题 科学不只是一种活动 它更是分享发现知识目的的活动方法 k 皮尔逊 k p e a r s o n 认为 整个科学的统一仅在于它的方法 不在于它的材料 而 科学方法的标志则包括仔细而精细地分类事实 以及观察事实间的相关和顺序 借助创造性物想象发现科学定律 i 自我批判和对所有正常构造心智来说是同等有 效的最后的检验等 因此 一般意义的科学化就是指使用统一意义的科学方法 价值的科学化问题涉及到 价值经得起科学研究的检验吗 科学中表 现什么样的价值 以及 什么是科学的价值 科学促进或破坏的更大利益是什 么 三个问题 从评价角度而言 评价的科学化问题包括两个层面 其一 建 立科学的评价理论体系的问题 就是用科学的理念和方法重构评价理论体系的问 题 回答 价值经得起科学研究的检验吗 和 什么是科学的价值 科学促进或 破坏的更大利益是什么 两个问题 其二 评价方法的科学化 即用科学意义 上的科学方法开展评价活动 尽管 目前对是否要建立科学体系意义上的评价理 论 以及用科学方法研究和开展评价还有争论 但是建立系统的评价理论体系 解释人们的价值活动对开展价值实践活动还是极为必要的 评价科学化体现了人们对能合理 准确使用评价的理念和不断改进评价的实 践行动 它的核心包括 按照科学的精神即实事求是的精神来组织和进行评价 根据可靠的知识和合理的价值观念来进行评价 力求使评价尤其是社会评价先达 到正确 然后再追求至当和最优 1 4 山东大学硕士学位论文 有学者认为评价科学化至少包括三层意思 其一 评价体系合理 有科学根 据 或者说确立评价的知识前提是可靠的 合理的 其二 评价的过程遵循一定 的程序和规则 遵循科学的方法和逻辑 对价值客体 主体的认知知识 对评价 的情势有可靠的了解 评价信息全面 真实 可信 其三 评价中对各种价值的 估约 评价是可靠的 计算是正确的 权重是合理的 这些评价科学化所包含的 问题 事实上是如何保障正确开展评价的问题 它没有涉及如何将作为一种理论 体系的评价 建设成评价科学问题 因此 评价科学化更深层次的问题是如何建立确定评价的价值前提 解释价 值的发生 发展 转化 消亡的规律 按照既定的 科学 评价逻辑开展评价 事实上 可能恰恰是极不科学的 甚至是反科学的 评价作为一门科学 本身也 有评价的标准 按照好科学的评价标准 好的评价包括切中问题 s i g n i f i c a n c e 观察与理论配合 研究发现所得结论的推广性 g e n e r a l i z a b i l i t y 再造性 r e p r o d u c i b i l i t y 准确 严谨 可被验证性等评价标准 评价的研究可以涉及到评价所使用的语言 发现评价的规则 评价所使用文 本和行为的意义 以及评价自身的反思等方面 这些方面涉及到不同的问题 应 该根据不同的理论采用不同的方法来解决这些问题 评价目的关注评价的语言 其涉及的问题及其解决所依据的理论可用图2 1 表示 图2 1 以关注评价的语言为目的的评价所涉及问题和及解决问题的理论依据 以关注反思为评价目的的评价 所涉及的问题和及其解决问题的理论依据可 1 5 山东大学硕士学位论文 用图2 2 表示 图2 2 以关注反思为目的的评价所涉及的问题和及其解决问题的理论依据 评价目的关注文本或行为意义的评价所涉及的问题 以及解决问题的理论依 据可表示为图2 3 1 6 图2 3 以关注评价文本或行为意义为目的的评价所涉及的问题和及其解决 问题的理论依据 评价目的关注发现 其涉及的问题和解决所依据的理论可用图2 4 表示 山东大学硕士学位论文 目的 发现评价的规则 上上 识别 分类 基本要素 识别范例 i 1 l r 1r 探究他们的联系在概念化中作为缺陷 作为文化 作为社会化 上皇l 理论体系总体民族志教育先民 3 r 验族 r 论 士 事生 盐 件态扎质化评价人种论人种论 的的 结心根 现 实内 构理理 象 行动研究批判性 自然主义 在 容 分学论 图 无束缚 论分 析 合作研究卜 研究 析调查 图2 4 以关注发现评价规则为目的的评价所涉及的问题 和及其解决问题的理论依据 因此 高等教育评价的科学化 也涉及到上述各方面 仅局限于严格的遵守 既定的操作流程 建立确定的价值模型 这只是评价科学化的一个很小的方面 2 3 理想高等教育评价模式 所谓评价模式是指为了达到特定评价目的 按照一定评价理论所建立的 具 有固定结构的一种操作程式 评价涉及到价值主体 评价主体 价值客体 评价 客体四个部分 按照评价过程的结构 见图2 5 图中第一行表示理想评价情形 第二行表实际评价情形 可将评价分为四种类型 图2 5 评价过程结构 1 7 山东大学硕士学位论文 类型1 价值主体 即价值客体 一评价主体一价值客体 即价值主体 评价客 体 即价值客体 一评价结论 评价所涉及的四个要素的载体相同 评价的目的 是价值主体通过评价认识自己是否具有某种己有的价值 它是含人生命体系统所 特有的评价活动 通常称为自我评价 类型2 价值主体一评价主体一评价客体 价值客体的替代物 一评价结论 价值主体和价值客体是分离的 评价主体和价值主体也是分离的 价值客体和评 价客体也是分离的 评价的目的是价值主体需要确认价值客体对自己的价值 这 就是一般意义上所讲的评价 类型3 价值主体 评价主体一评价客体一价值客体一评价结论 价值主体和 评价主体一块构成了复合的价值主体 价值客体与评价客体是同一的 但价值主 体和价值客体是分离的 评价的目的是建构新的价值 相当于第四代评价所主张 的评价 类型4 评价主体一价值主体一价值客体一评价客体一评价结论 评价主体 外在于价值主体 价值主体和价值客体具有同一性 评价的目的是帮助价值主体 发现新的价值形态 是本文将要研究的质化评价和量化评价所涉及的范围 理想的评价模式应具有防止价值主体和评价主体分离 价值客体与评价客体 分离 所造成的评价失效的机制 图2 6 所表示的是一个理想的高等教育评价模 式 它基于两个基本假设建立而成的 一个理想的高等教育评价模式 它基于两 个基本假设建立而