（计算机应用技术专业论文）网络教学中基于学习情绪的情绪教学研究.pdf

首都师范大学硕士学位论文网络教学中基于学习情绪的情绪教学研究 摘要 计算机、网络技术、人工智能和情绪心理学的研究与发展正在迅速改变传统的生活、 工作和学习方式。网络教学系统使得教学资源利用率得到极大提高，但传统网络教学系统 存在着严重的情感缺失，将网络学习环境下学习者学习情绪的研究引入到教学系统中，可 以在一定程度上弥补传统网络教学系统在情绪教学方面的缺陷，是智能网络教学系统发展 的一个重要方向。 本文在北京市教委科技计划重点项目暨北京市自然科学基金重点项目( 编号： k z 2 0 0 8 1 0 0 2 8 0 1 6 ) “基于情绪认知模型的个性化数字教育关键技术研究 的资助下，结合 传统教学理论和情绪教学理念，对情绪模型和基于情绪指导的教学系统进入了深入的研 究。本文所做的主要工作如下： ( 1 ) 在对情感计算和情绪模型进行分析的基础上，选取了o c c 情绪模型，并将o c c 情绪模型和二维情绪模型相结合，提出了一种适合教学系统的情绪模型基于o c c 的 二维情绪指导模型。此模型将学习中出现的学习状态分为1 2 种，分别给予定义，将其中 出现的7 种状态给予提醒。 ( 2 ) 在本组其他同学对愉快苦恼、兴趣厌倦四种学习情绪类型研究和识别的基础上， 将情感强度进行量化，提出了学习愿望强度的概念及其量化方法。研究表明，此概念对教 学系统有着良好的适用性。 ( 3 ) 对于教学系统的设计，根据当前被普遍认可的教学系统模型，提出了结合情绪教 学的学习系统，分析得出系统需要的数据表，然后对系统的各个模块进行了概要分析。 ( 4 ) 以v i s u a ls t u d i o n e t 和s q ls e r v e r2 0 0 5 为开发工具，c 群为开发语言，采用n e t f r a m e w o r k2 0 架构，开发了一个具有初步学习情绪指导功能的教学系统原型。该系统原型 采用典型的分层结构设计，包括数据访问层、业务逻辑层、实体层和表示层。 关键词：o c c 情绪模型；学习情绪；情绪教学；学习愿望强度；智能教学系统 首都师范大学硕士学位论文网络教学中基于学习情绪的情绪教学研究 a b s t r a c t t h er e s e a r c ha n dd e v e l o p m e n to f c o m p u t e r 、n e t w o r kt e c h n i q u e 、a r t i f i c i a li n t e l l i g e n c ea n d e m o t i o n p s y c h o l o g yi sq m c m yc h a n g i n gt h em e t h o do ft r a d i t i o n a ll i f e 、w o r ka n ds t u d y n e t w o r k t u t o r i n gs y s t e mh a sg r e a t l yi n c r e a s e dt h eu t i l i z a t i o no ft e a c h i n gr e s o u r c e , b u ti th a st h es e r i o u s e m o t i o nf l a w , i n t r o d u c et h es t u d ye m o t i o ni n t on e t w o r kt u t o r i n gs y s t e m ，c a l lm a k eu pt h e l i m i t a t i o no fe m o t i o nt e a c h i n gi nt r a d i t i o n a ln e t w o r kt u t o r i n gs y s t e m i ti sa l li m p o r t a n td i r e c i t i o n i ni n t e l l i g e n tn e t w o r kt u t o r i n gs y s t e m t h et h e s i su n d e rt h es u b s i d i z a t i o no fb e i j i n ge d u c a t i o nc o m m i t t e ei nt e c h n o l o g yp l a n e i m p o r tp r o j e c ta n db e i j i n gn a t u r a ls c i e n c e sf o u n d a t i o ni m p o r tp r o j e c t ( k z 2 0 0 810 0 2 8 0 16 ) b a s e d o i le m o t i o nc o g n i t i v em o d e lo fp e r s o n a ld i g i te d u c a t i o nk e yt e c h n o l o g i e sr e s e a r c h t h et h e s i s c o m b i n e st r a d i t i o n a lt e a c h i n gt h e o r i e sa n de m o t i o nt e a c h i n gp r i n c i p l e ，t oc a r r yo nr e s e a r c ho f e m o t i o nm o d e la n dt e a c h i n gs y s t e mw h i c hi sb a s e do ns u p e r v i s eo fe m o t i o n t h em a i nw o r kt h a t t h i st h e s i sm a k ei sa sf o l l o w ： ( 1 ) c a r r yo na n a l y s i st ot h ee m o t i o nc a l c u l a t i o na n de m o t i o nm o d e l ，a n ds e l e c tt h ef i te m o t i o n m o d e i o c ce m o t i o nm o d e l c o m b i n eo c ce m o t i o nm o d e la n dt w o - d i m e n s i o n a le m o t i o nm o d e l t o g e t h e r , p u tf o r w a r dt h ee m o t i o nm o d e lt h a tt u t o r i n gs y s t e m6 t s 一一b 弱e do nt h eo c c t w o - d i m e n s i o n a lm o d e lo fe m o t i o n a lg u i d a n c e t h em o d e li sd i v i d e ds t u d ys t a t ei n t o12 k i n d s ，a n dg i v e st h ed e f i n i t i o ns e p a r a t e l y , r e m i n d7k i n d sw h i c ha p p e a r sa m o n gt h e m ( 2 ) o nt h eb a s e do f t h eo t h e rs t u d e n t si nt h i sg r o u ph a sr e s e a r c ha n di d e n t i f i e dt h ef o u r t y p e ss t u d ye m o t i o n a ：p l e a s u r e a g o n y 、i n t e r e s t w e a r i n e s s , h a sc a r r i e do u tq u a n t i f i e d b r i n g f o r w a r dt h ec o n c e p to fs t u d yd e s i r ei n t e n s i t y , h a sc a r r i e do u tq u a n t i f i e d t h er e s e a r c hi n d i c a t e d t h a tt h i sc o n c e p th a st h eg o o ds e r v i c e a b i l i t yt ot h et u t o r i n gs y s t e m ( 3 ) f o rt h ed e s i g no ft u t o r i n gs y s t e m ，a c c o r d i n gt on o w a d a y sa p p r o v e dt u t o r i n g s y s t e m ，p u t i n g f o r w a r dt h et u t o r i n gs y s t e mt h a tc o m b i n a t e de m o t i o n ，a n dc a t t yo nt h es y s t e md a t a b a s ea n a l y s i s t og e tt h ed a t at a b l eo f s y s t e m ，t h e nc a r r y o nt h ee s s e n t i a l sa n a l y s i st oe a c hm o d u l eo ft h es y s t e m ( 4 ) t h es y s t e m u s e sv i s u a ls t u d i o n e ta n ds q ls e r v e r2 0 0 5a st h et o o l so f d e v e l o p m e n t ，c 样a st h el a n g u a g eo fd e v e l o p m e n t ，n e tf r a m e w o r k2 0 t y p i c a lh i e r a r c h i c a l s t r u c t u r ed e s i g n ，t h es y s t e mi sd i v i d e di n t od a t aa c c e s sl a y e r , b u s i n e s sl o g i cl a y e r , p h y s i c a ll a y e r a n de n t i t yl a y e r a p p l i c a t i o nw i l ll e a me m o t i o n a lg u i d a n c et oa s i m p l et e a c h i n gs y s t e m a p p l y 2 首都师范大学硕士学位论文 网络教学中基于学习情绪的情绪教学研究 t h es u p e r v i s eo f s t u d ye m o t i o ni n t ot u t o r i n gs y s t e m k e yw o r d s ：o c ce m o t i o nm o d e l ，s t u d ye m o t i o n ，t h et e a c h i n go fe m o t i o n ，s t u d yd e s i r e i n t e n s i t y ，i n t e l l i g e n tt u t o r i n gs y s t e m 3 首都师范大学硕士学位论文 网络教学中基于学习情绪的情绪教学研究 首都师范大学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所 取得的成果。除文中已经注磺弓l 用的内容外，本论文不含饪俺其他个人或集体已经发表 或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方 式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：巽齑 日期； l 口o g 年工卜月趁日 首都师范大学位论文授权使用声明 本人完全了解首都师范大学有关保留、使用学位论文的规定，学校有权保留学位论 文并向国家主管部门或其指定机构送交论文鲍电子版和纸质舨。有权将学位论文用于非 赢利目的的少量复制并允许论文进入学校图书馆被查阅。有权将学位论文的内容编入有 关数据库进行检索。有权将学位论文的标题和摘要汇编出版。保密的学位论文在解密后 适用本规定。 学位论文作者签名： 嚣期：劲s 年埠月旌墨 首都师范大学硕士学位论文网络教学中基于学习情绪的情绪教学研究 1 1 远程智能教学系统概述 1 引言 远程教学系统以学生为中心，计算机和网络为媒体，利用计算机模拟教学专家的思维 过程把知识传授给学生。人的脸部表情是人内心世界的表达，在学习和教学过程中，教师 和学生目光的接触，脸部某些部位细微的变化，比如颦眉、嘴角的上挑或下撇等，都表达 出人们复杂的内心世界。这在面对面( f a c e - t o f a c e ) 的教学过程中，师生可以及时交流和沟 通；在远程教学中，教师不能及时了解学生的学习状况，不能达到及时沟通的效果。将人 脸检测和表情识别应用于远程教学系统，分析出在远程终端的学生学习情绪，利用本文设 计的二维情感模型，给学生以及时指导。 1 1 1远程教学系统的发展 随着信息社会的发展，计算机和计算机技术的普及，以及网络向社会各个角落的延伸。 人们也早由一次性教育变为终身学习，远程教育( e l e a r n i n g ) 应运而生，远程教育中教 学不受时间、空间和地域的限制。目前远程教育还没有统一的定义，美国教育部2 0 0 0 年度 关于远程教育的概念在“教育技术白皮书中就有七种不同的说法。从广义上来说：远程 教育是为了解决师生双方由于物理上的距离而导致的、表现在时空两个纬度上教与学问的 分离而采取的、重新整合教学行为的一种教育模式，主要指通过电子媒体进行的学习( 谢 新观，2 0 0 1 ) 。从狭义上来说：指学校远程教育，是对教师和学生在时空上相对分离，学 生自学为主、教师助学为辅，教与学的行为通过各种教学资源实现联系、交互和整合的各 类学校或社会机构组织的教育的总称( 丁兴富，2 0 0 2 ) 。 1 0 世纪中叶，远程教育首先在英国以函授教育的形式出现，2 0 世纪7 0 年代英国开放大 学的创建被世界认为是现代远程教育史上的里程碑。 1 9 6 9 年，美国国防部高级研究计划署建立a p r a n e t ，它的四个站点是加州大学洛杉矾 分校、加州大学圣巴巴拉分校、犹他大学和斯坦福研究所。这项成就使美国成为远程教育 的发源地。 据美国联邦教育部国家教育统计中心对教育机构远程教育的调查，1 9 9 7 1 9 9 8 年，美 国5 0 2 0 所大学中有1 6 9 0 所提供远程教育课程，占高等学校总数的3 4 0 5 。约1 6 6 万学生注册接 首都师范大学硕士学位论文 网络教学中基于学习情绪的情绪教学研究 受各种形式的远程高等教育，占所有类型高校在校生总数( 约为1 4 3 4 万) 的1 1 6 。 新加坡于1 9 9 6 年推出全国教育网络化战略，投资2 0 多亿美元使每间教室连通 i n t e r n e t ，做到每两位学生一台微机，每位教师二台笔记本电脑。 香港投资2 6 亿港币为每一个中小学配备计算机教室。 中国教育部1 9 9 8 年1 2 月2 4 日制定面向2 l 世纪教育振兴行动计划，把现代远程 教育工程作为重点建设工程提出来，目标是到2 0 1 0 年“基本形成多规格、多层次、多形 式、多功能，具有中国特色的现代远程教育体系。 在面向2 1 世纪教育振兴行动计划 已取得的成效的基础上，2 0 0 4 年3 月3 日，国务院又批转教育部2 0 0 3 - 2 0 0 7 年教育振兴 行动计划，提出要全面提高现代化信息技术在教育系统的应用水平，加强信息技术教育， 普及信息技术在各级各类学校教学过程中的应用。 2 0 0 6 年1 1 月9 - 1 0 日，以“网络服务学习型社会 为主题的远程教育盛会一“2 0 0 6 中国国际远程教育大会”在北京召开。大会主题为“网络服务学习型社会 ，中国的网络 教育已经不局限于高校网络学院和学历教育，正向更深更广更细发展，成为继续教育和职 业教育的重要一翼，成为实现教育现代化和实现教育公平的重要形式。 2 0 0 7 年1 月，中国教育部、财政部发出关于实施高等学校本科教学质量与教学改 革工程的意见，明确提出要“积极推进网络教育资源开发和共享平台建设，建设面向全 国高校的精品课程和立体化教材的数字化资源中心。同年2 月，国家“十一五 科技支 撑项目“数字教育公共服务示范工程 课题举行开题会，该项目列入国家科技支撑计划“现 代服务业共性技术支撑体系与应用示范工程 的重大项目。同年9 月，以“新进展、新趋 势、新课题 为主题的一年一度的中国国际远程教育大会在北京开幕，同年l o 月，全国 高校现代远程教育协作组、英国开放大学、北京大学、中央广播电视大学联合主办2 0 0 7 国际远程教育高端论坛，论坛的核心议题是质量保证。 中共中央主席胡锦涛在十七大报告中明确提出，教育是民族振兴的基石，教育公平是 社会公平的重要基础。十七大报告在第八部分鲜明地提出“发展远程教育和继续教育，建 设全民学习、终身学习的学习型社会。 在面对面的师生交流中，学习的情绪和积极性更容易被调动起来。在如基于电视广播 的远程教育、基于w e b 的课件浏览和视频教材、更具有人性化智能化的远程教育。它们的 共同缺点就是越少师生的沟通，老师无法及时了解学生的学习情绪，不能给予及时地引导 和疏通，导致学生学习效率低。 2 首都师范大学硕士学位论文网络教学中基于学习情绪的情绪教学研究 1 1 2人工智能 人工智能( a r t i f i c i a li n t e l l i g e n c e ) 简称为a i 。它是研究、开发用于模拟、延伸和扩展人 的智能的理论、方法、技术及应用系统的一门新的技术科学。“人工智能”一词最初是在 1 9 5 6 年d a r t m o u t h 学会上提出的。斯坦福大学的人工智能研究中心的n i l s s o n 教授认为： “人工智能是关于知识的科学一怎样表示知识以及怎样获得知识并使用知识的科学 。m i t 的w i n s t o n 教授指出：“人工智能就是使计算机去做过去只有人才能做的智能工作 。这些 定义反应了人工智能学科的基本思想和基本范围。 人工智能是计算机科学的一个分支，目前能够用来研究人工智能的主要物质手段以及 能够实现人工智能技术的机器就是计算机，人工智能的发展历史是和计算机科学与技术 的发展史联系在一起的，该领域的研究包括机器人、语言识别、图像识别、自然语言处理 和专家系统。除了计算机科学以外，人工智能还涉及信息论、控制论、自动化、仿生学、 生物学、心理学、数理逻辑、语言学、医学和哲学等多门学科。研究范畴包括自然语言处 理、知识表现、智能搜索、推理、规划、机器学习、组合调度问题、感知问题、模式识别、 逻辑程序设计、软计算、不精确和不确定的管理、人工生命、神经网络、复杂系统、遗传 算法等。 事实上，从广义来讲，般认为用计算机模拟人的智能行为就属于人工智能的基本范 畴。从狭义上讲，人工智能方法是指人工智能研究的一些核心内容，包括搜索技术、推理 技术、知识表示、机器学习与人工智能语言等方面。 人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的 复杂工作。但不同的时代，人们对“复杂工作 的理解是不同的，复杂工作的定义是随着 时代的发展和技术的进步而变化的，人工智能这门科学的具体目标也随着时代的变化而发 展，它一方面不断获得新的进展，一方面又转向更有意义、更加困难的目标。把人工智能 技术引入计算机辅助教学，建立智能教学系统i t s ( i n t e l l i g e n tt u t o r i n gs y s t e m ) ，又称为智 能计算机辅助教学i c a i ( i n t e l l i g e n c ec o m p u t e ra s s i s t e di n s t r u c t i o n ) ，当前教学已逐渐向更 加以学生为中心的方向转移，在远程教学系统中更加突出智能辅助教学系统的作用和优 势。 1 1 3 现有远程智能教学系统存在的不足 2 0 世纪7 0 年代i t s 诞生，此时的计算机辅助教学以生成系统为特征，计算机可自动 3 首都师范大学硕士学位论文 网络教学中基于学习情绪的情绪教学研究 生成练习和答案，并对学生的回答作简单的评价，其后，i t s 进入全面发展时期。2 0 世纪 8 0 年代，认知心理学、教学设计理论给i t s 的研究带给新的活力。 国外对i t s 研究较多，最为活跃的是美国，此外，欧洲、日本、加拿大等国家也投入 了大量的人力、物力从事i t s 的研究。以下为历史上一些典型的i t s 系统n 1 ： 表l 国外典型的i t s 系统 n s 名称开发者开发时间教学领域 关键i t s 技术 ( 年) s c h o l a rc a r b o n e l l 1 9 7 0 地理学自然语言对话处理 w h ys t e 、协l s c o l l i n s 1 9 7 7 气象学对话教学 s o p 】田匣 b r o w n , b u r t o n 1 9 7 7电子学自然语言接口、黑想 法 w u s o rg o l d s t e 玎q1 9 7 9游戏策略覆盖体系结构 g u o n c l a n c e y1 9 8 1 传染病学专家系统，白箱法 w 屯趼b u r t o n1 9 8 1 游戏策略基于范例的教学、教 练 b i k 舅科 b r o w n , v a n l e h n 1 9 8 2 算术不正确知识表示 d 髓u g g y b u r t o n ，v a n l e h n 1 9 8 2 算术离线对话 s 1 1 置a 瞧r s t e v e n s ，h o l l a n 1 9 8 3 海军锅炉设计模拟，智力模型 邮s l e e n 【a n 1 9 8 4 几何学错误产生式规则 m 匣n or o l o l f1 9 8 4气象学编程对话管理 p r o u s tj ( ) h n s o n1 9 8 4 编程技术意图诊断 k 已疆 a n d e r s o n1 9 8 4 l i s p 语言编认知建模 程 s 珏澈r a n l e h n1 9 8 7 算术错误描述 跚 e 剐u ) c k l e s g o l d ，k a t z 1 9 9 1电子学认知学生模型 a 瑚s m a r t i n , v a n l e h n 1 9 9 5 经典物理认识科学，网络技术 e u a r tp e t e rb r u s i l o v s k y ， 1 9 9 7 材料课程超文本技术 e i m a rs c h w a r z ( 】t ss o f i ej o h a n s s o n 1 9 9 9 汉语学习多媒体技术 k o k k i n a k i s 4 首都师范大学硕士学位论文网络教学中基于学习情绪的情绪教学研究 国内有关教育软件的研制历史不长，目前远程智能教学系统中存在以下不足： 1 教学系统本身的呈现方式。系统大多采用静态呈现技术，网络课件只是简单将课 本内容数字化，学习资料一放上去，短期内不会有变化，不能适时调整课件的设计结构和 内容，不能激发学习者兴趣，也不能实现个性化的内容呈现。 2 缺乏科学的教育教学理论指导。教学资料呈现方式单一，不能很好的体现因材施 教，学生不能按需学习。在单位知识讲解或演示之后，计算机提出问题要求学生回答，虽 然主观题更能考察学生综合运用知识的能力，但计算机在信息的接收，特别是判断上存在 较大的困难。对于学生的答疑解惑，大多是先前设计好的问题答案，不能根据不同的状况， 进行有侧重点的回答。知识的传达比较生硬。 3 没有考虑学生的学习情绪。在网络教学中，学生面对的是电脑，但教学过程是师 生双方互动的一个过程，学生由于缺乏课堂氛围和老师及时地提醒和关怀，学习效率会有 所影响。一般的网络教学系统策略中都没有涉及到学生的学习情绪状态处理。 4 缺乏良好的科学评价方法。对学生的学习效果测试不能反映真实状况。 5 缺乏网络支持。现有的大多数智能教学系统是在单机环境下开发运行的，或没有 和网络运营机构进行及时地沟通和合作，无法利用网络在知识更新和传递上的方便和快捷 的优势。 6 资源浪费。在基于网络的教学系统中资累了大量信息，如用户的注册信息、访问 日志、考试信息、协作信息和学习进度等，大多数情况下是没使用的，造成资料的空闲占 用。 7 系统可维护性差，升级困难。一般支持系统和教学策略在开始时就被确定下来了， 一旦需要变动其中的某些部分，整个系统需要重新的配置和编译，造成财力和人力的极大 浪费。 国内早期的研究主要集中在一些大学和研究机构，现在远程教育迅速发展，必将大力 推动基于远程教育的i t s 的发展。一些典型的i t s 系统如表2 所示： 表2 国内典型的i t s 系统 单位系统名称及用途联系人 北京航空航天大学计算机系b g - c a i 教学软件平台尹宝林 上海大学计算机系 c d i c a i s 童兆页 中科院数学所y u c a i - 智能计算机辅助教学系统生成工具陈永红 信阳师范学院计算机系 c e n p t s 一用于p a s c a l 教学曾奎 5 首都师范大学硕士学位论文网络教学中基于学习情绪的情绪教学研究 郑州解放军电子技术学院 i c a i p s 一外设( p e r i p h e r a l ) 鹤荣育 北京大学c a i 研究所a m i t s - 高等数学徐颂文 北方交通大学a d a - c j m - a d ) a 语言支l 云 南京大学5 3 0 8 厂c s - 汉字自学唐棠 黑龙江大学计算机系c a i - 汉字学习郎彦 华南师范大学计算机系电脑辅助语音教学关宜富 西安交通大学“矢量分析与场论”c a i 系统常争鸣 中国科大计算机中心模拟仿真m c s 系列单片机刘振安 北京凯迪兴业网络技术有限公司多媒体视听网络教学系统姬乐民 海北科技有限公司“学易”高互动信息反馈教学系统刘德民 1 2 本课题研究的理论及现实意义 网络化与智能化相结合推动计算机辅助教学系统的发展，它不但应遵守计算机科学的 原理原则，也应遵守传统的教育学和心理学规律。i t s 的最终目标是为学生创建一个虚拟 的理想学习环境，这个环境能够充分尊重学生的个性和兴趣，使学生在愉悦和轻松的氛围 中学到自己想要的知识，避免某些自觉性不高或出现问题不能及时解决的学生出现学习停 滞现象。通过摄像头获得学生的学习表情，对学生学习情绪建模，得到学生的学习状态， 给予科学的指导，督促或鼓励。 我国幅员辽阔，教育资源分布不均匀，目前我国教育软件特别是适合远程的智能教育 软件缺乏，对基于适时学习情绪研究的智能教学系统具有重要的现实意义。消除电脑前学 习的学生无交流感和缺乏氛围感，可以让学生根据自己的认知能力、知识水平、学习需求 和兴趣爱好进行学习，使远程教学消除距离感，增加人性化，实现广域化。 1 3 本课题研究的主要内容 本文主要研究内容有如下方面： 1 研究情感计算和常见的情绪模型，选取合适的情绪模型o c c 情绪模型，并将 o c c 情绪模型和二维情绪模型相结合，提出了一种适合教学系统的情绪模型基于o c c 的二维情绪指导模型。此模型将学习中出现的学习状态分为1 2 种，分别给予定义，将其 中出现的7 种状态给予提醒。 6 首都师范大学硕士学位论文网络教学中基于学习情绪的情绪教学研究 2 在本组其他同学对情感进行研究和识别的基础上，重点研究学习中出现的四种学 习情绪，愉快苦恼、兴趣厌倦，并将情感强度进行量化，提出了学习愿望强度的概念及 其量化方法。研究表明，此概念对教学系统有着良好的适用性。 3 对于教学系统的设计，根据当前被普遍认可的教学系统模型，提出了结合情绪教 学的学习系统，分析得出系统需要的数据表，然后对系统的各个模块进行了概要分析。 4 以v i s u a ls t u d i o n e t 和s q ls e r v e r2 0 0 5 为开发工具，c 群为开发语言，采用n e t f r a m e w o r k2 0 架构，开发了一个具有初步学习情绪指导功能的教学系统原型。该系统原型 采用典型的分层结构设计，包括数据访问层、业务逻辑层、实体层和表示层。 1 4 本文的章节结构 本文共分六章，各章主要内容为： 第一章作为全文的绪论，介绍本文的研究背景、目的和意义，论述了远程i t s 的概 念、理论、国内外研究现状以及存在的缺陷。 第二章综合研究人的面部表情识别方法，情感计算理论和常用的情感模型。 第三章将o c c 情感模型和二维情感模型相结合，建立新的适合学生学习情绪研究的 情感模型。 第四章结合第三章得到的学生学习情感，进行智能教学系统的设计。 第五章选取合适的开发工具，对教学系统进行三层架构开发。 第六章总结与展望，总结本文的研究经验，并提出有待进一步研究的问题。 7 首都师范大学硕士学位论文网络教学中基于学习情绪的情绪教学研究 表情识别和情感模型基础 表情是人类内部情绪的外在表现，是人类交流和传递信息的重要表达方式。1 9 6 8 年， 心理学家m e h r a b i a n 口1 在一份调查报告中给出一个公式：感情表露= 7 的言词+ 3 8 的声音 + 5 5 的面部表情。 古今中外的学者从不同角度对人类情绪进行了分类目，在我国古代苟子倡导搿六情 说；中庸将基本情绪分为四种：喜、怒、哀、乐；左传分为六种：好、恶、喜、 怒、哀、乐；林传鼎将人的情绪归纳为安静、喜悦等1 8 类。p l u t c h i k 从相似性、两极性和强 度三个纬度进行情感划分，得出平面扇形上的8 种基本情绪，即狂喜、警惕、悲痛、惊奇、 狂怒、恐惧、接受、憎恨，任何一种情绪都有与他性质上相对应的另一情绪，任何情绪在 与其他情绪相类似的程度上都有不同，任何情绪都有强度的不同。i z a r d 用因素分析方法， 提出人类共有8 n 11 种基本情绪：兴趣、惊奇、痛苦、厌恶、愉快、愤怒、恐惧和悲伤， 以及害羞、轻蔑和自罪感。1 9 7 1 年e k m a n 和f r i e s e n 嘲确定了六种基本表情：愤怒( a n g e r ) 、 厌恶( d i s g u s t ) 、恐惧( f e a r ) 、高兴( h a p p i n e s s ) 、悲伤( s a d n e s s ) 、惊奇( s u r p r i s e ) ，这六种 表情被认为与种族文化以及性别相独立，具有全人类性，在心理学界和工程界占有主体地 位。 面部表情识别一般包括人脸检测、人脸特征定位与提取和人脸表情的情感分类三个步 图1 面部表情识别系统流程 首都师范大学硕士学位论文网络教学中基于学习情绪的情绪教学研究 骤，其系统流程图如图1 所示m ： 2 1 1 人脸检测的一般方法 人脸检测主要包括两方面：在给定画面或场景中，检测到是否有人脸；如果有人脸， 确定人脸在画面中的位置和范围。 2 1 1 基于静态图像的人脸检测 1 基于知识的方法：又称为启发式方法。基于先验知识或经验，利用自顶而下的方法， 依据人脸的器官分布状况、轮廓状况、人脸颜色灰度、纹理、运动规则等。形成了基于肤 色模型的方法、基于模板匹配的方法、基于器官或轮廓分布特征的方法。 ( 1 ) 基于肤色模型的方法：肤色特征被认为从人脸检测到跟踪的很多应用中最有简单有 效的方法，该方法不受物体形状变化、视点改变影响等。肤色的主要差别不在于色度而在 于亮度，颜色空间选择和肤色建模方法是肤色检测的两个关键问题。以下一些颜色空间被 用来标记作为人类的像素，包括r g b ，标准化r g b ，h s v ，y c b c r ，y i q ，y e s ，c i e x y z ， c i e l u v 。肤色模型受光照的影响较大，一般单独使用肤色模型是不够的，联合应用颜色 分割、形状分析、运动信息等方法综合应用。 ( 2 ) 基于模板匹配的方法：分为固定模板和参数可变的弹性模板。人脸的基本轮廓和脸 部器官基本位置是固定的，可预先定义一个标准模板，一般首先确定眉毛、眼睛、嘴、鼻 子等部位的特征，然后计算这些特征点之间的距离、比例关系。利用h o u g h 变换、方差投 影、模板匹配相结合，定位出眼睛、鼻子、嘴巴等器官的位置。对于给定的大小分别为码啊 和m 2 吃的两幅图像1 l ( x , 力和1 2 ( x , y ) ，之间的映射为： 1 2 ( 】，y ) 2 9 ( ( s ( 毛y ) ” ( 2 - 1 ) 其中s 为2 维几何坐标变换( f ，y ) = s 化y ) ，g 为l 维图像亮度变换，匹配就是寻找最佳几何 和亮度变换，使预先定义的某种测度最大或者最小。 m ( 厶，厶) = m a x o r r a i n ( 2 2 ) ( 3 ) 基于器官或轮廓等分布特征方法：可分为基于马赛克规则的算法、基于对称变换的 方法等。它们利用人脸的器官或人脸轮廓的分布特征，基于对称的方法还充分利用了人脸 面部特征分布的对称性。马赛克方法将人脸分为若干低分辨率马赛克子块，利用人脸各子 o 首都师范大学硕士学位论文网络教学中基于学习情绪的情绪教学研究 块之间的相互关系进行人脸检测。最早的基于对称变换的方法是广义对称变换，它检测物 体点对称性，利用人眼心点的强对称性和脸部关键特征的几何分布特性。对广义对称变换 方法改进发展形成了方向对称变换方法和离散对称变换定位方法。 2 统计方法：这种方法中最核心的一类是基于人工神经网络的方法。将人脸区域看作 是一类样本，对大量人脸图像进行学习训练，根据人脸灰度特征构造人脸模式和非人脸模 式分类器，使用分类器判别图像中的某些区域是属于人脸区域还是非人脸区域。其他基于 统计模式的方法还有基于概率模型的方法、基于支持向量机( s u p p o r t v e c t o r m a c h i n e ，s v m ) 的方法、基予特征空间的方法。 基于概率模型的方法：分为利用贝叶斯公式进行似然度求解问题、隐马尔可夫模型 ( h i d d e n m a r k o v m o d e ，h m m ) 。隐马尔可夫模型是用概率统计的方法来描述时变信号的过 程，它将待检测区域的每个子区域的k l 变换系数作为观察向量以获得h m m 的模型参数，根 据待检测区域的检测序列输出概率进行判断。因此，隐马尔可夫过程是一个双重的随机过 程。用在人脸特征定位中，可将正面人脸图像中重要的区域( 头发，前额，眼睛，鼻子， 嘴巴) ，从上到下形成自然顺序，每个区域从左到右分配一个一维连续的隐马尔可夫模型。 支持向量机的方法：首先通过非线性变换将输入空间变换到一个高维空间，然后在这 个高维空间中求得最优线性分类面，求出输入模式与所得的最优线性分类面的距离，实现 对未知样本的分类，这种算法的错误率最小。这是一种通用机器算法，支持向量机求得的分 类函数在形式上类似于神经网络，但是它克服了神经网络方法容易陷入局部最小的缺点。 基于特征空间的方法：利用人脸在某个特定特征空间上的分布规律，分割出人脸图像 中的人脸区域。统计方法与启发式方法不同，不必检验特征是否符合人脸的先验知识。统 计方法多依赖于人脸特征的数学特征，启发式方法多依赖于物理特征和结构特征。对于机 器而言，准确地提取图像的物理特征和结构特征是很难实现的，而提取数学特征却是轻而 易举的。所以，从实现的难易程度和准确度而言，统计方法均优于启发式方法，而且前者的 发展潜力较大。 2 1 2 基于运动图像中的人脸检测 基于运动图像中的人脸检测，一般用多种方法的结合应用。 用差分法和肤色模型相结合的方法。首先将运动前后的两桢图像进行差分运算，得到 差分图像，除去大量的静止背景，保留运动的人体部分；然后根据人脸各部位的肤色特征 差异对差分图像建立肤色特征模型，这些肤色像素连通起来构成可能的人脸区域；最后验 l o 首都师范大学硕士学位论文网络教学中基于学习情绪的情绪教学研究 证分割出来的部分是否为人脸。 j e b a r a 嘲通过肤色检测、对称检测、3 d 变形和特征脸的方法检测到人脸，人脸的3 d 系列数据模型是采用离线方式从数据库中构造出来的。肤色模型通过混合高斯分布来实 现，首先利用对称性检测到眼睛，然后通过启发式搜索检测鼻子和嘴巴，将检测到的特征 和运动特征来跟踪人脸。 还可以利用人脸的近似椭圆的形状，在图像序列中检测并跟踪人脸，该方法简单，精 确度较高，但在图像序列中不能出现和人脸形状相近的物体。由于动态图像利用运动信息 的人脸检测可归为人脸跟踪问题，所以运动图像的单桢与静态图像类似，人脸检测主要针 对的还是静态图像。 2 - 2 面部表情识别的一般方法 表情提取是在人脸被检测到后，采用不同的特征方法进行的面部表情信息的提取，一 般分为四个步骤：表情图像获取，表情图像预处理，表情特征提取和表情分类。用于人脸 表情识别的算法大致分为以下两类： 2 2 1 基于静态图像的面部表情识别 静态面部表情特征的提取大致分为两类：全局人脸特征提取和局部人脸特征提取。 全局人脸特征提取方法主要包括：基于小波分析的方法、基于主成分分析 ( p r i n c i p l e c o m p o n e n t a n a l y s i s ，p c a ) 的方法、支持向量机( s v m ) 的方法、分布模型的( p d m ) 方法、基于混沌调制矢量( c h a o s m o d u l a t e v e c t o r ，c m v ) 的方法等。 局部特征的提取一般根据人脸局部的重要特征的几何位置、大小等，使用图像处理手 段对突出特征如眉毛、眼睛、鼻子、嘴等进行检测，比如局部主分量分析( p c a 方法、g a b o r 小波方法等。 表情识别方法常见的有：个人图像与弹性图像匹配、基于p c a 的线性判别式规则、二 维情感空间p c a 和最小距离分类、对标注的图像矢量进行p c a 和线性判别式、神经网络 学习的方法、三层后向传播的神经网络学习算法。 主成分分析方法根据像素间的二阶相关性，利用代数中的子空间法给图像矩阵降维， 提取主要的特征分量并利用这些主分量代表所要识别的几种特征的人脸表情形成特征识 别空间，利用待识别的区域在此特征空间的投影距离来识别。 首都师范大学硕士学位论文网络教学中基于学习情绪的情绪教学研究 g a b o r 小波变换是基于频域的方法。在人脸表情识别领域，使用比较广泛的是g a b o r 小波滤波器，它是由二维高斯函数衍生出的复数域正弦函数。g a b o r 小波变换有较强的频 率选择性和较好的时空域定位特性，g a b o r 变换的结果能可视的表达人脸特定区域的轮廓 信息。对二维图像j 进行g a b o r 变换可定义如下： ( w ) = j ，( 功少j ( w - x ) d x ( 2 3 ) 其中g a b o r 小波族函数定义如下： 蚧面：学e 呼0 2 ) ( 2 - 4 ) i 为复数运算符，仃= 2 7 r ，k 为每个g a b o r 滤波器的特征频率。 g a b o r 变换对光照、图像尺寸缩放、平移及旋转有一定的不变性，可提高识别系统的 鲁棒性。 2 2 2 基于动态图像序列的面部表情识别 数据源是分段的表情视频序列，要求使用动态的面部表情跟踪技术。首先细化表情分 析，用基于特征的方法对人脸的几个特征点，及周围一块临近区域的信息提取。这是对局 部特征进行提取，抗干扰能力强，并且算法简单，运算速度快，可以实现图片序列的实时 处理。在人工确定了特征点之后，计算特征部件区域的速度场和特征流，根据这些特征点 的运动变化来提取相关脸部表情数据，再采用h m m 和动态高斯混合模型( d g m m ) 分析方 法进行面部表情识别。大多数表情识别的分类是基于f a c s 运动单元( a u s ) ，再按照字典 规则识别面部表情。 1 9 7 8 年，e k m a n 和f d e s e n 提出的面部表情编码系统( f a s c ) ，研究得出6 种基本表情： 高兴、悲伤、惊讶、恐惧、愤怒和厌恶。由于在教学系统中应用，不需要分析很多种表情， 能分析出高兴( 兴趣) 、厌倦( 难过、没有兴趣) 情绪即可。这两种表情的运动特点如下 表3 嘲所示： 表3 本文用的人脸基本表情特征 表情额头、眉毛眼睛 脸的下半部 快乐眉毛稍微下下眼睑下边可能有皱纹，可能唇角向后拉并抬高；嘴可能被张大， 弯鼓起，但并不尽张；鱼尾纹从牙齿可能露出来；一道皱纹从鼻子 外眼角向外扩张一直延伸到嘴角外部；脸颊被抬起 1 2 首都师范大学硕士学位论文 网络教学中基于学习情绪的情绪教学研究 厌倦眉毛压低了，在下眼皮下不出现了横纹，脸上居被抬起来；下唇与上唇紧闭， 并压低了上颊推动其向上，并不紧张推动上唇向上，嘴角下拉，唇轻微 眼睑 凸起；鼻子皱起来；脸颊被抬起 2 3 情感计算 让计算机和机器人具有人类式的情感，是许多人的梦想。长时间来，情感始终是横跨 在人脑和电脑之间无法逾越的鸿沟。我们也认识到，人类的一般认知思维方式是能够充分 地实现数字化的，情感作为人类一种特殊的思维方式同样可以实现数字化。 “情感计算技术是指通过各种传感器获取由人的情感所引起的表情生理变化信号， 利用“情感模型 对这些信号进行识别和分析，从而理解人的情感并做出适当响应。一方 面，随着科学技术( 特别是人工智能技术) 的不断发展，电脑的智力水平已经达到了一个高 度，并且出现了一个相对缓慢的瓶颈阶段，需要寻找一个新的突破口，随着