江苏省英语听力口语自动化考试介绍课件

江苏省英语听力口语

自动化考试介绍牛津大学出版社(中国)有限公司中国科学院自动化研究所

2008年8月1江苏省英语听力口语

自动化考试介绍牛津大学出版社(中国)有限目录考试概要介绍考试的模式和管理计算机自动阅卷原理评估报告及教学反馈2目录考试概要介绍21.1主要内容自动阅卷平台人机对话听力口语考务平台考生语音数据考务和考场编排系统题库管理系统考生成绩及个性化诊断报告这是一场英语听力口语合并的全自动化考试出题自动化，以海量题库为基础；考试自动化，采取人机对话方式；判卷自动化，全部阅卷由计算机完成；结果反馈，自动化生成评估报告。31.1主要内容自动阅卷平台人机对话听力口语考生语音数据考务1.2本项目四大特点人机对话的测试系统，将听力和口语合二为一，省时省力、减少事故；现状：100万考生口语考试，3天组织，工作量很大；人工：1老师/天/100份卷，总量100万考生；机器：1个市，2台服务器/3天判卷；大幅度减少考试可能出现的差错和事故率。海量题库、人机对话，同一考场不同考卷；题库的海量性从考试机制的角度有效阻止了考试作弊现象；通过技术手段有效抑制猜题、押题等弊端；从长远建设角度，经过3到5年努力建立起百万级题库，并且年更新10%。41.2本项目四大特点人机对话的测试系统，将听力和口语合二为1.2本项目四大特点计算机完成全部英语听力和口语考试及评卷公正性：人工阅卷方式受制于教师体力和精力状况，很难保证成绩的客观性、准确性和公平性，不同老师之间可能出现较大差异；计算机判卷不仅克服了人工判卷中这些很难避免的不利因素，极大提高阅卷和评估的客观性和公正性，而且为个性化评估和提供改进建议奠定了坚实的基础。有效评估，反馈教学六级评估报告，从省、市、区县，到学校、班级和个人；中国第一次以量化方式提供考试评估反馈；这样的评估报告对英语的教与学提供了真正的可信、可视化和可操作化的帮助。51.2本项目四大特点计算机完成全部英语听力和口语考试及评卷目录考试概要介绍考试的模式和管理计算机自动阅卷原理评估报告及教学反馈6目录考试概要介绍62.1考试自动化系统架构面向考试全程，全面、灵活、可定制的方案考前：分级考务管理/考场编排系统、考试服务网站考中：测试系统考后：自动阅卷系统、报告生成系统72.1考试自动化系统架构面向考试全程，全面、灵活、可定制的2.2考务管理/考场编排系统具有省、市、区县三级管理模式；可对考生考籍进行管理；提供多种考场编排方式，生成与考试相关的各种表格与文件，并能灵活打印82.2考务管理/考场编排系统具有省、市、区县三级管理模式；2.3考试的组织与管理候考室考场1考生提前进入候考室考场2每考场监考员1名每考场系统操作员1名每考场带队教师1名每考点考生培训员1名每考点主考1名注：一个考点可包括一个或多个考场(计算机教室)92.3考试的组织与管理候考室考场1考生提前考场2每考场每考2.4考试系统监考机局域网考试机听音、录音听音、录音听音、录音考生在监考机的控制下，通过考试机实现听题目、录回答的过程。注：以现有计算机教室为考场，每考场设有30-40台考试机102.4考试系统监考机局域网考试机听音、录音听音、录音听音、2.4考试系统-学生人机交互学生端软件操作简单易用，包括考号输入、设备测试、答题等，在语音提示下完成考试过程，出现误操作的几率很小112.4考试系统-学生人机交互学生端软件操作简单易用，包括考2.4考试系统-考号输入122.4考试系统-考号输入122.4考试系统-设备测试耳麦设备由省政府统一采购132.4考试系统-设备测试耳麦设备由省政府统一采购132.4考试系统-设备测试----录音样例声音太小声音太大（饱和）设备测试时检查录音设备，确保录音正常，是自动阅卷的基础。声音合适142.4考试系统-设备测试----录音样例声音太小声音太大（2.4考试系统-考试过程考生面对计算机，人机对话152.4考试系统-考试过程考生面对计算机，152.4考试系统-教师人机交互教师端软件全程监控，学生端如有任何异常情况(设备测试、进度、录音异常等)，及时提示监考老师帮助学生解决问题162.4考试系统-教师人机交互教师端软件全程监控，学生端如有2.4考试系统-测试现场172.4考试系统-测试现场172.4考试系统-其它保障措施每个考场预设10%的备用考试设备，以备设备故障的考生当场或下场重考；考前制定应急处理方案和故障解决手册，做好对考生设备异常、迟到缺考、网络故障、数据传输等个别情况的处理准备。考试机故障解决手册监考机故障解决手册182.4考试系统-其它保障措施182.5自动阅卷系统评分标准人机对话考试系统考生答案自动阅卷服务器(省政府统一采购)局域网阅卷进度监控系统管理注：以一市10万考生计算，阅卷中心由两台阅卷服务器构成，3天可完成阅卷。192.5自动阅卷系统评分标准人机对话考生答案自动阅卷服务器局2.5自动阅卷系统导入考生的答卷文件；准确完成自动阅卷和评分；202.5自动阅卷系统导入考生的答卷文件；准确完成自动阅卷和评目录考试概要介绍考试的模式和管理计算机自动阅卷原理评估报告及教学反馈21目录考试概要介绍213.1自动阅卷系统技术结构223.1自动阅卷系统技术结构223.2语音识别用于口语评估的特殊性限定条件下的语音识别专门麦克风，一定题型；有别于不受任何限制的自然口语识别；口语评估基于标准语音库，而语音识别基于大量非标准库中科院自动化所领先的语音识别技术美国虽然还没有把语音技术应用于他们本国的学生评估，但是把这种技术应用到美国以外学生的英语考试已经很多年了。233.2语音识别用于口语评估的特殊性限定条件下的语音识别233.3阅卷特征提取完整性朗读型题目，能否顺利读完全文，以及顺利读完的比例；话题简述型题目，能否完整表达题目的语意，清楚表达的语意比例；完整性特征是评分的起评基本特征；准确性单词级评估，主要包括单词发音的元音、辅音、重音准确性流利性句子级评估，主要包括语速、插入（重复、修正）、连贯（连读、失去爆破、同化）等韵律性句子级评估，主要包括意群停顿（节奏）、重读弱读、语气语调243.3阅卷特征提取完整性243.4自动阅卷过程说明Makingteawithteabagsisfasterandeasierthanmakingitwithleavesinteapots阅卷系统及其输入：系统输入：考生朗读文本及语音253.4自动阅卷过程说明Makingteawitht3.4自动阅卷过程说明综合各种特征给出评分完整性特征：根据漏读情况计算完整性准确性特征：单词发音、重音准确性流利性特征：语速、插入、连读、失去爆破、同化韵律性特征：意群停顿、重读弱读、语气语调综合决策模块：综合上述特征给出最后评分综合决策完整性特征准确性特征流利性特征韵律性特征评分结果门限设置263.4自动阅卷过程说明综合各种特征给出评分综合决策完整性特目录考试概要介绍考试的模式和管理计算机自动阅卷原理评估报告及教学反馈27目录考试概要介绍274.1省、市、区(县)、校、班级、个人六级评估报告评估报告的主要内容包括：考试总分统计：分别按照个人、班级、学校、区(县)、市、省进行分析和比较，并可自定义比较单位，如平均分、最高分、单项分等；主要错误的寻找和指正：给出发音、考点、语速、重音等方面的分档评价和主要错误；改进建议：针对主要错误给出练习改善的建议。284.1省、市、区(县)、校、班级、个人六级评估报告评估报告4.2.1考试总分统计34分及以上（A档）34-28分（B档）28-24分（C档）24-20分（D档）20分下（E档）3341(80.3%)511(12.3%)140(3.4%)82(2.0%)86(2.1%)294.2.1考试总分统计34分及以上34-28分28-24分4.2.2单项分数统计304.2.2单项分数统计30->4.2.2发音错误比率图31->4.2.2发音错误比率图314.2.2语速分布图324.2.2语速分布图324.2.3各大题得分情况分析朗读短文回答问题平均分：8.79分(满分10分)平均分：8.74(满分10分)听短文或对话回答问题复述句子平均分：9.02分(满分10分)平均分：9.44分(满分10分)334.2.3各大题得分情况分析朗读短文回答问题平均分：8.74.2.4依据考点对各题得分情况分析依据本次考试所涉及的功能意念点，对回答问题部分的成绩进行归纳依据本次考试所涉及的交谈内容，对听短文或对话回答问题部分成绩进行归纳依据本次考试所复述句子的长度，对复述句子部分成绩进行归纳344.2.4依据考点对各题得分情况分析依据本次考试所涉及的功谢谢！35谢谢！35谢谢谢谢江苏省英语听力口语

自动化考试介绍牛津大学出版社(中国)有限公司中国科学院自动化研究所

2008年8月37江苏省英语听力口语

自动化考试介绍牛津大学出版社(中国)有限目录考试概要介绍考试的模式和管理计算机自动阅卷原理评估报告及教学反馈38目录考试概要介绍21.1主要内容自动阅卷平台人机对话听力口语考务平台考生语音数据考务和考场编排系统题库管理系统考生成绩及个性化诊断报告这是一场英语听力口语合并的全自动化考试出题自动化，以海量题库为基础；考试自动化，采取人机对话方式；判卷自动化，全部阅卷由计算机完成；结果反馈，自动化生成评估报告。391.1主要内容自动阅卷平台人机对话听力口语考生语音数据考务1.2本项目四大特点人机对话的测试系统，将听力和口语合二为一，省时省力、减少事故；现状：100万考生口语考试，3天组织，工作量很大；人工：1老师/天/100份卷，总量100万考生；机器：1个市，2台服务器/3天判卷；大幅度减少考试可能出现的差错和事故率。海量题库、人机对话，同一考场不同考卷；题库的海量性从考试机制的角度有效阻止了考试作弊现象；通过技术手段有效抑制猜题、押题等弊端；从长远建设角度，经过3到5年努力建立起百万级题库，并且年更新10%。401.2本项目四大特点人机对话的测试系统，将听力和口语合二为1.2本项目四大特点计算机完成全部英语听力和口语考试及评卷公正性：人工阅卷方式受制于教师体力和精力状况，很难保证成绩的客观性、准确性和公平性，不同老师之间可能出现较大差异；计算机判卷不仅克服了人工判卷中这些很难避免的不利因素，极大提高阅卷和评估的客观性和公正性，而且为个性化评估和提供改进建议奠定了坚实的基础。有效评估，反馈教学六级评估报告，从省、市、区县，到学校、班级和个人；中国第一次以量化方式提供考试评估反馈；这样的评估报告对英语的教与学提供了真正的可信、可视化和可操作化的帮助。411.2本项目四大特点计算机完成全部英语听力和口语考试及评卷目录考试概要介绍考试的模式和管理计算机自动阅卷原理评估报告及教学反馈42目录考试概要介绍62.1考试自动化系统架构面向考试全程，全面、灵活、可定制的方案考前：分级考务管理/考场编排系统、考试服务网站考中：测试系统考后：自动阅卷系统、报告生成系统432.1考试自动化系统架构面向考试全程，全面、灵活、可定制的2.2考务管理/考场编排系统具有省、市、区县三级管理模式；可对考生考籍进行管理；提供多种考场编排方式，生成与考试相关的各种表格与文件，并能灵活打印442.2考务管理/考场编排系统具有省、市、区县三级管理模式；2.3考试的组织与管理候考室考场1考生提前进入候考室考场2每考场监考员1名每考场系统操作员1名每考场带队教师1名每考点考生培训员1名每考点主考1名注：一个考点可包括一个或多个考场(计算机教室)452.3考试的组织与管理候考室考场1考生提前考场2每考场每考2.4考试系统监考机局域网考试机听音、录音听音、录音听音、录音考生在监考机的控制下，通过考试机实现听题目、录回答的过程。注：以现有计算机教室为考场，每考场设有30-40台考试机462.4考试系统监考机局域网考试机听音、录音听音、录音听音、2.4考试系统-学生人机交互学生端软件操作简单易用，包括考号输入、设备测试、答题等，在语音提示下完成考试过程，出现误操作的几率很小472.4考试系统-学生人机交互学生端软件操作简单易用，包括考2.4考试系统-考号输入482.4考试系统-考号输入122.4考试系统-设备测试耳麦设备由省政府统一采购492.4考试系统-设备测试耳麦设备由省政府统一采购132.4考试系统-设备测试----录音样例声音太小声音太大（饱和）设备测试时检查录音设备，确保录音正常，是自动阅卷的基础。声音合适502.4考试系统-设备测试----录音样例声音太小声音太大（2.4考试系统-考试过程考生面对计算机，人机对话512.4考试系统-考试过程考生面对计算机，152.4考试系统-教师人机交互教师端软件全程监控，学生端如有任何异常情况(设备测试、进度、录音异常等)，及时提示监考老师帮助学生解决问题522.4考试系统-教师人机交互教师端软件全程监控，学生端如有2.4考试系统-测试现场532.4考试系统-测试现场172.4考试系统-其它保障措施每个考场预设10%的备用考试设备，以备设备故障的考生当场或下场重考；考前制定应急处理方案和故障解决手册，做好对考生设备异常、迟到缺考、网络故障、数据传输等个别情况的处理准备。考试机故障解决手册监考机故障解决手册542.4考试系统-其它保障措施182.5自动阅卷系统评分标准人机对话考试系统考生答案自动阅卷服务器(省政府统一采购)局域网阅卷进度监控系统管理注：以一市10万考生计算，阅卷中心由两台阅卷服务器构成，3天可完成阅卷。552.5自动阅卷系统评分标准人机对话考生答案自动阅卷服务器局2.5自动阅卷系统导入考生的答卷文件；准确完成自动阅卷和评分；562.5自动阅卷系统导入考生的答卷文件；准确完成自动阅卷和评目录考试概要介绍考试的模式和管理计算机自动阅卷原理评估报告及教学反馈57目录考试概要介绍213.1自动阅卷系统技术结构583.1自动阅卷系统技术结构223.2语音识别用于口语评估的特殊性限定条件下的语音识别专门麦克风，一定题型；有别于不受任何限制的自然口语识别；口语评估基于标准语音库，而语音识别基于大量非标准库中科院自动化所领先的语音识别技术美国虽然还没有把语音技术应用于他们本国的学生评估，但是把这种技术应用到美国以外学生的英语考试已经很多年了。593.2语音识别用于口语评估的特殊性限定条件下的语音识别233.3阅卷特征提取完整性朗读型题目，能否顺利读完全文，以及顺利读完的比例；话题简述型题目，能否完整表达题目的语意，清楚表达的语意比例；完整性特征是评分的起评基本特征；准确性单词级评估，主要包括单词发音的元音、辅音、重音准确性流利性句子级评估，主要包括语速、插入（重复、修正）、连贯（连读、失去爆破、同化）等韵律性句子级评估，主要包括意群停顿（节奏）、重读弱读、语气语调603.3阅卷特征提取完整性243.4自动阅卷过程说明Makingteawithteabagsisfasterandeasierthanmakingitwithleavesinteapots阅卷系统及其输入：系统输入：考生朗读文本及语音613.4自动阅卷过程说明Makingteawitht3.4自动阅卷过程说明综合各种特征给出评分完整性特征：根据漏读情况计算完整性准确性特征：单词发音、重音准确性流利性特征：语速、插入、连读、失去爆破、同化韵律性特征：意群停顿、重读弱读、语气语调综合决策模块：综合上述特征给出最后评分综合决策完整性特征准确性特征流利性特征韵律性特征评分结果门限设置623.4自动阅卷过程说明综合各种特征给出评分综合决策完整性特目录考试概要介绍考试的模式和管理计算机自动阅卷原理评估报告