管理信息化数据仓基于数据仓库的高职教务管理系统的设计与实现

管理信息化数据仓基于数据仓库的高职教务管理系统的设计与实现AbstractTheDesignandImplementationofAnTeachingManagementSystemBasedonDataWarehouseWiththewidespreaduseofthedatabasesystem,thescaleofdataisincreasingrapidly,it’sveryimportantthatwecanextracteffectiveinformationfromalargenumberofplexbusinessdata.Intheviewofthecurrentdevelopmenttrends,thefocusofdataprocessinghasdevelopedfromthetraditionalbusinessprocesstotheprogressiveextensionofthebusinessdataon-lineanalyticalprocessing,andtoobtaininformationforstatisticaldecision-makingsupportsystemwillthereforebeshipped.Datawarehousetechnologyhasbeendevelopedformanyyears,itbeemorematureinrecentyears,therehasbeenthesystemthatbasedondatawarehouse,onlineanalyticalprocessingapplication(OLAP)anddataminingtools,itshortfordecisionsupportsystem(DSS).Datawarehouse,onlineanalyticalprocessinganddataminingtechnology,decision-makingsupportsystemhasplayedastrongsupportingrole,andtheirbinationintoadecisionsupportsystembeesthefocusandemphasisofthestudy.Thispaperreviewsthestructureofthedatawarehouse,dataorganizationandrelatedtechnologydevelopment,Datawarehouse-baseddecisionsupportsystemarchitectureandthedifficultiesofthetheoryareanalyzed,andoneofthedesignmethod,implementationstrategythekeytobuildingthedatawarehouseissues.ThroughsystematicanalysisanddesignmeettheEducationalAdministrationproposedtheactualdatawarehousedesignandimplementation.Successfullyresolvedinthedatadispersion,datavolume,plexenvironmentsbasedonenvironmentalissuesinthedataextraction,conversionanddataobtainedandcleaning,toloaddataintopredefineddatawarehousemodel.Finally,decision-makingneeds,basedonanalysisfromabusinesspointofviewasastartingpoint,thechoiceofSQLServer2000tobuildadatawarehouse,useAnalysisServices2000OLAPapplicationsrealized.Wehavebuiltascientificandrationaleducationaladministrationdatawarehousethroughthisresearchwork,andpromotedthedevelopmentofuniversityinformationanddataontheintegrateduseofcapabilitieseffectively.TherationalityandscientificalnessoftheUniversitymanagementanddecision-makinghavebeenenhanced,Theresearchiswithveryrealsense.Keywords：Datawarehouse,DecisionSupportSystem,TeachingManagement目录目录摘要IABSTRACTII目录I第1章绪论11.1选题背景及意义11.2国内外发展现状21.3论文研究内容及意义41.4论文安排5第2章教务决策支持系统的需求分析62.1项目情况分析62.2项目难点分析8第3章教务决策支持系统的设计103.1系统总体框架设计103.1.1多维数据集创建103.1.2数据采集模块103.1.3系统开发模块103.1.4数据仓库的设计113.2数据仓库方案设计133.2.1自底向上法133.2.2自顶向下法133.2.3混合法133.3数据仓库架构结构14第4章基于数据仓库的教务决策支持系统实施164.1业务模型的分析174.2业务模型与关系模型的映射194.3数据仓库的建设204.3.1维表204.3.2事实表224.4数据的抽取、转换和装载264.5OLAP应用程序的开发26I目录4.5.1分析立方体的建立274.5.2分析立方体的简单使用274.5.3基于Web的OLAP应用程序设计28第5章结论与展望30参考文献32致谢34II第1章绪论第1章绪论1.1选题背景及意义绩管理、学籍管理；具体指导校教学督导组的工作担负教室调度、全校的排课、(室)研究所制定各专业的教学大纲、教学计划、培养方案，编制每学期的开课计划，动进行安排，这些工作即琐碎又繁杂。的信息化和集成化，充分体现了我国高等教育发展的崭新思路。教务管理系统的应用还可以使分散的教务数据得到集中管理，对提高管理水平、较大的辅助作用，并得到了广大教务管理工作人员的肯定和欢迎。1.2国内外发展现状1第1章绪论在不小的差距，这里既有教务管理观念上的原因，也有信息技术上的原因。阶段。阶段一：探索阶段，时间大约从上个世纪的70年代末到八十年代初。在这数据技术的应用，实现单向业务的管理信息系统。阶段二：开创和见效阶段，时间从1986到1992，这一阶段的重要进展表现始起步。在这个时期，局域网和pc技术取得了快速发展，其性能不断提高，而且也趋于成熟。各个高职开始研制自己的单机单项业务的系统，在部分高职中，较好的效果。阶段三：系统集成发展阶段，时间从1993年到现在。在这一阶段，大型数pc些都推动了我国教务管理的发展，并为教务管理的发展奠定了坚实的基础。发展，在改革的大背景下，在吸取和学习国外优秀的教育、教学模式的前提下，育发展的全新的教学模式。2第1章绪论有这样才能追赶上发达国家的教育步伐，逐步缩与他们之间的差距。速提了出来。面对迫切的需求，各个学校都开始了各自的尝试，然而，面对的现实却是，有很大的数据量，不同的系统的数据很难集成，其数据的访问性能也大大降低，开发基于联机分析的辅助决策系统就变得尤为困难。健全的一些地方，有些问题不能准确地解决。主要表现在以下几个方面：OLAP3第1章绪论在的SQLServer度高是一个非常重要的方面。同样，这在数据仓库应用系统，侧重于OLAP应用数据挖掘的表面，还没有进行深入的研究工作。这是系统接下来要研究的重点。的是一个概念，因此，不能把数据仓库想成一些号称属于数据仓库的软件产品。OLTP般都是用于业务处理），这种数据库通常叫做OLAP数据库（一般都是用于业务几个基本需求所产生的：统之间往往管理部门也不同，地域也不同。能不能将这些所有得数据集中起来，于“ETL”过程）数据仓库包括业务系统长期的历史数据。（所谓“ODS”数据）数据仓库包括针对某相业务值（例如学生人数）重新打上标签的业务流水数据。（所谓“事实表、“维度表”）。数据仓库概念兴许还包含报表生成工具（所谓“BI”工具）。这些工具能够达到几年前所谓DSS（决策分析）的效果。1.3论文研究内容及意义器互联分析以及数据挖掘等提供一定意义上的参考。4第1章绪论最终的实现结果推广且应到其他领域、其它行业。课题的现实意义重大。本文的研究内容：（1）教务管理现状的分析与研究。（2）对现有数据库技术进行分析与研究。（3）教务管理系统数据仓库的建立。（4）对数据仓库中的数据进行联机分析。（5）研究和探讨基于数据挖掘知识发现技术的实现。1.4论文安排分为六章：来源和研究现状，介绍了本文的研究背景和相关的研究内容。据的仓库的分析做了较为深入的介绍。段。分开展了有针对性的设计。维数据对整个数据仓库进行系统、科学地设计，最后对系统数据信息进行OLAP分析处理。开发。5第2章教务决策支持系统的需求分析第2章教务决策支持系统的需求分析2.1项目情况分析到学籍管理，成绩管理，考试管理的学生管理，与此同时教师管理、奖惩管理，的缓解。图2.1高职教务管理图2.2现有教务管理系统构架随着教务系统的广泛使用，人们已经不再满足于对复杂事物型数据的简化，统很难解决这一问题，其原因在于以下几点：(1)事务处理与分析处理无论在行文模式上，还是在性能上都存在着较大的差异。将处理性能相差很大的两种应用置于同一环境下运行显然是不合适的。(2)拥有正确的全方位的数据是进行数据分析和决策的先决条件，只有有关言，大多数数据都是较为分散的而且还处于非集成的模式下。(3)对现有数据源中的数据进行转化是动态的数据集成对数据的基本要求，的教务管理系统以事务处理为主，不可能具备动态集成的能力。(4)动态数据分析在空间上和时间的广度上对数据的要求都很高，而对于传满足分析的要求。(5)在一般情况下，动态数据分析在分析以前，需要综合利用细节数据，而6第2章教务决策支持系统的需求分析力。势，使资源得到合理的调配。2.2项目难点分析本项目的研究与实现的难点存在于：(1)教务数据量大：对于一个万人校来说，其一个学期的课程信息以及每年达到相当大的规模。仅仅数据库文件的大小就有10G据挖掘算法和服务器性能都提出了较高的要求。(2)数据不完整：由于目前各个高职的教务管理系统是逐步开发使用的，经时候还是前后不一致的，其完整性规范性一致性比较差。(3)行之有效的使用数据挖掘的方法：是整个系统的核心，包括决定如何产而言，有效使用数据挖掘方法，实现快速分析是本项目研究和实现的困难所在。(4)良好的结果表达形式：具有良好的数据表达方式是我们的最终目的，也的分析结果。我们通过对用户的需求进行仔细的分析过滤，得到有价值的信息，释和表达，从而达到方便决策者的目的。标分为两种：（1）TPC-DTPC属于国际组织，它是由像惠普、IBM微软、Sun和其他跨国公司这样的45个7第2章教务决策支持系统的需求分析个更具体的统一，公平的测试标准。联机事务处理系统，TPC-C是一个衡量主要性能指标的数据库，数据仓库系统，测量其数据库的性能指标TPC-D.主要有三个方面的具体因素：理能力。第三，是描述的性能价格比。TPC—C和TPC—D页，也可以发现TPC—D的测试结果。虽然描述了整个系统的并行处理查询请求特定的能力，但并非所有供应商流量测试可以在多用户的状态可以进行。因此TPC—D力的具体指标qppd和流量指标计算公式计算得出qthd来区分这两者。tpc-d测试总结下载并的流。8第3章教务决策支持系统的设计第3章教务决策支持系统的设计3.1系统总体框架设计图4.1建和管理模块，数据采集模块以及OLAP应用系统开发模块。下面分别介绍各个模块的主要任务：3.1.1多维数据集创建一定的层次聚合、汇总数据仓库中的数据，以构成信息分析的多维视图。最后，通过以一定的存储模式，将得到的多维视图存储在OLAP服务器中。3.1.2数据采集模块该模块的主要任务是根据已确定的决策分析的主题域采集原有各教务管理数据库，将OLTP数据库上与数据仓库主题有关的数据增量更新到中间数据库，使对OLTP数据库的效率影响降到最低。并在数据采集过程中根据将要建立的多维结构特性调整部分数据。3.1.3系统开发模块体的数据浏览；并可以实现对数据的钻取、切片、切块、旋转等多维分析操作，在此基础上提供多种查询方式，查询结果以WEB网页的形式展现，以实现B/S(Browser/Server)形式的联机分析，全面支持决策分析。3.1.4数据仓库的设计业务系统—>ETL(DTS)—>原始数据库—>事实数据库—>OLAP—>前端报表。业务系统就是用户的Oracle数据库了，里面有一些业务数据，此外还有一些二ETL过程就是一堆存储过程(数据的日结)，然后通过DTS任务包调度起来。原始数据库就应该是ODS数据库了，负责把数据原封不动的从业务系统抽取过来(部分也经过转化和清洗)9第3章教务决策支持系统的设计对SQLServer2000着聚合信息的数据，完成KPI合的同时完成数据清洗工作。其实清洗很简单的，就是对NULL的处理，没有对SQLServer2000的性能不是很理想，大于1000万的数据表处理的效果不是很好，只好建了许多了分区表(实际上就是每个月一张数据表，用视图Union起来，这也是微软推荐的方式)。对于业务数据到原始数据的处理，完全采用增量抽取的原则(因为每个表都有了时间点)；对于原始数据到事实数据的处理，则增加了一张log表，记录每次抽取的周期、跨度、与当前时间的差距和状态等等。对于OLAP的增量处理也会更新，需要重新抽取、聚集和OLAP处理，这个时候在处理之前首先删除这段时间的数据，重新抽取、聚集和OLAP处理，当然是靠脚本来完成的。图3.1系统总体构架项目系统中数据处理流程为：（1OLTP数据库中所需的数据导入中间数据库。（2）以中间数据库为数据源，对数据进行抽取、转换、清洗等操作后存入数据仓库。（3OLAP工具将数据仓库的数据多层次分类汇总，从而建立多维数据模型，并存储在OLAP服务器中。（4）最后开发OLAP应用系统将数据灵活地呈现给用户。3.2数据仓库方案设计将对最终能否实现为用户提供有效的决策支持信息的目标产生影响。的过程。根据目前的对数据仓库的研究结果，数据仓库设计方案一般分为：[23]10第3章教务决策支持系统的设计3.2.1自底向上法集市。这些数据集市最终集成为全局的数据仓库。因为在建立部门数据集市时只需要较少的人做决策，解决的是较小的问题，成到全局的数据仓库大为不利。3.2.2自顶向下法其中的数据建立一组相关数据集市。这样，数据从操作型系统中进入预处理层，然后进入数据集市。方法的缺点是：开发时间长，成本高。3.2.3混合法顶向下方法有计划的战略性的特点。一信息来源，同时也是创建数据仓库元数据的来源。用见效快的自底向上法(见图3.2)。因为在本系统中，所涉及的范围是教务部门信息内容不是很杂，资金投入也比较有限。11第3章教务决策支持系统的设计图3.2自底向上法致性[29]基础。3.3数据仓库架构结构>ODS层用户对明细数据的查询要求，可以算作明细数据仓库。>数据仓库层将ODS层经过质量检查、清洗、转换后，形成符合质量要求的公共数据中心。实际上与ODSER>明细数据集市层即前面所说的事实层按主题及KPI据集市。这是OLAP的数据基础。>聚合数据集市层即OLAP(OLAP)引擎的多维分析能力，解决联机分析功能和决策支持要求。>数据展现层按照用户报表要求，提供用户报表界面及预警分发机制。12第4章基于数据仓库的教务决策支持系统实施第4章基于数据仓库的教务决策支持系统实施本章，我们在上一章设计的基础上，根据设计方案对系统进行具体的实施工作，在本系统中涉及的具体实施流程如图4.1：图4.1基于数据仓库的教务决策支持系统实施流程图4.1业务模型的分析持的前期工作。达到建立高效信息化的大学教务动态决策分析系统的目的。通过图5.2这种关系下，我们要在教务信息化的前提下，来实现对信息的采集和处理工作，据库，教学测评数据库（未在图中显示），个人培养计划信息数据库。13第4章基于数据仓库的教务决策支持系统实施图4.2现行课程管理流程图规划学习计划→院系按照学期开课→院系按照学期排课→学生根据课程信息选课→教学过程→教师输入课程成绩→学生为教学测评并查看成绩这个完整的业务流程。4.2业务模型与关系模型的映射据库进行分析，我们可以得出，关于学生这一主题，包括学生的基本信息，如：4.3。图4.3课程管理数据仓库主题边界的划分关系。主题的其他关系。图4.4分别简单表示各个主题间的关系模型。图4.4各个主题间的关系模型由一系列的主体相连接，在这样的设计中，我们可以看出，在数据上存在冗余，细进行阐述。准备。我们接下来的工作是建立数据仓库。14第4章基于数据仓库的教务决策支持系统实施4.3数据仓库的建设4.3.1维表可以建立多个多维空间，在这里，我们以比较基础的几个为例，进行分析说明。（1）维度分析不同主题的不同意见。图4.5显示了维修方案，并详细定义的水平。图4.5课程维层次及详细定义（2）教学单位门，分为学院，系部两个层次。图4.6显示的详细规定的教学单位和尺寸水平。图4.6教学单位维层次及详细定义（3）时间维度2级。图4.7显示的时间维度级别和详细的定义。图4.7时间维层次及详细定义（4）教师维4.8显示了教师的维和详细定义的水平。图4.8教师维层次及详细定义4.3.2事实表值指标和相加。正常情况下，在事实表中包含大量的基本业务信息，显示在课程管理系统，15第4章基于数据仓库的教务决策支持系统实施因素是粒度的数据，因为在OLAP多维数据的大小将决定整体水平的数据分析，数据，高粒度，更详细的数据的数据，事实表中的记录数量越多。其实OLAP分析的维度表的层次结构，决定做一个温和的价值的综合水平的一个事实表数据。事实表包含细节信息。由于将在AnalysisServices中创建包含预聚合汇总的OLAP查询。当AnalysisServices用于提供显示服务时，不必在数据仓库的事实表中存放聚合数据。AnalysisServioces在必要时创建聚合，并将其存储在数据仓库数据库中的表内或内部多维结构中。评，分别为其构建成绩分析模型(见图4.9)(见图4.10)析模型(见图4.11)，测评分析模型(见图4.12)。(1)成绩分析模型：①按时间维的层次来查看②按课程类型来分析不同学年、学期的不同单位的成绩的分布情况③分析结果的分布④教师职称的分析当然结果类型分布⑤特定类型的课程，分布在不同的时间变化的结果分析⑥单位维的结果除以学期课程的不同分布⑦检查教师的课程成绩分布分析从统计分析的课程成绩分布的不合理检查单位的规范性数据。图4.9成绩分析模型（2）开课分析模型：按照课程。院系展开，教师多维分析，各级教学单位开始统计之间。析开始的情况。能力16第4章基于数据仓库的教务决策支持系统实施④统计教师教的课程维。图4.10开课分析模型（3）选修分析模型：修状态分析统计门数②分析选修单元的尺寸，门选修的地位和比较统计随条件的数量。计数的选修课。④在一个学年，学期的课程选择⑤特定类型的选修课状态图4.11选课分析模型（4）评价模型：①已在不同部门设立了一门课程在不同的形势分析和教职工的评价比较②不同单位分析课程评价得分③对同一课程不同学期的课程对形势的分析评价分数④不同职称教师评价分数分析课程⑤分析教学评价得分最高的单位图4.12选课分析模型4.4数据的抽取、转换和装载主要工作就是将原有数据库中的数据转移到我们所建立的数据仓库的事实表和工程中至关重要的一个阶段，同时，将对下一步的分析工作产生重要的影响。SQLServer2000提供的DTS工具来实现这个过程。4.5OLAP应用程序的开发通过以上的工作，我们已经完成了数据仓库的建立，以及其数据转换工作，17第4章基于数据仓库的教务决策支持系统实施于此同时我们还通过SQLServer2000DTS工具，我们还把数据转移到了所建的事立中，利用SQLServer2000自带的AnalysisServices工具进行。4.5.1分析立方体的建立向用户进行展示，这样可以方便用户的理解。这里我们应用现有的工具进行多维立方体的建立，在数据仓库中，我们引入的C-mark、C-arrange、C-evaluate、C-select四个事实表。4.5.2分析立方体的简单使用式来进行展示工作。这样可以便于用户与数据仓库的交互。统中，我们采用微软提供的一个数据透视表服务（PivotTableService服务）客户端组件。通过此组件的客户端可以与OLAP服务器进行高效联机服务，这一组件为OLAP服务器获取用户数据提供了高效的应用程序提供接口。PivotTableService服务的应用程序，最简单，最典型的应用是使用工具的Office套件来访问Excel中，选择的数据，分析数据，创建跨结构的数据集。维数据集的数据透视表进行分析，与“开课事实建立连接。其次，建立连接在的所有多维数据集的措施和维度的顺序列出。Excel们还可以使用Excel18第4章基于数据仓库的教务决策支持系统实施例如：想知道“2005-2006学年，在各门课程的大学教授，副教授开始门数“，其中包括两个方面：一维单位，学院的粒度;二维的课程，与课程教师称号大小;量到的数据区“计数拖放，并设置选择根据降序十大显示医院，这些形式的数据，可以产生互动式图表，以更加生动的形式，表示相关的内容数据。4.5.3基于Web的OLAP应用程序设计在本系统中，我们采用基于Web的OLAP应用程序开发模式，即采用B/S模Internet或Intranet访问到客户端浏览器，而不需要专门的应用程序，应用服务器端应用程序使用其OLAP处的需求，其主要优点是：(1)与平台无关的。用户通过浏览器访问系统，所以用户可以不必关心他们正在使用的平台，在互联网的环境下，服务端集中进行收集，存储，处理信息，这样使得访问更加方便，提高数据的利用率。(2)便于访问。连接到互联网的任何计算机都可以访问内部网络，使数据访问更方便。(3)建立和维护成本低。WebWebOLAP应用程序的开发也得到了大量应用。该体系结构如图4.13所示。图4.13基于Web的OLAP应用体系WEB页面的交互方式将查询通过HTTPRequest发向为服务器；WEB服务器接到请求后，根据用户的输入生成MDX语句，并向OLAP服务器发送查询请求；OLAP服务器在与数据仓库的数据处理后，将查询结果返回WEBWEB服务器将结果进行处理，最后将HTML页面发送至客户端的浏览器中。根据设计，我们对程序的流程做了如下的设计(见图4.14)：程序结果界面如图4.15图4.14程序流程图图标4.1519第5章结论与展望第5章结论与展望物，同时也是适应决策支持系统的需要而产生的。大用户可以通过B/S模式访问数据仓库，达到了高效的信息访问与分析的目的。总结研究的主要工作为：(1)系统体系结构研究：将已有问题与理论相结合，探讨基于数据仓库的教题进行研究。(2)系统实施策略制定：切合实际正确的数据仓库设计方法和实施策略是成际需要的数据仓库设计和实施方案。(3)系统数据采集整理：在数据量大、数据分散、基础环境复杂的环境中抽将数据加载的工作。(4)系统功能设计实现：结合决策需求的目标，以业务分析为基础，选用Microsoft的AnalysisServices2000和SQLServer2000语言编程实现OLAP应用程序的开发。因此本次设计的基于数据仓库的教务管理系统也是一个学习和摸索的过程。法准确的解决。主要有以下几个方面：首先未优化处理数据仓库和OLAP立方体。本次开发主要应用的是本科生层SQLServer20第5章结论与展望是一个很重要的方面。．再次本系统在数据仓库应用方面，着重对OLAP应用进行了研究，对数据挖的规律方面的挖掘和把握工作还远远不够，这是下一阶段系统完善的重点。本人将进一步的对以上方面做深入的研究。21参考文献参考文献[1]彭木亘．数据仓库技术与实现[M]．北京：电子工业出版社，2002．[2]康晓东．基于数据仓库的数据挖掘技术[M]．北京：机械工业出版社，2004．[3]邵峰晶，于忠清．数据挖掘原理与算法[M]．北京：中国水利水电出版社，2003．[4][M]2003．[5]MehmedKantardzic．数据挖掘一概念、模型、方法和算法[M]学出版社，2003．[6]杨晓玲．基于数据仓库的数据分析系统研究[J]．山西电子技术，2009(5)．[7]杨德友．学生综合管理信息系统研究与实现[D]．西南交通大学．2006．[8]曹煜．高职教学质量测评系统的开发及数据仓库与数据挖掘技术在其中的应用[D]．东北大学工程硕士论文2010．[9]M．J．A．Berry，G．Linoff．MasteringDataMining：TheArtandScienceofCustomerRelationshipManagement[M]．NewYork：JohnWily&Sons．2008：53—59．[10]董祥军，李中军．数据仓库与传统数据库的区别及其关键问题[J]．微机与应用．2010(5)：4-5．[11]MarkLevene，GeorgeLoizou．WhyistheSnowflakeSchemaagoodData，WarehouseDesign[J]?InformationSystem．2006(3)：225—240．[12]韩明华，张均良．数据仓库一有效的管理分析和决策工具[J]．微机发展．2008(6)：54—56．[13]ZhenLiu，MinyiGuoAProposalofHighPerformanceDataMiningSystem[M]LectureNotesinComputerScience．2009(8)：145—177．[14]H.Inmon著，王志海等译．数据仓库(原书第3版)[M]社，2003．[15]袁长河，吴永明．基于数据仓库的决策支持系统研究与建设[J]．计算机工程22参考文献与应用．2001．37：l0l-103‘[16]JiaweiHan，MichelineKamber．DataMiningconceptsandtechniques[M]．北京：机械工业出版社，2003．[17]芦洁，刘志镜．挖掘关联规则中对Apriori算法的一个改进[J]．微电子学与计算机．2006．23(2)：l0-12．[18]刘金荣．关联规则的挖掘及其在商业决策中的应用研究[D]．武汉理工大学硕士学位论文.2009[19]柳芳．教育信息资源开发的当务之急[J]．教育研究．1997．5：27-30．[20]曲春锦．Apriori—Tids算法设计及其在教育决策信息挖掘中的应用[D]海海事大学硕士学位论文．[21]刘波．基于数据仓库的决策支持系统的研究与应用[D]．西安建筑科技大学硕士学位论文2008．[22]王克龙．基于数据仓库的决策支持系统研究与实现[D]．南京理工大学硕士学位论文.2009．[32]ChenLD，TourSDataminingmethodsapplicationandtools[J]InformationSystemManagement．2009．17(1)：65-70．[33]L