仓库管理_数据仓库的高职教务管理系统的设计与实现论文

摘摘 要要 基于数据仓库的高职教务管理系统的设计与实现基于数据仓库的高职教务管理系统的设计与实现 随着数据库系统的广泛应用，数据规模与日俱增，从大量复杂的业务数据中更加 有效的分析提取可用的信息就变得尤为重要。从当前的发展趋势上看，数据处理的侧 重点己从传统的业务过程的实现逐步扩展到对业务数据的联机分析处理，并从中得到 用于统计和决策的信息，因此决策支持系统便应运而生。 数据仓库技术经过多年的发展，已变得比较成熟，近些年，出现了基于数据仓库 技术，并运用联机分析处理技术(OLAP)和数据挖掘工具的决策支持系统(DSS)。数据仓 库技术、联机分析处理技术和数据挖掘技术的应用，对决策支持系统起到了有力支撑 作用，他们的结合成为了决策支持系统研究的热点和重点。 本文回顾了数据仓库的结构、数据组织及相关技术的发展，对基于数据仓库的决 策支持系统体系结构的理论与难点进行了分析，并对其中的设计方法、实施策略等数 据仓库建设方面的关键问题进行研究。通过对系统的分析和设计，提出了符合高职教 务管理实际的数据仓库设计和实施方案。成功解决了在数据分散、数据量大、基础环 境复杂的环境中数据抽取的问题，并对得到的数据进行转换和清洗，将数据加载到预 先定义好的数据仓库模型中。最后以决策需求为基础，从业务分析的角度作为切入点， 选用 SQL Server 2000 构建数据仓库，选用 Analysis Services 2000 对 OLAP 应用进 行实现。 通过本课题研究的工作，建设了科学合理的高职教务管理数据仓库，有效地促进 了高职信息化的发展和数据的综合运用能力，使得高职管理和决策的合理性和科学性 得到了增强，具有非常现实的意义。 关键词：关键词：数据仓库；决策支持系统；教务管理 AbstractAbstract The Design and Implementation of An Teaching Management System Based on Data Warehouse With the widespread use of the database system, the scale of data is increasing rapidly, its very important that we can extract effective information from a large number of complex business data. In the view of the current development trends, the focus of data processing has developed from the traditional business process to the progressive extension of the business data on-line analytical processing, and to obtain information for statistical decision-making support system will therefore be shipped. Data warehouse technology has been developed for many years, it become more mature in recent years, there has been the system that based on data warehouse ,online analytical processing application (OLAP) and data mining tools, it short for decision support system (DSS). Data warehouse, online analytical processing and data mining technology, decision- making support system has played a strong supporting role, and their combination into a decision support system becomes the focus and emphasis of the study. This paper reviews the structure of the data warehouse, data organization and related technology development, Data warehouse-based decision support system architecture and the difficulties of the theory are analyzed, and one of the design method, implementation strategy the key to building the data warehouse issues. Through systematic analysis and design meet the Educational Administration proposed the actual data warehouse design and implementation. Successfully resolved in the data dispersion, data volume, complex environments based on environmental issues in the data extraction, conversion and data obtained and cleaning, to load data into predefined data warehouse model. Finally, decision- making needs, based on analysis from a business point of view as a starting point, the choice of SQL Server 2000 to build a data warehouse, use Analysis Services 2000 OLAP applications realized. We have built a scientific and rational educational administration data warehouse through this research work, and promoted the development of university information and data on the integrated use of capabilities effectively. The rationality and scientificalness of the University management and decision-making have been enhanced, The research is with very real sense. Key words： Data warehouse, Decision Support System, Teaching Management 目 录 摘 要 I ABSTRACT .II 目 录 I 第 1 章 绪 论 1 1.1 选题背景及意义.1 1.2 国内外发展现状.2 1.3 论文研究内容及意义.4 1.4 论文安排.5 第 2 章 教务决策支持系统的需求分析 6 2.1 项目情况分析.6 2.2 项目难点分析.8 第 3 章 教务决策支持系统的设计 .10 3.1 系统总体框架设计10 3.1.1 多维数据集创建 10 3.1.2 数据采集模块 10 3.1.3 系统开发模块 10 3.1.4 数据仓库的设计 11 3.2 数据仓库方案设计13 3.2.1 自底向上法 13 3.2.2 自顶向下法 13 3.2.3 混合法 13 3.3 数据仓库架构结构14 第 4 章 基于数据仓库的教务决策支持系统实施 .16 4.1 业务模型的分析17 4.2 业务模型与关系模型的映射19 4.3 数据仓库的建设20 4.3.1 维表 20 4.3.2 事实表 22 4.4 数据的抽取、转换和装载 .26 4.5 OLAP 应用程序的开发.26 4.5.1 分析立方体的建立27 4.5.2 分析立方体的简单使用27 4.5.3 基于 Web 的 OLAP 应用程序设计 .28 第 5 章 结论与展望 30 参考文献 .32 致 谢 .34 第第 1 1 章章 绪绪 论论 1.11.1 选题背景及意义选题背景及意义 教务管理工作作为高等学校教学管理的核心工作，负责学生的学位管理、成绩管 理、学籍管理；具体指导校教学督导组的工作担负教室调度、全校的排课、全校日常 教学的动态管理，组织各院、系、教学部(室)的教学评估；组织各学院、研究所制定 各专业的教学大纲、教学计划、培养方案，编制每学期的开课计划，检查执行情况； 与各个学院和相关部门配合，对学生的社会实践、实习、生产劳动进行安排，这些工 作即琐碎又繁杂。 伴随着我国高等教育的深化改革，国家不断加大教育投资。高等教育管理思路出 现了百花齐放的局面，无论是从学分制的改革，还是自我管理的实行，再到学生网络 选课的实行，我国的教务管理的方方面面都在发生深刻的变化。随着教务管理的不断 深化，出现了许多新的管理办法和手段，比如，实时数据报表，信息管理等，这些方 法和手段的出现，是教务管理由过去的人工处理转变为了高度的信息化和集成化，充 分体现了我国高等教育发展的崭新思路。 于此同时，这些新方法和手段的推出，如果以传统的管理模式来进行，将很难达 到要求，这时就需要我们利用先进的信息化手段，以网络技术和数据库技术为支撑， 充分发挥先进技术的优势，并把这种优势引入到教务管理中。正是这种需求的存在， 使得教务管理的系统的开发工作变得尤为迫切，教务管理系统的开发工作在这一需求 的推动下，取得了较快发展，各高职通过教务管理的使用，使得教务管理工作取得了 长足的进步，办公的效率大大提高，工作也变得更加顺手，教务管理系统的应用还可 以使分散的教务数据得到集中管理，对提高管理水平、减轻管理负担有很大的帮助。 正是由于教务管理的具有的优势和特点，各个学校都加大了对教务管理系统的开发力 度，投入了大量的人力和物力，在较短的时间内，各种教务管理系统便相继开发出来， 并得到广泛使用。这些管理信息系统大多都是通过现代的信息化手段，并使用数据技 术，实现了各种复杂的功能，并针对教务管理这一特定的领域而开发。这些系统对各 个学校的教务管理工作起到了较大的辅助作用，并得到了广大教务管理工作人员的肯 定和欢迎。 1.21.2 国内外发展现状国内外发展现状 国外对高职管理信息系统的研究工作开展得较早，早在上个世纪六七十年代，国 外变开始了这方面的研究，时至今日，已经比较成熟。由于我国信息技术的相对滞后 性，导致我国的教务管理研究工作开展得就比较晚一些，从上个世纪七十年代开始， 各个高职才开始教务管理系统的开发工作，尽管经过了多年的快速发展，但由于各个 方面条件的制约，我国的教务管理系统与发达国家相比，仍然存在不小的差距，这里 既有教务管理观念上的原因，也有信息技术上的原因。 概括起来，我国的教务管理信息系统的研究和开发工作大致经历了以下几个阶段。 阶段一：探索阶段，时间大约从上个世纪的70年代末到八十年代初。在这个阶段 主要以程度各不相同的应用汉字信息处理技术为主要特征；应用某些办公设备；并在 此基础上，对局域网技术进行研究，引进局域网设备，并将之应用到有关的软件和系 统中，这时的应有主要在很小的局部范围，通过各种设计语言和数据技术的应用，实 现单向业务的管理信息系统。 阶段二：开创和见效阶段，时间从1986到1992，这一阶段的重要进展表现在由分 散开发走向统一规划、有计划的实施；系统建设的标准化、规范化工作开始起步。在 这个时期，局域网和pc技术取得了快速发展，其性能不断提高，而且也趋于成熟。各 个高职开始研制自己的单机单项业务的系统，在部分高职中，还建立的专门的信息研 究机构，在某些高职，还建立的自己的局域网，并取得了较好的效果。 阶段三：系统集成发展阶段，时间从1993年到现在。在这一阶段，大型数据库系 统、性能卓越的操作系统投入使用。pc机的性价更高，各种高性能的服务器和工作站 降级问世，互联网技术和网络产品也日新月异，我国的校园网建设也初见成效，其中 具有里程碑意义的是我国教育科研计算机网络的建成并通入使用，我国的教务管理系 统开始逐步走向集成化综合化，这些都对我国教务和科研事业的发展起到了积极地促 进作用。更值得一提的是，我国教育网的建设是由全国十所重点大学共同完成的，这 充分表明我国高职在信息化建设中所取得的成就，这些都推动了我国教务管理的发展， 并为教务管理的发展奠定了坚实的基础。 近些年来，随着我国教育体制的改革的不断深化，我国教育事业取得了长途发展， 在改革的大背景下，在吸取和学习国外优秀的教育、教学模式的前提下，将国内多年 的办学经验与国外的教育模式进行有效结合，最终探索出适合中国教育发展的全新的 教学模式。 伴随国内各个学校办学规模的扩大以及学校招生人数的几何式增加，各学校对于 日常的管理工作中的信息量、工作量也带来严峻考验。极大增加学校管理负担。因此， 对学校如何进行有效的管理得到了教育主管部门的极大重视。根据国内诸多学校的现 有的管理方式，并同时对国际新的思想理念进行融合，如何在校园一体网络的背景下 下建设领先的、与国际接轨的业务管理平台，如何提高和加强学校现代化管理水平， 成为学校最需要解决的首要问题，也是现阶段各个学校继续实现的紧迫任务。本文设 计实现的学校教务管理系统已经从原有的单功能想现在的多功能发展过渡，以及逐步 走向学校管理的信息化、标准化、系统化。只有这样才能追赶上发达国家的教育步伐， 逐步缩与他们之间的差距。 伴随教育机构，尤其是各个学校教务管理系统的飞速进展，一般性的业务系统已 经趋于成熟，在这样的背景下，学校的教务管理工作已经不单单满足于对数据的一般 性的查询和处理，而且随着系统应用，其数据量也逐年增加，面对大量的数据，迫切 需要对这些数据资源进行系统的分析和处理，同时将这些信息进行等价转换，这样才 可以使得我们预测学校未来的发展和改革，为决策提供一定的帮助与服务。也正是基 于以上原因，对现有的网络资源和教务管理系统进行整合，建设高度信息化和网络化， 具有分析和决策能力的系统的新思路和新方法变被迅速提了出来。 面对迫切的需求，各个学校都开始了各自的尝试，然而，面对的现实却是，要对 现有的教务管理信息系统进行改造，以实现辅助分析和决策时相当困难和复杂的。原 因如下：第一，各个学校都存在这各种基于不同应用的专用子系统，比如，排课系统， 教师管理系统，科研管理系统，学籍管理系统等，这些系统往往都是不同时期开发的， 其应用平台和所运行的环境都存在着较大差别，具有源头多样化、缺乏准确性，主题 不突出的特点，而且其数据结构也存在差异，这就给数据的采集和集中管理带来了很 大的麻烦。第二，经过多年的积累，各个系统都有很大的数据量，不同的系统的数据 很难集成，其数据的访问性能也大大降低，系统的开销也很大。第三，以往开发的子 系统主要是面向事务型的，在其基础上开发基于联机分析的辅助决策系统就变得尤为 困难。 随着数据仓库技术的不断发展，近年来逐步成为了研究的热点话题，在商业应用 中得到了广泛的应用，但其应用范围主要集中在商业领域，在其他领域的应用比较少。 因此，该数据仓库的设计为基础的教育管理系统是一个学习和探索的过程。由于本系 统的研究和开发时间有限，加之缺乏相关经验，系统还存在着不健全的一些地方，有 些问题不能准确地解决。主要表现在以下几个方面： 首先，优化数据仓库和OLAP多维数据集。应用程序主要是本科层次的发展，学术 资料，数据量相对较小，优化的考虑是不够的。尤其是前者，当数据不显示查询优化 方案的制定。当涉及到过多的数据量，系统的性能有所下降。其次，现在的SQL Server数据库系统的基本使用方法，以及大量的各类管理信息系统数据库格式和种类， 如何实现异构数据源的操作的发展的不同阶段将是一个自动化程度高是一个非常重要 的方面。同样，这在数据仓库应用系统，侧重于OLAP应用研究，应用数据挖掘研究不 够深入。在系统开发应用程序的数据基本上仍停留在数据挖掘的表面，还没有进行深 入的研究工作。这是系统接下来要研究的重点。 直白一点地讲，数据仓库其实就是一个堆放所有数据的地方，之所以将数据都堆 在一起，就是为了从中间能够找到一些有价值的东西。数据仓库事实上更多的是一个 概念，因此，不能把数据仓库想成一些号称属于数据仓库的软件产品。数据仓库在物 理上就是一个数据库。相对业务的系统数据库叫做OLTP数据库（一般都是用于业务处 理），这种数据库通常叫做OLAP数据库（一般都是用于业务分析）。通过对本课题的 具体研究，笔者认为数据仓库的概念就是主要针对下面几个基本需求所产生的： 学校的业务系统很多，其业务系统的历史数据是不方便查询。不同的业务系统之 间往往管理部门也不同，地域也不同。能不能将这些所有得数据集中起来，再进行筛 选看有没有一些有意义的业务规律。数据仓库数据库通常都是很大，因为学校所有的 数据集中越多，越会有价值的发现。数据仓库的组成比较繁杂，既有一些业务系统的 历史数据，又有财务、人事数据，还要自己建一些数据，例如，教学资源信息、公共 假期数据、学校信息等等。数据仓库的概念包含了从业务生产系统进行采集数据的程 序，这个程序还不能影响到具体的业务系统运行。（属于 “ETL”过程）数据仓库包 括业务系统长期的历史数据。（所谓“ODS”数据）数据仓库包括针对某相业务值（例 如学生人数）重新打上标签的业务流水数据。（所谓“事实表”、“维度表”）。数 据仓库概念兴许还包含报表生成工具（所谓“BI”工具）。这些工具能够达到几年前 所谓DSS（决策分析）的效果。 1.31.3 论文研究内容及意义论文研究内容及意义 本课题研究意义重大，通过对本课题的研究，我们从理论上与实际上提供一套非 常科学的管理方法和系统工具，这二者对各个高职进行全面的数据维护、机器互联分 析以及数据挖掘等提供一定意义上的参考。 对于高职数据仓库的合理、科学的建设，大大提高了高职管理信息以及数据利用 的业务处理水平，增加了系统管理决策的科学性和合理性。最后，还可以将最终的实 现结果推广且应到其他领域、其它行业。课题的现实意义重大。 本文的研究内容： （1）教务管理现状的分析与研究。 （2）对现有数据库技术进行分析与研究。 （3）教务管理系统数据仓库的建立。 （4）对数据仓库中的数据进行联机分析。 （5）研究和探讨基于数据挖掘知识发现技术的实现。 1.41.4 论文安排论文安排 本文的研究工作主要以数据仓库的建立和决策分析系统的开发为主，全文共分为 六章： 第一章：绪论，在本章中，阐述了基于数据仓库的高职教务管理系统的课题来源 和研究现状，介绍了本文的研究背景和相关的研究内容。 第二章：数据仓库技术概述，概述了数据仓库技术的发展历程，概念以及其主要 特征，重点介绍了数据仓库的数据管理和组织，对数据仓库的体系结构和数据的仓库 的分析做了较为深入的介绍。 第三章：基于数据仓库的决策支持系统。在本章的开始，首先分析了现有决策支 持系统各类问题的存在，然后对基于数据仓库的决策支持系统的体系架构进行了深入 探讨和研究。在本章后半部分，阐述了数据仓库的建库策略以及建库手段。 第四章：本文的设计主要基于对教务决策的支持进行了详尽的系统分析，通过有 效分析和讨论，抓住项目至高点，同时基于系统的总体框架的设计，对本部分开展了 有针对性的设计。 第五章：对系统决策支持系统的实施中，首先，对基于数据仓库的业务系统分析 的整个过程进行了详细论述。本章还采以关注的对象为条件和基础，采用多维数据对 整个数据仓库进行系统、科学地设计，最后对系统数据信息进行 OLAP 分析处理。 第六章：本文总结和系统展望，总结了本文的全天工作，展望系统下一步的开发。 第第 2 2 章章 教务决策支持系统的需求分析教务决策支持系统的需求分析 2.12.1 项目情况分析项目情况分析 各高职都在不断地对信息化工作进行有益的探索，以求寻找出一条适合自身发展 的信息化之路。目前，各个高职都能把丰富教育网络资源和交互式和专业性的校园网 资源应用到教学、科研、和管理中来，其中，教务管理作为学校工作的核心，更是走 在了信息化的前列，在实际的应用中，把对学生，教师，管理人员的管理有机结合， 使得教育质量大大提高。经过多年的积累建设，各高职都已建成了符合自己教学实际 的教务管理信息系统，实现了从选、排课管理的课程管理，到学籍管理，成绩管理， 考试管理的学生管理，与此同时教师管理、奖惩管理，信息管理，毕业生审核等也取 得了一定的成效。使得管理部门的压力得到了很大的缓解。 图 2.1 高职教务管理 图 2.2 现有教务管理系统构架 随着教务系统的广泛使用，人们已经不再满足于对复杂事物型数据的简化，更加 迫切希望对数据进行综合分析和决策分析，然而以目前的事务性教务管理系统很难解 决这一问题，其原因在于以下几点： (1)事务处理与分析处理无论在行文模式上，还是在性能上都存在着较大的差异。 将处理性能相差很大的两种应用置于同一环境下运行显然是不合适的。 (2)拥有正确的全方位的数据是进行数据分析和决策的先决条件，只有有关数据收 集得越全面越完整，我们才可能得到的可靠的分析结果。但就目前情况而言，大多数 数据都是较为分散的而且还处于非集成的模式下。 (3) 对现有数据源中的数据进行转化是动态的数据集成对数据的基本要求，只有 达到动态的数据集成才可以把分析结果及时反映给决策者。显而易见，目前的教务管 理系统以事务处理为主，不可能具备动态集成的能力。 (4)动态数据分析在空间上和时间的广度上对数据的要求都很高，而对于传统的事 务处理环境来说，其数据处理只是在一段时间内进行，在这一点上就无法满足分析的 要求。 (5)在一般情况下，动态数据分析在分析以前，需要综合利用细节数据，而目前， 事务处理的教务管理系统，为了提高存储的效率，通常不具备这方面的能力。 由于存在以上的问题，所以本文提出在实施过程中将数据仓库技术应用于教务决 策系统中，以现有的教务管理系统为依托，对其数据进行分析处理，使得高级教务管 理人员对学校的教学情况有比较深入准确的了解，还可以对教学的最新动态进行跟踪 监控。通过这一系统，教务管理人员可以比较以往发展的历史和趋势，使资源得到合 理的调配。 2.22.2 项目难点分析项目难点分析 经过普遍调查，发现目前国内的教务管理系统大多还是处于事务管理的实施应用 阶段，还没有一套完整的决策分析系统供决策者使用，特别是动态的决策分析系统更 是少之又少。通过对国内外的研究应用情况进行分析和比较，我们认为本项目的研究 与实现的难点存在于： (1)教务数据量大：对于一个万人校来说，其一个学期的课程信息以及每年的学生 信息就超过十多万条，而且经过多年的积累，教务管理所涉及的数据量已达到相当大 的规模。仅仅数据库文件的大小就有10G的大小。大量的数据对于数据挖掘算法和服务 器性能都提出了较高的要求。 (2)数据不完整：由于目前各个高职的教务管理系统是逐步开发使用的，经过了多 次的版本升级和更替，不同的系统运行于不同的网络环境，系统的功能和数据的格式 也是千差万别，这就使得积累起来的数据是分散的零散的，而且有些时候还是前后不 一致的，其完整性规范性一致性比较差。 (3)行之有效的使用数据挖掘的方法：是整个系统的核心，包括决定如何产生假设； 如何选择合适的工具；如何发掘知识；如何验证发现的知识。就本系统而言，有效使 用数据挖掘方法，实现快速分析是本项目研究和实现的困难所在。 (4)良好的结果表达形式：具有良好的数据表达方式是我们的最终目的，也是系统 开发是否成功的标准，决策分析的目的就是能够为决策者提供直观，便利的分析结果。 我们通过对用户的需求进行仔细的分析过滤，得到有价值的信息，并通过良好的人机 界面将结果输出，再加之应用生动的表现形式，对结果进行解释和表达，从而达到方 便决策者的目的。 再有就是系统建立后测评指标的建立，当前针对数据仓库平台为主要评价指标分 为两种： （1）TPC-D TPC 属于国际组织，它是由像惠普、IBM 微软、Sun 和其他跨国公司这样的 45 个成 员公司组成。在多个不同类型的应用程序中负责所有的开放式平台，并开发一个更具 体的统一，公平的测试标准。 联机事务处理系统，TPC-C 是一个衡量主要性能指标的数据库，数据仓库系统，测 量其数据库的性能指标 TPC-D.主要有三个方面的具体因素： 第一、系统的描述，第二、查询处理能力，其描述了系统在不同的用户在同一时 间的具体查询时，处理能力即流试验结果。换句话说，代表了整个系统的并行处理能 力。第三，是描述的性能价格比。 理论和现实之间，前面指标数据如果效果较好，而最后一个如果较小的效果会更 好。当然，首先是考虑企业不能满足特定需求。每个供应商的 TPCC 和 TPCD 详细 描述所有码在互联网网页内容的发现。此外，还从微软和其他一些公司的网页，也可 以发现 TPCD 的测试结果。虽然描述了整个系统的并行处理查询请求特定的能力，但 并非所有供应商流量测试可以在多用户的状态可以进行。因此 TPCD 各个供应商有一 个明确的选择：要么直接对应的用户一定的条件下流动试验；无论是在第一个具体的 单用户状态，根据具体的试验，最后用实测的处理能力的具体指标 qppd 和流量指标计 算公式计算得出 qthd 来区分这两者。 各种测试的结果表明许多行业存在的问题，事实上，只要 tpc-d 测试总结下载并 打印出来，所以你可以看到在测试时间的流实际数量。流的数量实际上是代表同时提 交的查询请求所有用户数。如果属于单用户状态下的测试，只找到一个特定的流。 第第 3 3 章章 教务决策支持系统的设计教务决策支持系统的设计 3.13.1 系统总体框架设计系统总体框架设计 在前面的章节中，我们曾介绍过现有的较为典型的数据仓库结构模型，而本系统 是以数据仓库为基础，所以本系统的总体结构与前面章节介绍的结构类似如图4.1所示， 在整个系统中，按其功能分为三个模块：数据仓库和多维数据集创建和管理模块，数 据采集模块以及OLAP应用系统开发模块。下面分别介绍各个模块的主要任务： 3.1.13.1.1 多维数据集创建多维数据集创建 在该模块中，我们选取中间数据库作为数据源，数据仓库以主题创建。根据一定 的层次聚合、汇总数据仓库中的数据，以构成信息分析的多维视图。最后，通过以一 定的存储模式，将得到的多维视图存储在OLAP服务器中。 3.1.23.1.2 数据采集模块数据采集模块 该模块的主要任务是根据已确定的决策分析的主题域采集原有各教务管理系统中 的相关业务数据，经过整理后存入数据仓库。在这里我们建立了一个中间数据库，将 OLTP数据库上与数据仓库主题有关的数据增量更新到中间数据库，使对OLTP数据库的 效率影响降到最低。并在数据采集过程中根据将要建立的多维结构特性调整部分数据。 3.1.33.1.3 系统开发模块系统开发模块 满足管理人员决策分析的需求是构建数据仓库的目的。联机分析处理模块的主要 职责就是要完成对多维信息的显示分析和处理工作，主要包括对多维数据集成维度信 息、层次信息、方体信息、度量信息的显示，从而可以实现对数据立方体的数据浏览； 并可以实现对数据的钻取、切片、切块、旋转等多维分析操作，在此基础上提供多种 查询方式，查询结果以WEB网页的形式展现，以实现B/S(Browser/Server)形式的联机 分析，全面支持决策分析。 3.1.43.1.4 数据仓库的设计数据仓库的设计 业务系统ETL(DTS)原始数据库事实数据库OLAP前端报表。业务系 统就是用户的Oracle数据库了，里面有一些业务数据，此外还有一些二进制话单文件。 ETL过程就是一堆存储过程(维度的抽取、原始数据的抽取、事实数据的日结)，然后通 过DTS任务包调度起来。原始数据库就应该是ODS数据库了，负责把数据原封不动的从 业务系统抽取过来(部分也经过转化和清洗)；出于对SQLServer2000性能的考虑，将每 个业务数据表都分成历史表和当前表，当前表根据数据量的情况决定保留数据周期并 定时转移到历史表中。事实数据库保存着聚合信息的数据，完成KPI指标的计算，以及 维度的抽取工作；同时在进行聚合的同时完成数据清洗工作。其实清洗很简单的，就 是对NULL的处理，没有对主外键的判断，维度的处理仅作更新和插入处理，来保证外 键数据的匹配。不过 SQLServer2000的性能不是很理想，大于1000万的数据表处理的 效果不是很好，只好建了许多了分区表(实际上就是每个月一张数据表，用视图Union 起来，这也是微软推荐的方式)。 对于业务数据到原始数据的处理，完全采用增量抽取的原则(因为每个表都有了时 间点)；对于原始数据到事实数据的处理，则增加了一张log表，记录每次抽取的周期、 跨度、与当前时间的差距和状态等等。对于OLAP的增量处理也是靠一张日志表决定处 理的范围。唯一比较独特的可能是部分业务数据用户可能会更新，需要重新抽取、聚 集和OLAP处理，这个时候在处理之前首先删除这段时间的数据，重新抽取、聚集和 OLAP处理，当然是靠脚本来完成的。 图 3.1 系统总体构架 项目系统中数据处理流程为： （1）数据采集系统根据己确定的决策分析的主题域，首先将 OLTP 数据库中所需 的数据导入中间数据库。 （2）以中间数据库为数据源，对数据进行抽取、转换、清洗等操作后存入数据仓 库。 （3）通过 OLAP 工具将数据仓库的数据多层次分类汇总，从而建立多维数据模型， 并存储在 OLAP 服务器中。 （4）最后开发 OLAP 应用系统将数据灵活地呈现给用户。 3.23.2 数据仓库方案设计数据仓库方案设计 数据仓库就是决策支持系统的基础，是整个决策支持系统的核心，根据系统总体 框架设计，本决策支持系统是基于数据仓库的，设计、开发、实施数据仓库将对最终 能否实现为用户提供有效的决策支持信息的目标产生影响。 数据仓库是一个面向分析型处理的数据环境，这就决定了其设计工作与数据库的 设计有着显著的不同，无论是从数据组织，还是从数据处理与传统数据库都有较大的 区别。数据仓库的构建是一个不断循环、反馈而使系统不断增长与完善的过程。根据 目前的对数据仓库的研究结果，数据仓库设计方案一般分为：23 3.2.13.2.1 自底向上法自底向上法 我们从数据的底层开始，第一步先建立数据集市，第二步，将其中的数据集成到 数据仓库中，将数据从操作型系统进入预处理层，第三部直接进入独立数据集市。这 些数据集市最终集成为全局的数据仓库。 因为在建立部门数据集市时只需要较少的人做决策，解决的是较小的问题，因此 这种方法的优点是：初期投资小，见效快。但是这种方法同样存在缺点，它的主要确 定是缺乏对独立数据集市的构造的控制，对数据集市的集成以及日后集成到全局的数 据仓库大为不利。 3.2.23.2.2 自顶向下法自顶向下法 与自底向上法不同，在自顶向下法中，首先先建立数据仓库，第一步，利用其中 的数据建立一组相关数据集市。这样，数据从操作型系统中进入预处理层，第二步， 再去处理斟酌进行数据的集成和转换，第三步，数据被导入数据仓库中，然后进入数 据集市。 由于全局的数据仓库系统的创建，使得相关数据集市的构建都是以数据仓库中的 信息为基础，从而为数据集市技术的使用提供可靠的方法这种方法，其优点是：这是 收集、建模和实现最终用户决策支持需求的严格而又普遍的方法。这种方法的缺点是： 开发时间长，成本高。 3.2.33.2.3 混合法混合法 针对以上两种方法的优缺点，后来人们提出了一种将两种方法优点基于一身的方 法，混合法。既能保持自底向上方法一样快速实现和立即应用又可以利用自顶向下方 法有计划的战略性的特点。 在混合法中，数据仓库的开发采用迭代的方法。在所建立的数据仓库系统中通常 都包含直接从预处理层获取数据独立的数据集市。在数据仓库中保存并管理统一的信 息模型作为在数据仓库中数据集成的关键。当建立新的独立数据集市或增加一个新的 相关数据集市时，就要更新信息模型。它代表了数据仓库系统的唯一信息来源，同时 也是创建数据仓库元数据的来源。 根据以上阐述和分析的数据仓库构建方法，结合本系统的实际，我们最后采用见 效快的自底向上法(见图3.2)。因为在本系统中，所涉及的范围是教务部门的教务相关 的信息，该部门作为学校一个的业务部门服务，其业务范围不是很大，信息内容不是 很杂，资金投入也比较有限。 图 3.2 自底向上法 由于在系统的开发的过程中，需要考虑到决策支持系统的将来的发展。我们在设 计工作中也意识到：所建立的教务部门的数据集市需要按照统一的校级信息模型来设 计，并且在实施过程中度量应尽量减少重复，并能够充分考虑到整个学校的最终信息 需求，在真正满足用户的原子级需求，使其具有很好的重用性和一致性29。这样才能 更好的保证随着更多学校部门的数据集市建立和投入使用，数据集市的联结成为可能， 而这些数据集市的集合也就成为将来校级的数据仓库的基础。 3.33.3 数据仓库架构结构数据仓库架构结构 ODS层 主要负责采集业务系统并保存一定期限内的相关业务数据。当然也可以满足用户 对明细数据的查询要求，可以算作明细数据仓库。 数据仓库层 将ODS层经过质量检 查、清洗、转换后，形成符合质量要求的公共数据中心。实际上与ODS层差别不大，都 是建立以ER为中心的数据关系，方便以后的数据的聚合。 明细数据集市层即前面所 说的事实层 按主题及KPI指标对数据仓库层数据进行进一步转换，将指标与维度组成数据集市。 这是OLAP的数据基础。 聚合数据集市层即OLAP 在明细数据集市层的基础上，提供基于联机分析处理(OLAP)引擎的多维分析能力， 解决联机分析功能和决策支持要求。 数据展现层 按照用户报表要求，提供用户报表界面及预警分发机制。 第第 4 4 章章 基于数据仓库的教务决策支持系统实施基于数据仓库的教务决策支持系统实施 本章，我们在上一章设计的基础上，根据设计方案对系统进行具体的实施工作， 在本系统中涉及的具体实施流程如图 4.1： 图 4.1 基于数据仓库的教务决策支持系统实施流程图 4.14.1 业务模型的分析业务模型的分析 对教务决策支持系统的了解至关重要，因为它不仅关系到开发工作是否能够满足 用户的实际要求，而且对于充分利用现有资源也起着至关重要的作用，我们只有对现 有的系统有了充分的了解，才能为数据仓库的建设做准备，最终做好决策支持的前期 工作。 对于现有的教务管理系统来说，其业务系统主要包括成绩管理、教师管理、科研 管理、课程管理、学籍管理、奖惩管理、信息查询、毕业生审核、考试管理。其中以 课程管理的应用最为广泛，涉及院系开课、学生选课、培养计划、课程设置、成绩管 理、排课信息、教学测评等方面，往往这些都是学校教学工作的核心工作，涉及的方 面较广，不仅关系到教学的安排，学生的培养，教师的管理，而且还与教育目标的完 成情况息息相关。在学校的教学管理中，课程管理在其中扮演了十分重要的角色，所 以课程管理在教务管理的子系统中一直是比较重要的一个缓解，历来都受到各个学校 的重视，也是整个系统的关键所在，它的发展经历了从早期的数据采集，到电脑辅助 排课，到现在的全自动排课，可以说现在的课程管理系统无论在系统的成熟度上还是 在应用上都已经达到一定的水平，而且经过多年的发展，各个高职已经在实际的应用 中积累了项目应用的宝贵经验，并且在应用过程中还积累了庞大的数据资源，这些数 据资源对于本系统的开发课程管理系统具有相当的价值。鉴于上述原因，我们在系统 实施的开始阶段，决定选取课程管理开发基于数据仓库的管理系统，然后在接下来把 开发深入到其他业务模块，最后达到建立高效信息化的大学教务动态决策分析系统的 目的。 通过图 5.2 我们可以对现行的教务管理体系有了一定了解，我们可以看到在排课 系统中所涉及的主体，首先是上课的学生，教课的老师，以及安排课程的管理人员， 还有就是教务处的教学秘书，这四个主体之间是相互关联，互相影响的，在这种关系 下，我们要在教务信息化的前提下，来实现对信息的采集和处理工作，建立课程基本 数据库，开课、选课、排课数据库，课程成绩数据库，教学方案数据库，教学测评数 据库（未在图中显示），个人培养计划信息数据库。 图 4.2 现行课程管理流程图 通过这八个数据库，实现了“教师登记课程组合生成教学方案学生自我规划 学习计划院系按照学期开课院系按照学期排课学生根据课程信息选课教学过 程教师输入课程成绩学生为教学测评并查看成绩”这个完整的业务流程。 4.24.2 业务模型与关系模型的映射业务模型与关系模型的映射 在本系统中，我们主要根据对象的不同对所涉及的业务模型进行相应的划分，将 排课系统中的业务逻辑以及其所要处理的数据进行有效的整合，这样就可以建立课程 管理数据库的关系映射。对模型中的模型进行定义。首先要进行的工作，是对主体的 划分，依据上一节的划分方法，在本阶段我们同样将主体分为四个对象。划分出相应 的主体后，接下来，根据主题确定主体的内容，通过对现有的课程数据库进行分析， 我们可以得出，关于学生这一主题，包括学生的基本信息，如：学生所在的院系，学 习的专业，还有就是学生的一些自然信息和个人培养计划信息；在课程主题中，主要 包括，教学方案，以及课程的具体信息；在教师主题中，主要包括教师的教课信息 （授课院系，授课班级，时间等），还有教师的一些自然信息，及教师所在院系。确 定后整个业务模型可以进行一个大体划分，详见图 4.3。 图 4.3 课程管理数据仓库主题边界的划分 根据以上的分析，我们可以再次映射出课程管理数据仓库系统的关系模型：在教 师与课程两个主题中，其管理可以定义为开设关系、学生与课程两个主题中可以定义 为选择关系、在教务处的教学秘书与课程之间，他们是一种安排与被安排的关系。主 题的其他关系。图 4.4 分别简单表示各个主题间的关系模型。 图 4.4 各个主题间的关系模型 经过上述的分析设计工作，整个业务模型就变成了各种关系模型，这些关系模型 由一系列的主体相连接，在这样的设计中，我们可以看出，在数据上存在冗余，比如， 在以上的主体中，同时存在课程名，学分，学时，于此同时，在数据库的设计上，还 存在需要进行的详细分类，整合的部分，比如主题间的关系中就存在一对多，一对一， 多对一等关系，这些都需要进行详细的定义，在这里就不再详细进行阐述。 经过以上的处理操作，我主体间的关系就已经确定，这样就为下一步工作做好了 准备。我们接下来的工作是建立数据仓库。 4.34.3 数据仓库的建设数据仓库的建设 4.3.14.3.1 维表维表 维表是多维分析空间在某个角度上的投影，它主要通过对因素属性的记录来描述 事件中包含的诸多因素。在我们所建立的课程管理系统中，涉及多个因素，比如有学 生因素、教师因素、时间因素、课程因素等。我们需要为这些因素建立相应的维表， 为了体现其特征，需要在记录因素的层次或者其属性特征，为建立多维空间做准备， 多维空间的建立是数据仓库建立的关键。在课程管理系统中，我们可以建立多个多维 空间，在这里，我们以比较基础的几个为例，进行分析说明。 （1）维度 计划的详细信息有其自身的课程尺寸（程序级课程类型）。我们不同尺寸的投影 分析不同主题的不同意见。图 4.5 显示了维修方案，并详细定义的水平。 图 4.5 课程维层次及详细定义 （2）教学单位 在课程管理系统的教学单位，是一个重要的维度，维度的不同科目的教学管理部 门，分为学院，系部两个层次。图 4.6 显示的详细规定的教学单位和尺寸水平。 图 4.6 教学单位维层次及详细定义 （3）时间维度 时间维度作为课程管理系统中，最基本的层面，其中包括其总的学年、学期 2 级。 图 4.7 显示的时间维度级别和详细的定义。 图 4.7 时间维层次及详细定义 （4）教师维 我们将来自不同层面的教师的问题进行划分，这里主要是为教师，课程相关的特 性，所以主要考虑的是分部门这两项。图 4.8 显示了教师的维和详细定义的水平。 图 4.8 教师维层次及详细定义 4.3.24.3.2 事实表事实表 不同的是，在事实表中的维表，事实是多维空间的每一维的交集分析，是衡量一 个特定的事件。维度表属性描述维度本身的属性，但实际上是记录在表中所采取措施 的开始，因此，相比与维度表，事实表往往是在数据仓库用户想了解数值指标和相加。 正常情况下，在事实表中包含大量的基本业务信息，显示在课程管理系统，数据 仓库事实表是最大的表。事实数据表包含多维空间的每个维度表或表中的成分（指雪 模型）和大量的关键字相关的指标的分析，我们可以看到，表中的字段的数量直接相 关事实涉及的尺寸成正比关系。此外，事实表的大小是另一个影响因素是粒度的数据， 因为在 OLAP 多维数据的大小将决定整体水平的数据分析，数据，高粒度，更详细的数 据的数据，事实表中的记录数量越多。其实 OLAP 分析的维度表的层次结构，决定做一 个温和的价值的综合水平的一个事实表数据。 事实表包含细节信息。由于将在 Analysis Services 中创建包含预聚合汇总的 OLAP 多维数据集，这样，不论需要什么级别的汇总来回答查询，都可以快速回答查询。 当 Analysis Services 用于提供显示服务时，不必在数据仓库的事实表中存放聚合数 据。Analysis Servioces 在必要时创建聚合，并将其存储在数据仓库数据库中的表内 或内部多维结构中。 在这里，我们选取课程管理系统中的核心事件，包括成绩分析、开课、选课、测 评，分别为其构建成绩分析模型(见图 4.9)，开课分析模型(见图 4.10)，选课分析模 型(见图 4.11)，测评分析模型(见图 4. 12)。 (1)成绩分析模型： 按时间维的层次来查看 按课程类型来分析不同学年、学期的不同单位的成绩的分布情况 分析结果的分布 教师职称的分析当然结果类型分布 特定类型的课程，分布在不同的时间变化的结果分析 单位维的结果除以学期课程的不同分布 检查教师的课程成绩分布分析从统计分析的课程成绩分布的不合理检查单位的 规范性数据。 图 4.9 成绩分析模型 （2）开课分析模型： 启动三维分析程序将开始在所有的信息，类型，标题和其他教师来图加工水平 按照课程。院系展开