校园数据共享平台的软件工程设计与实现

1、校园数据共享平台的软件工程设计与实现本人认为校园数据共享平台的建立，在管理层面上确定了全校的数据标 准，使用统一规范的标准去建立核心业务系统，逐步以服务代替了管理; 在数据层面上实现了数据的共享，消除了业务系统间的数据孤岛， 逐步迭代掉了老化和功能低下的业务系统；在业务层面上改变了原本数 据导入导出的数据维护模式，打破了业务系统之间的壁垒，逐步淡化了 业务部门边界。第1章绪论数字化校园建设背景随着计算机技术的日益普及，各行各业的信息化开展突飞猛进。其中， 教育行业作为社会的重要组成局部，教育信息化与企业信息化、政府信 息化一起组成了国家信息化开展的三个核心。并且，教育作为教书育人 的重要行业，

2、应当在教与学的过程中更好地运用先进技术，发挥前沿优 势。因此，教育信息化应当是信息化开展的重中之重，对于教育行业而 言，引入信息化手段，可以更加有效地促进教育的开展，有效的提高学 校的管理手段。早在20世纪60年代，国外信息化的理念便开始产生，主要以日本学 者梅田忠夫在信息产业论中率先提出信息化概念为标志，”教 育信息化的概念直到在20世纪90年代才开始被关注。在1990年, 导出的数据维护模式，打破了业务系统之间的壁垒，逐步淡化了业务部 门边界。美国的克莱蒙特大学教授凯尼斯格林发起的“信息化校园计划被普遍 认为是高校信息化的第一步，也是数字化校园理念的最早雏形。 直到1998年美国前总统戈尔

3、发表关于数字地球：二十一世纪认识地 球的方式，演讲之后，相继出现数字城市、数字校园的思想和 概念。因此，从广义上讲，教育信息化的开展略早于数字化校园的建设， 并且范围更广，涵盖了数字化校园建设的相关内容。教育信息化的开展主要经历了基础物理线路搭建、业务系统集成、信息 的整合与服务的集成三个阶段，对于基础物理线路的建设，由于长期基 础工作的积累，一边进行校园建设一边修正过去的网络建设方案，使得 基础网络建设日渐成熟，逐步转为向软件服务的技术支撑。然而，对于 业务系统的部署，那么大多是由各个业务部门主导，自主建立的分散的、 标准不一的系统。这些业务系统上线时间不一、标准规范不同，厂家对 系统的维护

4、程度也不同，因此，各个业务系统皆存在”各自为政情况。国内外研究现状现阶段国内外各大高校的信息化进程大局部都集中在数字化校园建设 阶段，即信息的整合与服务的集成阶段。作为全球信息化开展较为 领先的美国，更加注重数字化校园建设的效率，2000年前后便成立了 ITS信息技术服务部门，针对校级的信息化建设统一规划和部署实施，对业务系统使用统一标准的数据库作为底层数据支撑，同时配置统一的 中间件、标准的数据和系统开发接口，从而为校园内数据的整合和数据 的标准规范提供技术支撑。同时期的英国、日本等兴旺国家的高校与美 国教育信息化开展水平相当，逐步探讨和研究出新的教育信息化的格局。 统一规划、整合资源后的数

5、据平台与统一身份认证平台一起服务于教学、 考试、在线答疑等，真正做到以师生需求为导向、应用为核心、数据流 转为驱动的应用场景。我国高校的教育信息化开展，整体起步稍晚于美英日等兴旺国家。随着 2002年5月高校数字化校园建设工作研讨会在中山大学的召开，标志 着我国高校教育信息化开展进入了一个崭新阶段一一数字化校园建设 阶段，逐渐从硬件网络设施建设转变到以应用为核心的资源整合上来。 这一阶段主要面对的是基于现有业务系统的数据的整合和应用的集成， 需要将零散的业务系统从数据层面逐渐整合到一起，结合现在较为流行 的大数据及云存储，把数据统一抽取到数据中心，并进行梳理和整合， 去除数据中的冗余，实现数据

6、的共享、数据仓库及数据分析等功能，逐 步实现教育信息化到数字化校园的过渡。作为国内高校的翘楚，清华大 学早在2007年便率先提出了新一代数字校园建设和开展的规划，提出 了数字化校园建设要以用户服务为核心、以信息资源整合为目标、实现 跨部门数据流转的新理念，强调了应用环境的关联性和数据环境的集成 性。在此基础上，清华大学用了近一年的时间，对数字资源进行了自顶 向下的整体设计，将业务系统进行了数据的整合和汇总，从而建立起现 代化的教学支撑平台。第2章校园数据共享平台需求分析数据共享平台概述数据共享平台工程背景在校内业务系统的逻辑架构之上建立数据共享平台，其中涉及到跨不同 业务系统间异构数据库的数据

7、整合和汇总。平台遵循标准的数据规范, 对从各个系统中抽取来的数据进行数据转换。同时，根据建立的数据标 准，在平台内部建立起与各业务系统相对应的数据子集，实现数据的汇 总。在数据共享平台中，对汇总后的数据进行统一的权限管理和数据字 段的梳理。将数据共享平台与目标数据库关联，配置相关的权限，进行 数据的抽取和推送操作。对于数据共享平台而言，主要用来解决数据 孤岛的问题，将不同业务系统的数据打通，以数据流的形式，实现相 关数据的转换、汇总和流转功能，平台本身并不具备生产数据的能力。统一数据标准，建立数据规范通过统一的数据标准和数据交换规范建立起一套符合ESB的数据共享 和交换机制，根据国家标准形成科

8、学的数据规范，保证信息在采集、转 换、传输的过程中有统一的、规范的分类和描述，能够使数据资源更加 有序流通，并且能够最大程度上发挥出信息资源的综合效益。1.确定组织机构及编码规那么: 通过召开校级主要领导会议，确定校内的组织机构、部门名称以及校区 之间组织机构的相互关系。确定校内组织的编码方式，明确教职工工号 的编码规那么，确保编码规那么的一致性。考虑到编码规那么的可扩展性,要有足够的预留码供今后使用，应对实时 更新的需求。对于已部署上线、陈旧的业务系统，其中己有的数据将保持原有编码规 那么 不变，通过系统内部对组织架构的调整，使其与校级组织机构匹 配。对于新建的业务系统，统一按照校内组织机构

9、代码的规范来创立组 织机构，划分部门层级，保证组织机构的一致性。2.2可行性研究目前的数据共享平台的建设思路，并不是使用新的平台替代已有系统, 而是对现有系统的整合，使用一套身份信息验证登陆，在同一界面显示 不同系统的信息，建立单个系统数据库之间的关联。在软件即服务的理念下，校级的信息化建设，应当改变以往业务系统只 为了本部门日常工作和数据管理而开发部署的思想，将服务对象由业务 部门转变成了全校师生。工程的可行性具体如下:L技术可行性:(1 )基于面向服务架构的设计理念，采用组件化开发的框架，基于J2EE 标准，建立分布式的集成平台。通过标准的接口对接，将异构的数据库 集成到统一的平台下。(2

10、 )基于WEB2.0技术，建立统一的w e b界面，方便查看数据的汇总和相关操作，将数据以元数据和数据集的方式展现出来。(3 )基于EAI (企业应用集成)，使用w e b服务标准、中间件及其 接口实现消息的传递，通过构建中间表或视图的方式同步数据库中的相 关字段实现数据的整合。(4 )基于ETL的理念,实现数据的抽取、装载、转换等操作。使用ODI,触发器及定时器等工具对数据库进行操作，实现数据的流转。图2-1数字化校园工程中统一身份认证、信息门户、数据共享三大平台用例图第3章校园数据共享平台架构设计21 TOC o 1-5 h z 数据共享平台设计目标和原那么21数据共享平台架构设计21第4

11、章校园数据共享平台详细设计27数据共享平台技术概况27数据共享平台的表结构及其设计34第5章校园数据共享平台实现与测试55数据共享平台总体实现55数据共享平台的实现过程55数据共享平台的实现结果68第4章校园数据共享平台详细设计4.1数据共享平台技术概况按照已经制定的数据标准建立数据共享平台，保证校级业务系统的数据 整合和共享。通过数据共享平台，对数据进行抽取、转换、清洗和加载到数据库的操作。这种数据之间的流转，可分为实时和非实时的数据交换服务。这里的ETL操作，主要是针对结构化数据和关系型数据库。1.结构化数据库和关系型数据库数据在结构和存储方面分为结构化数据、半结构化数据和非结构化数据 三

12、类。其中结构化数据指的是使用传统的二维表的逻辑架构和存储模式 下有固定结构的数据；半结构化数据是结构化数据的一种表现形式，可 以使用可扩展标记语言和轻量级的数据交换格式这两种标记语言来表 示和存储数据；非结构化数据是文档、图片、音/视频等不能使用确定 结构存储的数据，通常将其整体转换成二进制的数据格式进行存储。在保证原有数据库完整性和独立性的情况下，可以使用中间件技术实现 数据的透明访问、集中和共享。中间件是在操作系统和应用程序之间部 署的软件或服务，针对分布式系统下不同的业务系统间相互协作，可以 实现基于不同操作系统间的资源整合和数据共享。中间件的加入，使不 同的业务系统和异构的数据库相对于

13、数据共享和交换变得统一和规那么。第6章结论通过近三年的调研、部署、实施和完善，直到2017年，校园数据共享平台逐步建立并使用起来。初步实现了以下功能：.数据共享平台的建立，实现资源共享和数据同步，打破了传统业务系 统之间的壁垒，通过数据共享平台将各个系统的数据连接起来，统一管 理各系统 的历史数据，并通过数据流的方式将业务系统之间的数据 流转起来；.通过将业务系统中的局部数据展示出来，促进了各部门对各自业务的 梳理和对各自系统的自检自查，校验了学校业务系统数据的及时性、准 确性和正确性；.这是数字化校园建设的初步尝试，是软件即服务理念下的系统整合。 整个工程的建设，初步探索了信息化服务的新道路，改变了以往将服务 对象对准业务部门的思想，让广大师生参与进来，共统完成数字化校园 的建设。同时，这也可以为高校教育信息化的可持续建设和开展奠定基 础。.通过校园共享数据平台的建