毕业答辩-中国地震局前兆网络观测系统中统一数据访问平台的设计与实现.ppt

前兆网络观测系统中统一数据访问平台的设计与实现,指导老师：学生：,2011年6月,目录,课题背景与研究目标系统总体设计系统各模块设计与实现测试与分析总结与展望,课题来源,本课题来源于北京航空航天大学软件开发环境国家重点实验室与中国地震局合作开发的“中国数字地震观测网络前兆数据管理系统”项目（十一五工程）针对项目中数据统一访问平台进行研究,课题背景与研究目标,系统拓扑,底层数据汇聚到区域中心，区域中心汇聚到国家中心，国家中心再分配给学科中心数据采集，数据交换，学科中心各种应用以及其他地方应用等多样化的上层应用,系统分析,统一的数据资源访问方式,异构数据资源的集成方式,分布性自治性异构性,地方区域自治性导致底层数据有差异,复杂的应用模块对平台提出不同需求,课题背景与研究目标,系统目标,建立数据访问中间件，建立应用主题视图和统一访问视图，屏蔽底层数据库细节设计ORM架构，建立统一对象存取标准为上层特定应用模块提供所需数据服务，支持事务性、数据变更记录的数据访问管理系统需要有良好的扩展性和移植性,课题背景与研究目标,目录,课题背景与研究目标系统总体设计系统各部分设计与实现测试与分析总结与展望,系统架构,为上层复杂应用提供统一的数据访问接口提供事务接口和数据变更管理,通过三层视图二级映射屏蔽底层异构数据，对上集成应用所需的数据实现对全局视图的统一管理,调度任务执行在映射管理的基础上进行任务的解析构造相应的数据库命令执行结果集成统一结果集返回,对数据库资源的访问进行控制和管理,系统总体设计,数据访问流程,系统总体设计,应用主题请求,结果返回,接口数据生成,事务结束,查询结果处理,执行数据库操作,开始事务处理,任务解析,任务调度,开始事务处理,目录,课题背景与研究目标系统总体设计系统各部分设计与实现测试与分析总结与展望,映射视图执行引擎应用接口,视图映射架构,Oracle,Mysql,SQLServer,统一访问视图,应用主题视图,本地数据资源映射,映射视图,数据采集主题视图,数据交换主题视图,应用视图映射,在国家中心，区域中心，学科中心全局统一，在全局范围内提供统一的底层资源视图，屏蔽数据库差异。,为不同的上层应用提供对应的应用视图，保证应用和视图松耦合。,将应用视图下的对象和属性映射到统一视图中的虚拟表和字段,将统一访问视图下的虚拟表和字段映射到实际的数据库表和字段,映射规则定义,数据源信息,应用视图映射规则,本地数据资源映射规则,映射视图,目录,课题背景与研究目标系统总体设计系统各部分设计与实现测试与分析总结与展望,映射视图执行引擎应用接口,数据平台访问命令,数据平台访问结果,执行引擎的工作流程,执行引擎,任务调度过程,满足并发访问需求，提高效率,空闲,执行引擎,任务解析,语义验证,SQL生成,对象检查,查看任务对象的内容是否正确,解析任务类型，任务内容，生成SQL任务,检查任务对象是否符合规范,执行引擎,任务解析,执行引擎,通过视图映射转换生成的上层应用对象的元数据字典，包括具体的表、列信息,统一任务对象，包括操作类型，操作对象名，列，条件，返回值等信息,任务对象通过Uniform视图查询转换，构造SQL拼装对象,最终生成的SQL语句。SQL拼装对象实现SQL语句的自动生成,任务执行,执行引擎,目录,课题背景与研究目标系统总体设计系统各部分设计与实现测试与分析总结与展望,映射视图执行引擎应用接口,数据访问接口,应用接口,统一结果集的设计,应用接口,目录,课题背景与研究目标系统总体设计系统各部分设计与实现测试与分析总结与展望,基础操作测试:,测试与分析,测试与分析,异构库访问测试:可以屏蔽底层异构，实现透明访问。事务测试：事务正常回滚并报错，所有操作均未提交。变更记录测试：平台正常记录数据变更。,测试与分析,测试与分析,测试与分析,测试与分析,目录,课题背景与研究目标系统总体设计系统各部分设计与实现测试与分析总结与展望,总结,主要完成工作：设计统一对象模型，并提供了统一应用访问接口设计并实现了数据访问中间件，实现异构数据源透明访问实现了事务性支持、数据变更记录、大对象存储实现本地数据结构与应用的解耦,总结与展望,展望,系统进一步的研究工作：更多数据类型支持执行效率提高配置文件编辑图形化基于应用优先级的多用户任务调度,总结与展望,谢谢！请各位老师指导！,执行引擎,课题背景与研究目标,国内外相关工作,现有数据平台不满足的地方（主要是结合hibernate的比较）：对于hibernate的select在大量数据操作时的效率很低hibernate内部复杂，出现问题不易分析调试和更改对于表结构的变动，hibernate必须重新部署不能抽象出上层新对象系统设计大量输出的处理，而hibernate在批量数据处理时，效率低。对于异构多数据集的支持,课题背景与研究目标,写一下异构数据集成方面的相关工作对比数据仓库和虚拟法基于虚拟法的改进,解决方案,前兆数据平台需求：地方区域自治性导致底层数据有差异(画拓扑图解释)复杂多样应用模块对平台提出了不同的需求（上面画各种模块）采集模块支持事务性交换模块的全局数据管理，支持数据变更订阅设备发展要求数据平台的扩展性降低系统与数据库产品的粘合度，提高系统可扩展性数据处理的高效性要求,通过三层视图两级映射的设计方案实现底层差异的屏蔽,事务机制,通过逻辑主键实现全局数据统一变更管理,系统与底层松耦合提高扩展性,良好的任务调度和数据库连接池的配置管理,模块设计,异常管理在实际数据库操作和映射管理操作中存在的冲突、错误进行检测和跟踪，从而保证系统出错时可以对故障及时跟踪和定位，帮助故障排除人员解决问题。LOB(LargeOBject)对象管理数据采集和交换过程中，可能会产生对观测数据等大规模数据的访问操作，因此数据库表中设计了LOB数据类型。由于其数据类型特殊，为了提高执行效率和安全性需要设计特殊的LOB数据操作机制来对这种类型数据段操作提供性能保障。,执行引擎,研究背景,地震前兆系统的特点：数据的分布性、异构性用户群、上层应用的多样性数据服务的异构性数据量庞大，数据处理的高效性,课题背景与研究目标,系统设计,对数据库产品提供统一接口，通过连接管理、接口格式适配等功能，使数据库产品的变更可以通过修改配置文件的方式进行，使数据库访问与具体产品选择无关。对