计算机应用论文基于OLAP的实有人口数据仓库系统的设计与实现

1、基于olap的实有人口数据仓库系统的设计与实现 基于olap的实有人口数据仓库系统的设计与实现 the design and implement of actual population data warehouse based on olap【中文摘要】 随着数据库技术的发展和数据库规模的日益扩大,人们希望从已有的数据库中提炼出有用的信息用于决策。数据仓库和联机分析处理技术(online analyticalprocessing,olap)就是为了适应这种需要而逐步发展起来的,是近年来商业数据处理领域中的两个重大的新技术。数据仓库是一种数据管理技术,侧重于管理面向主题的综合数据,为决策分析提

2、供更有效的数据支持;olap技术是一种多维数据分析技术,侧重于数据仓库中的数据分析,为管理者决策提供信息支持。本文首先对国内外数据仓库技术的研究概况和水平进行了研究,然后从基础理论着手,阐述了有关数据仓库技术和olap技术的相关知识点,在理论上,为建立olap系统做好了充分的准备。本文介绍了上海实有人口系统的需求分析,并确定了系统结构,然后讨论了系统分析的主题;在逻辑设计中,选取”人口分布”主题为例并采用了星型模型;在物理设计中,具体确定了事实表和维表的物理结构。最后,介绍了在数据仓库建设过程中数据抽取的框架,数据清洗和转换的规则,以及数据装载的方式。文章重点研究了系统建设中的一些关键技术。为

3、了提高数据仓库的查询效率,本文首先讨论了olap数据立方体的预计算和立方体计算的优化策略;其次研究了三种索引技术:位图索引、连接索引和b树索引,并为系统制定了索引策略;然后文章介绍了两种查询优化的方法:使用缓存和引入连接池;最后,讨论了数据仓库的更新规则和实现方式。【英文摘要】 with the development of database technology and the expansion of database scale,we hope to refine the useful information from existing data to server for decisi

4、on.data warehouse technology and olap(online analytical processing) are important new technology in dealing with business data in recent years,which have developed gradually in order to meet this technology.data warehouse is a kind of data administrative technology,which emphasizes on the integrated

5、 data-facing theme, so it can offer more effective support for making policy and analysis.olap is a kind of multidimensional data analysis technology,which emphasizes on the data analysis in data warehouse,and provides aid decision information for manager.this paper studies the general situation and

6、 the level on data warehouse technology at home and abroad,then introduces the relevant basic theory about data warehouse and olap.these works are prepared for the following olap application.this paper introduces the requirement analyze of shanghai actual population and the system structure.then we

7、discuss the topics of system analyze,and take the topic of “population distribution” as example in logic design,in which we use star schema, we determine the structures of fact-table and dimension-table.at last,we introduce the framework of data extract,the rule of data cleaning and transform and th

8、e manner of data loading in building data warehouse.the paper studies some key technology in building the system.to improve the query efficiency of data warehouse,we first discuss the pre-compute of data cube and the optimization strategy of data cube in olap;then we study bit index,join index and b

9、-tree index,and establish the index strategy.we also introduce to method of query optimization:cache and connection pool.at last we discuss the updating principle and the realization of data warehouse.【中文关键词】 数据仓库; 联机分析处理; 数据立方体; 数据抽取、转换和清洗 【英文关键词】 data warehouse; olap; data cube; etl 【毕业论文目录】摘要 5-6

10、 abstract 6 第1章 课题的研究背景 11-16 1.1 国内外研究现状 12-14 1.2 论文的研究内容及组织 14-16 第2章 数据仓库相关理论 16-36 2.1 从数据库到数据仓库 16-17 2.2 数据仓库的基本概念 17-20 2.2.1 数据仓库定义 17-18 2.2.2 数据仓库的基本特征 18-20 2.3 数据仓库系统 20-27 2.3.1 数据的组织结构 20-21 2.3.2 数据的存储方式 21-22 2.3.3 多维数据模型 22-25 2.3.4 数据仓库的体系结构 25-27 2.4 数据仓库的数据库设计 27-28 2.5 元数据的设计与生

11、成 28-30 2.5.1 元数据的定义 28 2.5.2 元数据的分类 28-29 2.5.3 元数据的作用与设计 29 2.5.4 元数据的标准 29-30 2.6 数据粒度 30-31 2.7 数据仓库的关键技术 31-35 2.7.1 数据预处理技术 31-32 2.7.2 联机分析处理技术 32-34 2.7.3 数据挖掘技术 34-35 2.7.4 olap与数据挖掘的区别和联系 35 2.8 本章小结 35-36 第3章 基于数据仓库的olap系统 36-46 3.1 olap的概念与特征 36-37 3.2 olap多维分析的相关概念 37-39 3.3 olap多维分析方法

12、39-40 3.4 olap数据的组织方式 40-43 3.4.1 基于多维数据库的olap(molap) 40-41 3.4.2 基于关系数据库的olap(rolap) 41-42 3.4.3 两者的混合结构(holap) 42-43 3.5 olap的关键技术 43-45 3.5.1 数据立方体(cube)的计算 43-45 3.5.2 olap服务器 45 3.6 本章小结 45-46 第4章 实有人口数据仓库系统的设计 46-57 4.1 实有人口数据仓库系统介绍 46-48 4.1.1 系统需求分析 46-47 4.1.2 实有人口数据仓库系统结构 47-48 4.2 实有人口数据仓

13、库分析设计 48-54 4.2.1 确定分析的主题 48-50 4.2.2 建立逻辑模型 50-51 4.2.3 系统的物理设计 51-54 4.3 数据抽取、清洗、转换及装载 54-56 4.3.1 数据抽取 54-55 4.3.2 数据的清洗、转换和装载 55-56 4.4 本章小结 56-57 第5章 实有人口数据仓库系统实现的几个关键问题 57-69 5.1 olap立方体的计算 57-58 5.1.1 预计算的比例 57 5.1.2 立方体计算的优化策略 57-58 5.2 索引策略 58-61 5.2.1 位图索引 58-59 5.2.2 连接索引 59-60 5.2.3 b树索引 60 5.2.4 实有人口数据仓库系统的索引策略 60-61 5.3 查询优化策略 61-62 5.3.1 使用缓存 61 5.3.2 引入连接池 61-62 5.4 实有人口数据仓库的增量更新 62-68 5.4.1 常住人口增量更新 62-64 5.4.2 常住人口历史表增量更新 64-65 5.4.3 来沪人员增量更新 65-66 5.4.4 境外人员增量更新 66-67 5.4.5 未落常住人口增量更新 67-68 5.5 本章小结 68-69 第6章 实有人口