数据仓库解决方案v0

1、数据仓库解决方方案深圳太极云软技技术股份有限限公司2016年1月月目录TOC o 1-3 h z u HYPERLINK l _Toc439977491 (一)概述 PAGEREF _Toc439977491 h 2 HYPERLINK l _Toc439977492 一.国内信息息化的现状 PAGEREF _Toc439977492 h 2 HYPERLINK l _Toc439977493 二.以应用驱驱动，数据仓仓库建设应由由后向前规划划 PAGEREF _Toc439977493 h 3 HYPERLINK l _Toc439977494 三.“想大做做小”（整体设计计、分布实施施）

2、PAGEREF _Toc439977494 h 4 HYPERLINK l _Toc439977495 (二)系统架架构 PAGEREF _Toc439977495 h 5 HYPERLINK l _Toc439977496 数据仓库架构 PAGEREF _Toc439977496 h 6 HYPERLINK l _Toc439977497 系统功能架构 PAGEREF _Toc439977497 h 7 HYPERLINK l _Toc439977498 (三)数据仓仓库建设方法法 PAGEREF _Toc439977498 h 8 HYPERLINK l _Toc439977499 数据仓

3、库建设88大步骤 PAGEREF _Toc439977499 h 9 HYPERLINK l _Toc439977500 1.系统分析，确确定主题 PAGEREF _Toc439977500 h 9 HYPERLINK l _Toc439977501 2.选择满足数数据仓库系统统要求的软件件平台 PAGEREF _Toc439977501 h 10 HYPERLINK l _Toc439977502 3.建立数据仓仓库的逻辑模模型 PAGEREF _Toc439977502 h 10 HYPERLINK l _Toc439977503 4.逻辑数据模模型转化为数数据仓库数据据模型 PAGERE

4、F _Toc439977503 h 11 HYPERLINK l _Toc439977504 5.数据仓库数数据模型优化化 PAGEREF _Toc439977504 h 12 HYPERLINK l _Toc439977505 6.数据清洗转转换和传输 PAGEREF _Toc439977505 h 13 HYPERLINK l _TToc43999775006 7.开发数据据仓库的分析析应用 PAGEREF _Toc439977506 h 14 HYPERLINK l _Toc439977507 8.数据仓库的的管理 PAGEREF _Toc439977507 h 15 HYPERLINK

5、 l _Toc439977508 (四)系统功功能详细介绍绍 PAGEREF _Toc439977508 h 16 HYPERLINK l _Toc439977509 企业数据门门户 PAGEREF _Toc439977509 h 16 HYPERLINK l _Toc439977510 主题分析 PAGEREF _Toc439977510 h 177 HYPERLINK l _Toc439977511 即席查询 PAGEREF _Toc439977511 h 188 HYPERLINK l _Toc439977512 多维分析工具 PAGEREF _Toc439977512 h 19 HYP

6、ERLINK l _Toc439977513 ETL工具 PAGEREF _Toc439977513 h 119 HYPERLINK l _Toc439977514 报表工具 PAGEREF _Toc439977514 h 211概述国内信息化的现现状信息化建设的发发展历史：在国内信息化建建设过程中，基基本上是按照照当时业务系系统的需求进进行建设，过过一段时间，如如果有新的业业务推出，就就再建设一个个新的系统，或或在原系统的的基础上增加加新的业务处处理。这样的的结果使每个个系统和系统统之间缺少真真正的信息沟沟通和信息交交换。为何要建立数据据仓库：根据现状业务系系统各自为政政，相互独立立。当很多

7、业业务系统建立立后，由于领领导的要求和和决策的需求求，需要一些些指标的分析析，在相应的的业务系统基基础上再增加加分析和相应应的报表功能能，这样每个个系统就增加加了报表和分分析功能。但但是，由于数数据源不统一一导致了对同同一个指标分分析的结果不不相同。为了了解决该问题题，为了分析析和决策的需需要，将相互互分离的业务务系统的数据据源整合在一一起，可以为为领导和决策策层提供分析析和辅助决策策。以应用驱动，数数据仓库建设设应由后向前前规划数据仓库到底应应该怎么建设设?我一贯的的主张是应用用驱动。什么么样的应用呢呢？应用是应考虑虑政府管理的现现状和决策层层最关心的问问题入手。分分利用现有信信息系统资源源

8、，进一步细细化、量化权权力清单，固固化权力运行行流程和办理理环节，达到到规范业务流流程、监督个个体行为、记记录执法诚信信、科学考核核评价和提升升管理精度，最最终使群众的的合法权益得得到保护，实实现权力有效效监督和提升升政府效能。通过分析经济发展、卫生健康、教育科技、道路交通、机构团体、生活服务、文体娱乐、安全避险、资源环境、社保就业、财税金融、法律服务等这些主题的分析是否可行，应该先进行评估。这样从应用主题入手，就可以知道需要什么样的数据，来自那些业务系统和数据源，这些数据的全体进行一定的整合，按照分析的要求存储就组成了一个个数据集市（Data Mart）。 “想大做小”（整体设计计、分布实施

9、施）为了避免原有业业务系统相对对独立而形成成的一个个信信息孤岛，以以应用驱动建建设数据仓库库，往往会造造成新的信息息孤岛。这是是因为应用往往往是部门级级的或者是某某一方面的应应用，不能完完全覆盖企业业级的所有应应用。当然我我们这里不提提倡一次建设设的应用。如如何避免这个个问题，是我我这里着重要要要强调的。这这里分两种情情形进行设计计，系统作用用1. 整合业务务数据 在各业务系统中中，数据不流流通，形成信信息孤岛，商商业智能解决决方案建立统统一数据仓库库，整合业务务数据，给管管理者提供统统一视图，统统一决策界面面。 2. 支撑决策策 从数据中分析企企业发展趋势势，挖掘新的的机会方法，根根据数据决

10、策策，提高决策策的及时性及及准确率。 3. 提供管理理效能，量化化办事效率 基于系统分析内内容，管理者者能了解细化化、量化权力力清单，固化化权力运行流流程和办理环环节，达到规规范业务流程程、监督个体体行为、记录录执法诚信、科科学考核评价价和提升管理理精度，最终终使群众的合合法权益得到到保护，实现现权力有效监监督和提升政政府效能。系统架构系统架构图在建立数据仓库库，数据仓库库按主题域存存储各业务数据。数数据来源主要要是政府管理结结构的不同业业务管理系统统。通过数据交交换平台定期期采集各管理理机构的业务务数据，后台台数据处理工工具ETL抽取、清清洗数据，并并加载入数据据仓库中。架构于数据仓库库上的

11、系统功功能主要包括括大数据门户、专专题主题分析析、即系查询询、多维分析析、自助报表表的功能模块块，通过这些些功能模块为为管理者获取取数据和分析析数据提供简简单易用、功功能强大的方方法，为管理理者决策及提提升管理精度度，最终实现现权力有效监监督和提升政政府效能。数据仓库架构数据仓库是一个个建设过程，而而不是产品。数数据仓库是通通过对来自不不同的数据源源进行统一的的处理及管理理，通过灵活活的展示方法法来帮助决策策支持。数据获取层实现如何从所有有源系统中获获得原始的业业务数据，并并对其进行一一定的数据处处理，按主题题进行数据重重组和格式转转换，然后传传送并装载到到数据仓库系系统中。数据仓库系统需需要

12、从多个源源数据系统中中抽取和汇总总各个业务数数据，这些数数据源系统是是数据仓库系系统的数据来来源。把上述数据源系系统中的数据据按照主题进进行划分和组组织，然后抽抽取并装载到到数据仓库系系统中。数据需要经过三三个过程：数数据抽取、数数据转换、数数据装载。这这三个过程是是在保证各个个数据源系统统与数据仓库库系统能够成成功连接（包包括网络协议议标准的转换换、不同平台台之间的接口口）的前提下下实现的。保保证把来自不同的的源数据系统统的同类数据据的一致性和和完整性，转转换完成的数数据装载到数数据仓库系统统中。数据管理层 把数据存存储到企业级级数据仓库系系统中进行集集中管理。在在数据存储层层，数据是存存放

13、在两类数数据库中：关关系型数据库库和多维数据据库。数据存存储是数据仓仓库系统的中中心。取自多多个数据源系系统的明细数数据，以及用用于分析的集集成汇总数据据都存储在这这个中心。它它在逻辑上是是一个完整的的库。数据使用层 把数据仓仓库系统中的的数据和分析析结果提供给给最终用户。按按照用户的分分析需求、使使用报表、随随即查询、多多维度分析和和数据挖掘进进行数据展现现。数据输出层的功功能是使最终终用户通过报报表、图形和和其他分析工工具的方式简简便、快捷地地访问数据仓仓库系统中的的各种数据，得得到分析结果果。 提供多种数据据分析方法，包包括标准报表表、即席查询询报表、动态态分析报表、多多维分析、趋趋势预

14、测、假假设分析和数数据挖掘等。系统功能架构多维分析OLDDP多角度、立立体化、灵活活动态的分析析业务数据。产产品简单易用用，无需编写写任何的代码码，用户只需需要通过语义义层的定义就就可以轻松搭搭建自己的多多维数据模型型。即席查询统计报报表、指标的的快速检索，帮帮助业务分析析人员快速获获得所需要的的数据和统计计信息。数据门户Datta Porrtal进行行统一展现，展展现方式包括括仪表盘、表表格、报表、日日历等内容，并并支持用户个个性化定制内内容、指标等等功能，实现现真正的个性性化服务。数数据门户中展展现的内容是是管理者及业业务人员最关关注的指标，通通过门户为他他们获取数据据提供最简单单容易的方

15、式式。主题分析根据资资源的组织，支支持数据的深深入挖掘和分分析应用，跟跟踪、监控政政策的执行情情况及实施效效果，让管理理层了解细化化、量化权力力清单，固化化权力运行流流程和办理环环节，达到规规范业务流程程、监督个体体行为、记录录执法诚信、科科学考核评价价和提升管理理精度，最终终使群众的合合法权益得到到保护，实现现权力有效监监督和提升政政府效能。报表业商业智能能系统建设的的重要组成部部分，主要对对企业数据仓仓库中整合的的各主题域业业务数据，按按照监督管理理要求，面向向各级部门，快快速提供准确确、全面、灵灵活的体现政政府管理效能能等方面实际际的数据信息息，为决策支支持、业务管管理提供有效效的数据信

16、息息支撑。ETL工具：EETL是数据据仓库最核心心的后台组件件，通过对及及汇总来的不不同来源数据据的抽取、清清洗、加载实实现数据仓库库中数据的更更新及流转。EETL工具（桥桥接器），实实现了图形化化及自动化的的方式来配置置ETL流程程，极大的减减轻了数据加加工的工作量量，提高了数数据准确性及及处理效率。数据仓库建设方方法数据仓库决策分分析的业务处处理流程主要要分为四个阶阶段。数据集中：各级级政府部门业业务数据统一一汇总数据中中心临时数据据存储；数据整理和转换换：汇总后的的业务数据经经过ETL抽抽取、转换、加加载到数据仓仓库中；数据存储和管理理：对数据仓仓库数据进行行集中存储和和管理、备份份和维

17、护；数据挖掘和展现现：用户通过过前端的展现现工具对数据据仓库中数据据进行挖掘、钻钻取和分析，在在数据门户展展现；各委办局业务系统各委办局业务系统人社公安民政交换平台政府数据中心临时存储数据抽取转换加载数据仓库数据集市决策趋势数据门户 HYPERLINK /HondaHsu/p/4312549.html 数据仓库建设88大步骤1.系统分析，确确定主题确定一下几个因因素：操作作出现的频率率，即业务部部门每隔多长长时间做一次次查询分析。在系统中需要保存多久的数据，是一年、两年还是五年、十年。用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。用户所能接受的响应时间是多长、是几秒钟，还是几

18、小时。2.选择满足数数据仓库系统统要求的软件件平台选择合适的软件件平台，包括括数据库、建建模工具、分分析工具等。有有许多因素要要考虑，如系系统对数据量量、响应时间间、分析功能能的要求等，以以下是一些公公认的选择标标准：厂商商的背景和支支持能力，能能否提供全方方位的技术支支持和咨询服服务。数据据库对大数据据量（TB级级）的支持能能力。数据据库是否支持持并行操作。能否提供数据仓库的建模工具，是否支持对元数据的管理。能否提供支持大数据量的数据加载、转换、传输工具（ETT）。能否提供完整的决策支持工具集，满足数据仓库中各类用户的需要。3.建立数据仓仓库的逻辑模模型具体步骤如下：（1）确定定建立数据仓仓

19、库逻辑模型型的基本方法法。（2）基基于主题视图图，把主题视视图中的数据据定义转到逻逻辑数据模型型中。（3）识识别主题之间间的关系。（44）分解多对对多的关系。（5）用范式理理论检验逻辑辑数据模型。（6）由用户审核逻辑数据模型。4.逻辑数据模模型转化为数数据仓库数据据模型具体步骤如下：（1）删除除非战略性数数据： HYPERLINK /bi/sjck/ 数据仓仓库模型中不不需要包含逻逻辑数据模型型中的全部数数据项，某些些用于操作处处理的数据项项要删除。（22）增加时间间主键：数据据仓库中的数数据一定是时时间的快照，因因此必须增加加时间主键。（3）增加派生数据：对于用户经常需要分析的数据，或者为了

20、提高性能，可以增加派生数据。（4）加入不同级别粒度的汇总数据：数据粒度代表数据细化程度，粒度越大，数据的汇总程度越高。粒度是数据仓库设计的一个重要因素，它直接影响到驻留在数据仓库中的数据量和可以执行的查询类型。显然，粒度级别越低，则支持的查询越多；反之，能支持的查询就有限。5.数据仓库数数据模型优化化数据仓库设计时时，性能是一一项主要考虑虑因素。在数数据仓库建成成后，也需要要经常对其性性能进行监控控，并随着需需求和数据量量的变更进行行调整。优化化数据仓库设计计的主要方法法是：合并并不同的数据据表。通过过增加汇总表表避免数据的的动态汇总。通过冗余字段减少表连接的数量，不要超过35个。用ID代码而

21、不是描述信息作为键值。对数据表做分区。6.数据清洗转转换和传输由于业务系统所所使用的软硬硬件平台不同同，编码方法法不同，业务务系统中的数数据在加载到到 HYPERLINK /bi/sjck/ 数据仓库之前前，必须进行行数据的清洗洗和转换，保保证数据仓库库中数据的一一致性。在设设计数据仓库库的数据加载载方案时，必必须考虑以下下几项要求：加载方案案必须能够支支持访问不同同的数据库和和文件系统。数据的清洗、转换和传输必须满足时间要求，能够在规定的时间范围内完成。支持各种转换方法，各种转换方法可以构成一个工作流。支持增量加载，只把自上一次加载以来变化的数据加载到数据仓库。7.开发数据仓仓库的分析应应用

22、建立数据仓库的的最终目的是是为业务部门门提供决策支支持能力，必必须为业务部部门选择合适适的工具实现现其对数据仓仓库中的数据据进行分析的的要求。信息息部门所选择择的开发工具具必须能够：满足用户户的全部分析析功能要求。数据仓库中的用户包括了企业中各个业务部门，他们的业务不同，要求的分析功能也不同。如有的用户只是简单的分析报表，有些用户则要求做预测和趋势分析。提供灵活的表现方式。分析的结果必须能够以直观、灵活的方式表现，支持复杂的图表。使用方式上，可以是客户机/服务器方式，也可以是浏览器方式。事实上，没有一种工具能够满足数据仓库的全部分析功能需求，一个完整的数据仓库系统的功能可能是由多种工具来实现，

23、因此必须考虑多个工具之间的接口和集成性问题，对于用户来说，希望看到的是一致的界面。8.数据仓库的的管理只重视数据仓库库的建立，而而忽视数据仓仓库的管理必必然导致数据据仓库项目的的失败。数据据仓库管理主主要包括数据据库管理和元元数据管理。数据库库管理需要考考以下几个方方面：安全全性管理。数数据仓库中的的用户只能访访问到他的授授权范围内的的数据，数据据在传输过程程中的加密策策略。数据仓库的备备份和恢复。数据仓库的大小和备份的频率直接影响到备份策略。如何保证数据仓库系统的可用性，硬件还是软件方法。数据老化。设计数据仓库中数据的存放时间周期和对过期数据的老化方法，如历史数据只保存汇总数据，当年数据保存

24、详细记录。然而，元数据管理贯穿于整个系统的建设过程中，元数据是描述数据的数据。在数据采集阶段，元数据主要包括下列信息：源数据的描述定义：类型、位置、结构。数据转换规则：编码规则、行业标准。目标数据仓库的模型描述：星型/雪花模型定义，维/事实结构定义。源数据到目标数据仓库的映射关系：函数/表达式定义。代码：生成转换程序、自动加载程序等。在数据管理阶段，元数据主要包括下列信息：汇总数据的描述：汇总/聚合层次、物化视图结构定义。历史数据存储规则：位置、存储粒度。多维数据结构描述：立方体定义、维结构、度量值、钻取层次定义等。在数据展现阶段，元数据主要包括以下信息：报表的描述：报表结构的定义。统计函数的

25、描述：各类统计分析函数的定义。结果输出的描述：图、表输出的定义。元数据不但是独立存放，而且对用户是透明的，标准 HYPERLINK /bi/sjck/ 元数据之间可以互相转换系统功能详细介介绍企业数据门户企业实施商业智智能、数据仓仓库的目的之之一为整合各各系统的业务务数据，统一一指标口径，实实现统一视图图、统一决策策界面。企业业数据门户功功能主要对整整合的业务数数据进行统一一展现，展现现方式包括仪仪表盘、表格格、日历等内内容。数据门门户中展现的的内容是管理理者及业务人人员最关注的的指标，通过过门户为他们们获取数据提提供最简单容容易的方式。 数据门户中中展现的内容容根据用户角角色不同而有有所差异

26、，每每个用户都可可以定制自己己关注的内容容，实现真正正的个性化服服务。系统截图：主题分析数据仓库中的业业务数据通常常是面向主题题进行组织的的。主题分析析是在较高层层次上将企业业信息系统的的数据进行归归并、抽象，形形成对分析对对象的一个完完整的描述，体体现分析数据据之间的相互互关系，揭示示数据规律和和问题。主题分析模块从从主题域的角角度入手，支支撑数据资源源的组织，支支持数据的深深入挖掘和分分析应用，跟跟踪、监控政政策的执行情情况及实施效效果，倒逼行行政权力部门门认真履职、规规范执法、优优化服务,努努力提高政府府效能。考虑到国情特点点和现状，主主题分析涵盖盖了经济发展展、卫生健康康、教育科技技、

27、道路交通通、机构团体体、生活服务务、文体娱乐乐、安全避险险、资源环境境、社保就业业、财税金融融、法律服务务量等八个主主题域相关的的主题分析功功能。即席查询 即席查查询针对数据据仓库内的各各主题数据、统统计报表、指指标的快速检检索，帮助分分析人员快速速获得所需要要的数据和统统计信息。即即席查询工具具通过提供各各种向导式界界面、图形查查询生成器、联联机帮助等功功能，为系统统使用人员提提供细粒度数数据。 即席查询是分析析人员的重要要的辅助工具具，它是在数数据仓库的信信息组织基础础上，尽可能能多的在后台台按照分析人人员关心的分分析角度沉淀淀业务知识，在在前端功能上上屏蔽后台查查询技术细节节，为分析人人

28、员提供灵活活的业务分析析查询角度定定制和结果定定制功能，使使分析人员在在分析汇总数数据的同时能能够通过即席席查询进一步步深入到自己己感兴趣的细细节数据中，以以便更全面地地反映情况，做做出正确决策策。多维分析工具多维分析是商业业智能的核心心技术，可以以帮助用户进进行多角度、立立体化、灵活活动态的分析析。多维分析析报表由“维”（影响因素素）和 “指标”（衡量因素素）组成，能能够真正为用用户所理解、并并真实的反映映国情特性信息息。 BII-多维分析析工具简单易易用，无需编编写任何的代代码，用户只只需要通过语语义层的定义义就可以轻松松搭建自己的的多维数据模模型。同时具具有灵活的分分析功能、直直观的数据

29、操操作和分析结结果可视化表表示等突出优优点，从而使使用户对基于于大量复杂数数据的分析变变得轻松而高高效，以利于于迅速做出正正确判断。它它可用于证实实人们提出的的复杂的假设设，以图形或或者表格的形形式来表示的的对信息的总总结。多维分析工具专专门设计用于于支持复杂的的分析操作，侧侧重对决策人人员和高层管管理人员的决决策支持，可可以根据分析析人员的要求求快速、灵活活地进行大数数据量的复杂杂查询处理，并并且以一种直直观而易懂的的形式将查询询结果提供给给决策人员，以以便他们准确确掌握企业（公公司）的经营营状况，了解解对象的需求求，制定正确确的方案。ETL工具ETL负责将分分散的、异构构数据源中的的数据如

30、关系系数据、平面面数据文件等等抽取到临时时中间层后进进行清洗、转转换、集成，最最后加载到数数据仓库或数数据集市中，成成为联机分析析处理、数据据挖掘的基础础。ETL是是数据仓库中中的非常重要要的一环，它它是承前启后后的必要的一一步。ETL工具纯jjava编写写，可以在WWindoww、Linuux、Uniix上运行，绿绿色无需安装装，数据抽取取高效稳定。功功能强大、灵灵活，使用简简单。 （ETL平台架架构）数据抽取就是从从数据源抽取取出所需的数数据的过程。数数据抽取后，再再经过数据清清洗、转换，最最终按照预先先定义好的数数据仓库模型型，将数据加加载到数据仓仓库中去。数数据转换主要要用于解决数数据不一致性性问题，数据据加载就是将将从数据源系系统中抽取、转转换后的数据据加载到数据据仓库系统中中。ETL流流程管理调度度是ETL过过程中的统一一调度者和指指挥者，它把把复杂的数据据处理过程中中各个步骤整整合成一个整整体。异常数数据处理机制制指源数据系系统中的数据据本身出错并并发生变更后后，对于正在在抽取、已经经抽取、已经经处理、已经经汇总等各个个环节，如何何进行回退处处理的一套机机制。系统截截图：(ETL界面切切图)产品特色：（1） 支持MMYSQL/ORACLLE/MSSSQLSERRVER/DDB2/ACCCESS/达梦等多种种数据库； （2） 支持