Oracle数据仓库设计与使用

Oracle数据仓库解决方案OracleETL方案Oracle存储和分析方案Oracle前端展示方案Oracle数据仓库设计与使用Oracle数据仓库解决方案数据数据仓库：对来自不同的数据源的大量杂乱的信息进行统一处理及管理，通过灵活的展现方法从中提炼出有规律的、可重复使用的知识来帮助决策支持，并将可以重复使用的知识转化为企业的核心竞争力。数据信息知识决策管理获取使用Oracle对数据仓库的理解:数据仓库是一个过程，而不是一个产品。传统的数据仓库解决方案OLAPDataMiningRDBMSWebSiteLegacyERPReportingAd-HocQueryAnalysisPortalBrandABrandBBrandDBrandCBrandEBrandF

传统的数据仓库解决方案OLAPDataMiningRDBMSWebSiteLegacyERPReportingAd-HocQueryAnalysisPortal多种软件组成非集成的方案凌乱的平台技术、接口复杂实施时间长Oracle数据仓库总体解决方案框架数据转换中央数据仓库信息展现业务用户源数据数据获取数据管理数据使用联机批处理

联机单笔外部信息

统计分析抽取转化过滤加载随即查询报表多维分析数据挖掘Portal集成直接用户(客户端)OLAP用户Web用户应用服务器RelationalTransformationOLAPDataMiningOracle9i/10g数据监督控制OWBReportDiscovererDataMinerBIBeanPortal9i/10gASOEMOracleDeveloperSuiteOracleDatabaseOracleApplicationServer

Oracle数据仓库解决方案Oracle的数据仓库系统的逻辑体系架构是由三层组成：

数据获取层：实现如何从所有源系统中获得原始的业务数据，并对其进行一致性处理，按主题进行数据重组和格式转换，然后传送并装载到数据仓库系统中。

数据管理层：把数据存储到企业级数据仓库系统中进行集中管理；

数据使用层：实现如何把数据仓库系统中的数据和分析结果提供给最终用户。按照用户的分析需求，使用报表、随即查询、多维分析和数据挖掘进行数据展现。

Oracle数据仓库解决方案

数据获取层

数据仓库系统需要从多个源数据系统中抽取和汇总各种业务数据，这些数据源系统是数据仓库系统的数据来源。系统按照满足分析需求的原则，把上述数据源系统中的数据按照主题进行划分和组织，然后抽取并装载到数据仓库系统中。从上述这些系统中获取数据需要三个过程(ETL)：抽取数据、数据转换和数据装载。这三个过程是在保证各个数据源系统与数据仓库系统能够成功连接（包括网络协议标准的转换、不同平台之间的接口）的前提下实现的。这三个过程主要完成确定从哪个系统中抽取什么样的数据，如何保证来自不同源数据系统的同类数据的一致性和完整性，如何把转换完成的数据装载到数据仓库系统中，以及如何处理在转换和装载过程中出现的错误。

Oracle数据仓库解决方案

数据管理层

在数据存储层，数据是存放在两类数据库中：关系型数据库和多维数据库。数据存储是数据仓库系统的中心。取自多个数据源系统的明细数据，以及用于分析的集成汇总数据都存储在这个中心。它在逻辑上是一个完整的库。

Oracle数据仓库解决方案

数据使用层

数据输出层的功能是使最终用户通过报表、图形和其它分析工具的方式简便、快捷地访问数据仓库系统中的各种数据，得到分析结果。Oracle提供多种数据分析方法，包括标准报表、即席查询报表和动态分析报表，预测，假设分析和数据挖掘等。

标准报表和即席查询报表是基于关系型数据库/多维数据库的报表输出，标准报表是一种格式固定，是在系统开发时根据用户需求定制的，最终用户无法自己修改。即席(随即)查询报表的格式和内容可以由最终用户自由选择，即支持即席查询。允许最终用户控制数据的访问方法，定义报表格式和报表中的数据内容。动态分析报表支持客户对数据进行旋转、切片和分层，并从各个角度对数据进行分析和比较。预测主要是根据历史数据推断将来的数据趋势。假设分析允许用户设定一些假设条件，观察条件成立的情况下相关指标的变化。数据挖掘是利用多种数学的分析方法建立模型，找出隐含的业务规律。Oracle数据仓库系统工具平台

数据仓库是一个建设过程，Oracle公司在数据仓库建设的每一个环节上都提供了相应的技术手段及工具来保障数据仓库的顺利实现。

Oracle公司在多年数据仓库开发过程中已开发出符合数据仓库建设每一阶段所需要的开发工具，这对保证数据仓库建设的顺利完成提供了保障。以下为Oracle公司为数据仓库系统技术平台的配置内容：

Oracle数据据仓仓库库系统统工工具具平平台台数据据获获取取层层配配置置：：lOracleWarehouseBuilder(OWB)—实现现数数据据仓仓库库的的设设计计、、部部署署和和管管理理，，包包括括数数据据建建模模、、数数据据抽抽取取、、数数据据转转移移和和装装载载、、聚聚合合、、元元数数据据的的管管理理等等。。Oracle数据据仓仓库库系统统工工具具平平台台数据据管管理理层层配配置置：lOracle10g/9iRDBMS—进行行数数据据存存储储及及管管理理功功能能。。lOracleOLAP—多维维分分析析服服务务器器lOracleDataMining—数据据挖挖掘掘引引擎擎lOracleEnterpriseManager—数据据仓仓库库图图形形化化管管理理工工具具Oracle数据据仓仓库库系统统工工具具平平台台数据据展展现现层层配配置置：lOracleReports—数据据仓仓库库前前端端应应用用报报表表开开发发工工具具lOracleDiscoverer—数据据仓仓库库随随即即查查询询、、报报表表工工具具lOracleInternetApplicationServer—应用用服服务务器器lOracleBIBeans—由OracleJavaOLAPAPI构造造的的商商业业智智能能套套件件lOraclePortal—企业业门门户户信信息息开开发发工工具具lOracleFinancialAnalyzer—财务务分分析析应应用用lOracleSalesAnalyzer—销售售分分析析应应用用Oracle数据仓库库系统工具具平台lOracleWarehouseBuilder（OWB）可以为数数据仓库库解决方方案提供供完整、、集成的的实施框框架，以以前只能能由单独独工具完完成的功功能现在在能够在在同一环环境中实实现，这这些功能能包括：：数据建建模、数数据抽取取、数据据转移和和装载、、聚合、、元数据据的管理理等。OWB还实现了了数据仓仓库不同同部件如如关系数数据库、、多维数数据库以以及前端端分析工工具的集集成，为为用户提提供完整整的数据据仓库和和商业智智能系统统。Oracle数据仓库库系统工具具平OWB具有如下下特点：：l全面的数数据仓库库设计、、部署和和管理功功能l利用数据据库服务务器提高高性能l与前端分分析工具具紧密集集成l开放、可可延伸的的框架l支持复杂杂的提取取、转换换和传输输(ETT)过程l集成元数数据管理理Oracle数据仓库库系统工具具平台lOracle9i/10g数据仓库库核心引引擎，其其中Oracle9i/10g为最新版版本的数数据库产产品，专专门针对对数据仓仓库进行行了很多多的改进进，包括括对更大大数据量量的支持持(PB级)，对更多多用户数数的支持持(10000+)，更多数数据仓库库专用函函数的支支持等。。集成了了ETL、OLAP、DataMining功能Oracle数据仓库库系统工具具平台Oracle9i数据仓库库核心引引擎具有有以下特特点：l高可靠性性、高可可用性l强大的伸伸缩性和和性能，，强大的的并行处处理能力力，支持持复杂的的，大数数据量的的、突发发查询的的能力l快速响应应时间，，高性能能l强大的复复杂查询询技术l高可扩展展能力l支持大容容量，TB级的数据据存储能能力l高安全性性l开放性l易于管理理与维护护l专门集成成了数据据仓库所所需的ETL、OLAP、DataMining功能Oracle数据仓库库系统工具具平台lOracleInternetApplicationServer是目前市市场上综综合性最最强，集集成度最最高的应应用服务务器。它可以运运行任何何网站，门户或互互联网应应用，并且其速速度比市市场上其其他应用用服务器器都要快快，OracleInternetApplicationServer能让您通通过传统统浏览器器和任何何移动设设备访问问网站和和应用。通过集成成商务智智能，它它可以满满足您最最新的商商务信息息需求，，它还加加进了一一套综合合的管理理，集成和协协作技术术，使您您能够简简化操作作，提高高效率。。Oracle数据仓库库系统工具具平台OracleiAS由四部分分服务组组成：l通讯(CommunicationServices)l表示（PresentationServices）l商业逻辑辑(BusinessLogicServices)l系统服务务(SystemServices)OracleiAS还包含了了一系列列的开发发工具：：Forms、Reports以及Discoverer。Oracle数据仓库库系统工具具平台OracleiAS具有以下下特点：：l提供完整整的功能能选件,如门户,无线,企业集成成l提供从开开发工具具到应用用服务器器,到后台数数据库的的完整解解决方案案,如支持数数据库l提供Web缓冲功能能l提供单次登登录及集成成的目录服服务器功能能l提供广泛的的应用服务务器的管理理与监控工工具，监控控对象包括括应用服务务器本身的的运行状态态，网站内内容访问，，如访问频频度分析器器、相应的的报告工具具等l提供完整而而集成的商商业智能工工具,如报表功能能,数据分析功功能l提供集成的的网站分析析工具Oracle数据仓库系统工具平平台OracleiAS具有以下特特点：l支持目前主主流的Web服务器，并并提高其安安全性和可可控制性l提供相应的的IDE开发环境，，缩短开发发测试周期期。l提供对复杂杂WebServices的支持,并且完全支支持业界标标准l跨平台支持持，包括操操作系统和和数据库系系统，以提提高应用的的灵活性和和可移植性性。lXML支持，支持持XML数据的解释释和输出。。l强大的安全全功能，包包括安全套套接层（SSL）、授权、、数字认证证和访问控控制。l提供大量现现成的组件件,可以用于快快速构建Web应用程序。。Oracle数据仓库系统工具平平台lOracleDiscoverer是最终用户户查询，报报告，深入入和旋转和和WEB公布工具，，能够帮助助用户迅速速访问关系系型数据仓仓库、数据据集市和业业务系统，，从而使他他们做出基基于充分信信息的决策策。Oracle数据仓库系统工具平平台OracleDiscoverer具有以下特特点：l超乎寻常的的易用性l快速查询及及相应性能能l强大钻取功功能l强大自动汇汇总重定向向能力l资源控制能能力l低维护的最最终用户层层l基于服务器器的可伸缩缩性l开放式访问问Oracle数据仓库系统工具平平台lOracleDeveloper(Forms&Reports)一个用于建建立企业级级客户/服务器和Web数据库应用用的、易于于使用的集集成式快速速应用开发发环境（RAD）。OracleDeveloper通过使用快快速应用开开发技术（（RAD技术）、面向对象技技术，基于于计算机的的内部学习习，以及统统一的客户户、应用服服务器和数数据库服务务器体系结结构，为客客户/服务器和Web开发建立了了新的易于于使用的生生产力标准准。Oracle数据仓库系统工具平平台OracleDeveloper(Forms&Reports)具有以下特特点：l易于使用及及开发l丰富的报表表样式l多种文件格格式(PDF,HTML,XML,XSL)l可扩展的性性能(ReportServer)lWeb发布Oracle数据仓库系统工具平平台lOracleBIBeans是集合了一一系列标准准JavaBean，帮助开发发人员快速速建立商业业智能应用用程序。直直接从Oracle数据库中产产生快速、、灵活的随随即查询和和多维分析析。Oracle数据仓库系统工具平平台OracleBIBeans有以下部分分组件组成成：l演示组件（（图形、交交叉表和图图表）lOLAP组件（查询询和计算创创建器）l服务多个组件将将JDeveloper作为商务智智能应用程程序的开发发环境，协协同操作，，利用Oracle技术堆栈和和OracleOLAP的高级分析析特性，提提高应用程程序开发人人员的开发发效率。Oracle数据仓库系统工具平平台lOracleEnterpriseManager是一套开放放的综合系系统管理系系列产品，，可以高效效地管理整整个Oracle环境，包括括系统、数数据库、网网络和应用用程序，可可以大大减减少系统管管理员用于于管理复杂杂产品环境境的时间。。OEM有以下四部部分组件组组成：lOracleDiagnosticsPack能够让数据据库管理员员实施对Oracle环境的高级级监控、诊诊断和规划划。lOracleTuningPack为数据库管管理员提供供了对Oracle环境的专家家级性能管管理能力，，包括SQL优化调整和和存储最优优化。Oracle数据仓库系统工具平平台OEM有以下四部部分组件组组成：lOracleChangeManagementPack能够消除在在升级数据据库以支持持新应用时时（可能产产生的）数数据错误与与丢失。此此工具包分分析与应用用变更有关关的影响和和复杂的依依赖性，并并自动实施施数据库升升级。lOracleManagementPackforSAPR/3提供了对SAPR/3系统的实时时监测能力力、用于历历史分析和和未来规划划目的的容容量计划、、事件集成成以及对主主机、数据据库和应用用的单点管管理功能。。Oracle数据仓库系统工具平平台OEM具有以下特特点：l使用统一的的体系结构构管理着整整个数据仓库系系统l集中控制平平台单一视视图管理l实时监控l分布式数据据管理Oracle数据仓库系统工具平平台Oracle数据仓库支持：1、任何数据据源（AnySource）搜集在Oracle数据仓库中中的数据来来源众多，，包括内部部存储的业业务数据和和外部的数数据。在传传统上，数数据仓库中中的大多数数数据来自自内部业务务系统，如如业务系统统或各客户户信息系统统等方面的的数据。然然而外部来来源的数据据也越来越越普通，并并且将会提提供比内部部来源更多多的数据。。上述两种种数据来源源应该融合合在一个单单一的存储储系统中，，并且加以以管理，从从而为最终终用户提供供对这两种种数据源的的无缝访问问。Oracle提供各种网网关（gateway）及Sql*Loader以及合作伙伙伴提供的的各种工具具来实现不不同数据源源数据的加加载。Oracle数据仓库系统工具平平台Oracle数据据仓仓库库支持持：：2、任任何何数数据据（（AnyData）考虑虑到到现现在在需需访访问问的的数数据据仓仓库库的的用用户户范范围围，，系系统统设设计计者者面面临临着着纷纷繁繁各各异异的的需需求求。。对对数数据据的的访访问问必必须须快快捷捷，，直直观观和和直直接接。。大大多多数数用用户户需需要要直直接接查查询询和和深深入入的的能能力力，，而而另另外外一一些些需需要要更更复复杂杂的的分分析析能能力力。。同同时时数数据据仓仓库库必必须须能能够够处处理理新新型型格格式式的的数数据据，，如如声声音音，，视视像像，，文文字字和和空空间间数数据据。。而而且且，，日日益益增增加加的的用用户户提提出出大大量量历历史史性性需需求求，，往往往往导导致致超超大大规规模模数数据据库库（（VLDB）的的出出现现。。为为了了满满足足这这些些需需求求，，对对作作为为数数据据仓仓库库核核心心的的数数据据库库系系统统提提出出了了很很高高的的要要求求，，而而ORACLE数据据库库核核心心能能够够完完全全满满足足这这些些需需求求。。Oracle数据据仓仓库库系统统工工具具平平台台Oracle数据据仓仓库库支持持：：3、任任何何访访问问需需求求（（AnyAccess）Oracle提供供了了基基于于数数据据仓仓库库的的范范围围广广泛泛的的工工具具集集，，能能够够帮帮助助各各种种类类型型的的用用户户访访问问数数据据仓仓库库中中存存储储的的数数据据，，我我们们把把数数据据仓仓库库的的用用户户分分为为两两类类：：第第一一类类是是对对数数据据进进行行随随意意查查询询和和报报告告，，深深入入和和旋旋转转，，这这类类用用户户需需要要一一种种直直接接和和直直观观的的工工具具，，帮帮助助他他们们轻轻松松地地访访问问数数据据，，从从而而作作出出明明智智的的商商业业决决策策。。另另外外一一类类用用户户是是企企业业的的高高级级管管理理者者和和决决策策者者，，他他们们需需要要进进行行更更复复杂杂更更高高级级更更完完全全的的分分析析（（建建模模，，预预测测和和假假设设分分析析等等）），，以以支支持持制制定定商商业业策策略略。。上上述述两两类类用用户户体体现现了了整整个个企企业业对对于于信信息息访访问问的的需需求求。。今今天天的的数数据据仓仓库库已已经经突突破破了了管管理理人人员员和和分分析析人人员员的的范范围围，，现现在在各各类类企企业业人人员员都都在在使使用用数数据据仓仓库库，，决决定定选选用用何何种种工工具具实实施施数数据据仓仓库库，，变变得得越越来来越越重重要要。。数据仓仓库市市场份份额比比较Oracle提供完完整的的产品品工具具集，，满足足上述述数据据仓库库的用用户需需求Oracle数据仓仓库国国内部部分用用户电信云南移移动福建电电信深圳电电信天津移移动交通运运输中国民民航信信息中中心中国货货运航航空公公司中国东东方航航空公公司能源中国石石化镇海炼炼化上海电电力制造中国朗朗讯（Lucent)摩托罗罗拉（Motorola)上海施施贵保保长安汽汽车集集团南京汽汽车武汉丽丽花丝丝宝光明乳乳业政府国家统统计局局北京市市国家家税务务局北京市市地方方税务务局浙江公公安金融中国银银行中国工工商银银行中国农农业发发展银银行深圳建建设银银行四川建建行TB级案例：上海证券交易所（监察系统）2.5TB

Oracle数据仓仓库和和商务务智能能整体体解决决方案案介绍绍OracleETL方案Oracle存储和和分析析方案案Oracle前端展展示方方案什么是是OracleWarehouseBuilder?一个能能设计计、部部署和和管理理企业业数据据仓库库、数数据中中心和和电子子商务务智能能应用用的可可扩展展框架架构造数数据仓仓库ETL（抽取取、转转换、、装载载）功功能设设计和和部署署完整的的生命命周期期管理理包含在在DeveloperSuite中OWB工作流流程关系性性数据据平面文文件应用主机Oracle9iorOracle10g抽取和转换数据6生成代码4设计目标数据仓库模型1映射源数据3部署数据仓库5OWBrepository源数据据目标数数据仓仓库OWBClient2定义源数据STEP1:在WarehouseBuilder中设置置环境境为开始始使用用WarehouseBuilder，我们们首先先必须须创建建一个个项目目（project）.STEP2:创建数数据源源建立基基于ORACLE数据库库对象象得源源数据据模块块。该该步骤骤仅是是整个个解决决方案案中的的第一一步。。定义数数据源源对象象的结结构。。导入入数据据源元元数据据定义数数据源源对象象的结结构包包括如如下行行为：：1)定义和和创建建针对对平面面文件件的数数据源源模块块2）定义义和创创建针针对关关系型型数据据库的的数据据源模模块3）从数数据源源对象象导入入元数数据到到数据据源模模块STEP3:设计数数据仓仓库该模块块利用WarehouseBuilder创建表表、视视图、、方案案的一一些特特征。。在此此部分分我们们将创创建事事实表表及维维。完完成这这些工工作后后，就就能将将数据据载入入这些些结构构中定定下数数据仓仓库。。STEP4:设计映映射与与转换换模型型OWB的核心心功能能是基基于ETL过程。。利用用OWB映射设计计工具完完成这些些过程的的设计。。将充分分利用前前面在OWB中定义好好的数据据源与数数据目标标，允许许客户用用PL/SQL开发辅助助数据转转换。STEP5:配置，部部署，运运行在设计完完数据仓仓库后，，在数据据库中安安装它，，并载入入数据。。如何配配置在前前面中创创建的模模块，并并运行映映射，载载入数据据。STEP6:生命周期期管理数据仓库库是一个个一直在在进化的的系统。。为了处处理数据据源及数数据目标标的变化化，OWB提供了用用户数据据源协调调及数据据仓库升升级的手手段。Oracle数据仓库库解决方方案OracleETL方案Oracle存储和分分析方案案Oracle前端展示示方案Oracle数据仓库库-数据管理理超越传统统海量数数据管理理能力最多的数据分区区技术物化视图图集成OLAP、DataMining和ETL服务位图索引引位图联合合索引ShareDisk的并行处理理和集群群数据压缩缩自动存储储管理智能化自自我管理理Oracle数据仓库库和商务务智能整整体解决决方案介介绍OracleETL方案Oracle存储和分分析方案案Oracle前端展示示方案单一基础础架构支支持全面面的信息息访问中央数据仓库引擎DataWarehouseETLOLAPDataMining逻辑统一一，物理理集成完整展现现，性能能卓越只有OracleApplicationServer10g能做到所有SQL

查询工具即席查询工具Discoverer定制报表OracleReports集成开发接口Excel插件

数据挖掘Discoverer方便访问问数据点击式，，非常简简单拖放式的的布局交互式提提示右键单击击以获得得有用的的选择多步骤任任务的向向导在任何级级别上获获取信息息功能强大大的‘下下钻’特特性来自自于聚合合数据……报告您的的见解需要通知知其他人人吗？发布到OraclePortal以电子邮邮件方式式发送给给团队保存在Excel中输出到AdobePDF或者从任任何web浏览器中访问问！电子表格格插件作为Excel插件安装装QueryBuilder—向导驱动动的界面面导航OracleOLAP多维数据据集、维维和层次次异常、top/bottom、排名基于层次次、基于于时间创建和存存储已保保存的选选项CalcBuilder——向导驱动动的界面面创建和存存储基于于OracleOLAP的计算基于时间间的计算算、移动动平均值值……所有可用用的标准准Excel功能（例例如图形形、格式式化……）与其他用用户共享享工作表表文件OracleReports基于web的一种灵灵活而功功能强大大的解决决方案，，使用户户能够以以任何格格式在任任何地