Oracle-BI-数据仓库设计及解决方案

Oracle-BI-数据仓库设计及解决方案第一页，共69页。基于开放和标准业已优化,集成的和可延展的更好的性能,可靠性,安全性更短的部署时间更简便的管理与升级更低的拥有成本极大降低变更管理的风险整体支持Complete,Open,Integrated第二页，共69页。Oracle产品体系架构平台产品及技术映射

Oracle电子商务应用套件—

EBSOracle融合中间件—SOASuiteOSBBEPLBAMWebServiceManagementOracle网格基础架构层Oracle10g/11g/RACWebLogicServerOracle展现OracleWebCenterBIEE+RUEIOracle用户和安全管理OracleIdentityManagementOracle

企业管理OracleEnterpriseManagerOracle

数据仓库PartitioningHyperionEssbaseDataMiningOracle高性能计算TimesTenCoherenceOracle

内容管理EnterpriseContentManagement业务流程层信息访问层商务智能门户数据库应用服务器存储网格基础架构层数据平台层流程管理企业服务总线规则引擎应用1应用2应用3应用4应用5安全管理拓扑管理系统的监控和调优产品生命周期管理企业管理单点登陆用户管理目录集成联盟身份应用6业务监控其它操作型数据库数据仓库批量数据加载实时/准实时更新数据获取层人工流程Oracle

数据获取层GoldenGateELT（OracleDataIntegrator）Oracle

BPMSuite流程管理Oracle

Exadata一体机Oracle人力资源

—PeopleSoftOracle项目管理—

P6Oracle客户关系管理—

SiebelOracle供应链—JDEOracle绩效管理—Hyperion第三页，共69页。Oracle数据仓库解决方案数据仓库系统实施规划总结日程 4第四页，共69页。绩效可见性是投资时最优先考虑的事项©Gartner,Inc. 5第五页，共69页。什么是数据仓库数据仓库概念的提出者、美国著名信息工程专家WilliamInmon博士在90年代初提出了数据仓库概念的一个表述：

“一个数据仓库通常是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，它用于对管理决策过程的支持。” 6第六页，共69页。数据仓库术语–类比主题模型（表视图）数据集市用户分析结果管理员多维分析固定报表即席查询数据挖掘架构设计第七页，共69页。ETL&配置器数据仓库和商务智能解决方案CRMIVRSupplyChainFinancialHRWebCTI用户交互系统业务系统其他业务和分析数据源发现和预警交互式仪表板报表数据仓库平台企业领导经理一线员工上下游企业业务分析数据仓库移动分析实时分析即时查询商务智能分析销售分析服务分析市场分析供应链分析财务分析劳动力分析商务智能分析预制的客户和业务分析行业化和基于规则针对Siebel,SAP,PeopleSoft,Oracle,和其他数据源快速实施、低成本数据仓库平台为所有用户服务极高的扩展性和性能完整的、即时的数据提供提供更强的BI和分析能力 8第八页，共69页。数据仓库逻辑结构 9第九页，共69页。元数据数据集市数据集市数据分析BusinessModeling数据挖掘查询及报表门户数据仓库管理数据源数据仓库OLAP数据仓库构建数据仓库,模型分段数据存储抽取,转换,加载ERP数据其它数据其它数据知识工人用户决策人员数据仓库及商务智能系统逻辑架构图单点登录和统一身份管理第十页，共69页。数据仓库数据加载OracleDataIntegrator第十一页，共69页。我该如何主动管理自己应收的产品组合的风险？供应商绩效如何影响客户满意度和销售收入？服务客户销售营销分销财务人力资源/劳动力运营采购客户客户供应商供应商供应商高级的分析往往涵盖异构数据源

呼叫中心人员如何享有、培训并且通过报酬来影响销售人员的工作效率和交叉销售业绩？第十二页，共69页。OracleDataIntegrator（ODI)是一个SOA-Ready的数据集成工具

数据集成数据仓库主数据管理实时消息数据联邦数据迁移分散在各个系统中的异构数据源ERP------------------CRM---遗留系统------------------------------------业务系统如何充分利用企业现有的信息商业智能绩效管理业务流程监控商业流程管理------------数据同步第十三页，共69页。OracleDataIntegrator支持多种数据源和目标高性能ODI可以方便地调用数据库存储过程、函数、操作系统可执行脚本ODI支持增量数据捕获ODI支持BLOB/CLOB数据类型的完全处理ODI支持将数据库数据转换为XML，包括BLOB/CLOB数据类型图形化界面，易于使用第十四页，共69页。E-LT架构---数据加载

高性能传统的ETL架构ExtractLoadTransform新一代架构“E-LT”LoadExtractTransformTransform在单独ETL服务器上进行转换私有的引擎性能差高成本在已有的关系数据库上进行转换充分利用资源效率高高性能好处最佳的高性能、可扩展性易管理、低成本第十五页，共69页。ODI的易用性ODI提供图形化方式实现异构数据复制、异构数据的抽取加载以及转换第十六页，共69页。数据仓库逻辑结构 17第十七页，共69页。数据仓库数据管理OracleDB

第十八页，共69页。大型数据仓库

特性排序

Source:OracleSTSurvey第十九页，共69页。数据分区技术提高大数据量的访问速度数据分区层次的管理范围、hash、列表、复合分区查询时自动分区忽略，减少对不相关数据的访问查询语句可以在分区间并行，提高CPU和IO并发增强的数据有效性数据故障隔离在分区而不是表上，备份、恢复更灵活查询的自动分区忽略、其它分区数据不受影响

ordertableDropmay04Addjan04feb04mar04apr04本地索引第二十页，共69页。

数据分区的益处：显著提高访问大表时的性能只访问相关的分区优化器知道或查找相关的分区预先用已知的值进行静态修剪使用内部递归SQL查找相关的分区来进行动态修剪使I/O操作最小化分区忽略系统自动根据分区情况优化数据访问，忽略无关的数据分区199819992000register

Tableselectsum(register_amt)fromregisterwherereg_datebetween1998and1999第二十一页，共69页。表分区使用情况?

第二十二页，共69页。Oracle数据库的真正应用集群技术ComputerAComputerBComputerC高可用性

保证节点故障时连续访问,用户连接自动重定向（24*7）高伸缩性

自动负载均衡，当负载增加时可增加节点来提高处理能力。共享磁盘技术高速内存通道技术可支持多节点配置第二十三页，共69页。11g中新的高级压缩技术压缩大的应用表9i只在数据加载时用，因此只适用数据仓库系统11g适合所有命令，可用于业务处理系统压缩各种数据类型结构化数据和非结构化数据典型压缩比2-3X大量节省磁盘空间消耗2x-3x可减少IO,加强了缓存的效率比正常读取要快2倍压缩的成本能节省一半的存储空间会增加5%的CPU使用率UpTo3XCompression第二十四页，共69页。SunOracleDatabaseMachine

网格就是未来高性能,低成本,冗余,线性扩展SunOracleDatabaseMachine为所有数据管理需求交付第一个也是唯一一个完整的网格架构ExadataStorageServerGrid14x高性能低成本存储服务器100TBrawSASdiskstorageor336TBrawSATAdiskstorage5TB+闪存(flashstorage)!RACDatabaseServerGrid8x高性能低成本服务器每个服务器包括2Intelquad-coreXeonsInfiniBandNetwork40Gb/secfault-tolerantunifiedserverandstoragenetwork第二十五页，共69页。26ExadataFlash

解决随机I/O瓶颈SunOracleDatabaseMachine有5+TB的闪存存储ExadataSmartCache技术缓存热点访问的数据Allowsoptimizationbyapplicationtable极大地降低成本同样的I/O能力,超过10x倍的磁盘节省低能耗Oracle是第一个闪存优化的数据库系统New5XMoreI/Osthan1000DiskEnterpriseStorageArray第二十六页，共69页。©2009OracleCorporation-Confidential2750XUpToOnlyonExadataExadataHybridColumnarCompression数据以字段形式存储并压缩查询模式

–针对datawarehousing最优的速度典型的可达到10X的压缩率按压缩比率改进扫描ArchivalMode

–针对频繁的数据访问减少空间典型的可达到15X的压缩率有些可达到50X第二十七页，共69页。数据仓库逻辑结构 28第二十八页，共69页。多维数据集市Essbase第二十九页，共69页。OracleEssbase近十年内最具影响力的10大科技创新之一全球第一的多维数据库What-if计算多维分配多用户读/写写回建模BI财务智能第三十页，共69页。维度和度量稀疏维402020203015100451453018152012831295281083020187638114402020203015100451455828235032181595020998484370623325995354北京总部天津分公司济南分公司合肥分公司广州分公司深圳分公司华北地区华南地区全国商品C商品B商品A商品分类２商品分类１商品全体2003年1月2003年2月2003年3月2003年4月2003年5月2003年6月地区维度时间维度商品维度销售额度量Dimension维度＝

地区

时间

商品Measure度量＝销售额成员第三十一页，共69页。卓越的计算能力最广泛的功能：

简单汇总到复杂的跨维分配根据检索存储或计算的结果关系识别条件或程序逻辑第三十二页，共69页。HyperionEssbase可提高数据仓库性能1,000个并发查询1,400万客户帐户响应时间磁盘占用空间7小时1TB响应时间磁盘占用空间.2秒1.4GB具有Q&R工具的数据仓库HyperionEssbase1%完成，仍需要7个小时100%完成，共计.2秒第三十三页，共69页。大数据量、多用户支持分析可伸缩性国际整流器有限公司

协作需求计划销售趋势及预测制造能力与调配营销分析客户和产品盈利能力资本预算财务报表编制与分析通过改进预测降低库存成本、提高收入数据可伸缩性安大略省交通部超过100GB的39维数据库提供14年的历史记录230,000次事故250,000段公路450,000辆车（22个属性）185,000名受伤人员（18个属性）通过提高对意外事件影响因素的洞察力降低死亡率维护可伸缩性戴姆勒·克莱斯勒公司使用UNIX外壳脚本、AutoSys作业和TivoliTME10监控实现过程自动化4个物理服务器上运行45个数据库服务器及应用日志监控每晚更新及计算备份与恢复降低管理成本，提高应用程序的可用性用户可伸缩性NTTDoCoMo

37个业务部门及172个办事处，共30,000名用户移动电话销售客户账单资产、合同、采购与物流

人力资源

财务——-P/L、C/F、B/S、虚拟结算实时可视性第三十四页，共69页。数据仓库逻辑结构 35第三十五页，共69页。数据挖掘DataMining第三十六页，共69页。OracleDataMining

任务业务问题示例算法人群聚类客户聚类聚类预测客户行为预测用户是恶性欠款的可能性分类预测或者估算数值预测明年的产量回归影响某个业务指标最多的因素影响糖尿病患者病情好转的前十个因素因素重要性一个事物和其他事物之间的相互依存性和关联性产品或者服务打包哪些商品容易被同时购买关联异常数据或者行为发现发现客户通话中的异常行为（防欺诈）异常检测第三十七页，共69页。Oracle数据挖掘

Oraclein-Database挖掘引擎数据挖掘功能(Server)PL/SQL&JavaAPIs开发&部署预测分析应用大量的DM算法

(12)分类回归聚类异常检测

关联规则

(购物篮分析)结构化&非结构化数据

(文本挖掘）Oracle数据挖掘器(GUI)简易化的,直观的数据挖掘预测分析从电子表格中“1-clickdatamining”DataWarehousingETLOLAPDataMiningOracleDBStatistics第三十八页，共69页。数据库内的数据挖掘

优势ODM架构提供了更强大的性能，可扩展性和数据安全性数据一直还留在数据库里…一直在适当的读取安全机制的控制下—更少的移动部分分析结果可以直接在应用流程里得到应用，不用经过“落地”、转储等耗费资源的物化过程性能和可扩展性:快速评分:250万个记录在单CPU系统中只需6秒实时评分:在单CPU中100个模型只需:0.085秒DataWarehousingETLOLAPDataMiningOracleDBStatistics第三十九页，共69页。OracleBIEE管理员可以看到Oracle数据挖掘结果OracleBIEE定义了最终用户展现的结果ODM和OracleBIEE的整合第四十页，共69页。预测分析

Oracle数据挖掘&OracleBIEE了解更多!大量的数据挖掘算法和(免费的)

统计功能挖掘数据,探索更全面的隐含信息,进行预测做的更多!挖掘新的信息

—用OracleBIEE做部署构建的应用可以帮助你“胜在分析上”花的更少!排除冗余的数据管理和数据分析系统利用Oracle数据库技术的投资DataWarehousingETLOLAPDataMiningOracleDBStatistics您可以：第四十一页，共69页。产业案例银行业对新的银行产品最有兴趣的目标客户

(家庭实体融资,教育储蓄计划,保险等)花旗银行识别“忠实”客户和可能流失的客户识别信用卡欺诈行为的模式根据人口统计和与银行相关的活动识别相似客户分隔零售/市场预测那些客户会对特定邮寄方式有反应识别每一个客户“下一个可能的购买目标”找到产品系列

(e.g.电池+玩具,羊毛衫+龟领裙等.对仓库存货进行网站促销)ABCStores第四十二页，共69页。产业案例保险&政府识别欺诈行为(交税情况)

美国内部收入署(IRS)预测那些客户会遵守新规

识别危险客户的行为模式

药业&保健行业识别对不同病情和病人的成功的药物疗法WalterReedMedicalCenter识别与疾病有关的因素

(基因,综合症等)第四十三页，共69页。数据仓库逻辑结构 44第四十四页，共69页。数据仓库展现BIEE第四十五页，共69页。OracleBIEEPlusKPI指标可以钻取到明细动态警告简报下载便于离线分析视图选择，动态改变分析方式轻松在仪表盘，即席查询，高级报表等功能间切换图形钻取，追寻问题根源指标选择，快速切换关注焦点第四十六页，共69页。OracleBIEEPlus直观的维度展示和选取轻松进行钻取、旋转、切片等复杂分析快速添加各种数据视图第四十七页，共69页。第四十八页，共69页。第四十九页，共69页。第五十页，共69页。第五十一页，共69页。数据仓库扩展动静相宜第五十二页，共69页。数据仓库和商务智能系统的发展趋势

从静态走向动态PhaseII–扩展PhaseI–基础DataCenterDataWarehouseDataSourceLayerOracleEBSPeopleSoftSAP/R3OtherSourcesCRMMsgQueuesBusinessIntelligenceAnalyticsReportingETL/Share更实时更主动更有效更直观这就是BI/DW的全部？ 53第五十三页，共69页。扩展的数据仓库分析平台

Oracle能提供什么产品扩展功能Oracle数据仓库和商务智能产品Oracle扩展功能产品及时响应DataIntegratorBAMTimesTen闭环分析SecurityPortalPartitioningCompressionDataMiningOLAPEssbaseWarehouseBuilderBIEEBIApps事件驱动OSB+CEPBPELBPA地理信息Spatial 54第五十四页，共69页。扩展的数据仓库分析平台

ClosedLoopAnalyticsSrc2Src3Src4Src1MessageQueuesCDCBulkData,Events,ChangedDataCaptureandDataServicesFusionMiddlewareIntegrationInfrastructureHourly,minuteCDC,Real-timeOracleBPELProcessManagerActiveDataSEEDminiSEEDDataWarehouseOracleDataIntegratorEventsServicesBulkE-LTDaily,MonthlyBAM,BI,DMandBPAInfrastructureMonitorEventsAnalyzeDataOracleBAMMiningDataOracleBIwithMining&MapsMonthlyOracleBPAandHumanWorkflow+RAC+Partitioning+Spatial+DataMiningUserAccessInfrastructureTakeActionWriteBack

MonitorPresent

AnalyzethePastPredictfortheFutureOracleEnterpriseServiceBusOraclePortal 55第五十五页，共69页。Oracle数据仓库解决方案数据仓库系统实施规划总结日程 56第五十六页，共69页。通过传统决策分析工具从头开始建立

Oracle决策分析应用针对Oracle,PeopleSoft,Siebel,SAP等的预建业务适配器预建的数据仓库设计，适合您的EDW基于角色的指示板和数千个预定义的衡量标准

方便使用和部署数周或数月后台ETL和映射数据仓库设计定义衡量标准和指示板后台ETL和映射数据仓库设计定义衡量标准和指示板培训/推广培训/推广数月或数年Oracle商务智能应用解决方案方法：快速实现价值降低总拥有成本保证业务价值资料来源：PatriciaSeybold调查,Gartner,MerrillLynch,Oracle分析快速实现价值并降低总拥有成本

第五十七页，共69页。数据仓库和商务智能系统实施

5个关键因素为什么?开始阶段树立信用度和信心怎么做?确认谁对DW/BI最感兴趣实施难度评估 58第五十八页，共69页。为什么?在开始阶段取得成果怎么做?高价值和ROI较高的数据可用性更好的数据质量更好的数据组织ReturnOnInvestment数据仓库和商务智能系统实施

5个关键因素 59第五十九页，共69页。为什么?确定下一阶段的目标怎么做?评估当前使用的频率评估当前的ROI评估用户需求数据仓库和商务智能系统实施

5个关键因素 60第六十页，共69页。为什么?在内部和外部推广怎么做?使用经验推广ETLReportOperationCapability……提升最终用户分析能力分析数据数据仓库和商务智能系统实施

5个关键因素 61第六十一页，共69页。为什么?高层领导的参与程度直接决定了数据仓库的建设效率“一把手工程”业务用户的参与能保证项目不偏离业务目标，最终用户对系统的评价是数据仓库是否成功的标准怎么做?尽量让高层领导了解实施的每个阶段才能充分协调各类资源业务用户充分参与到项目每一个实施的步骤，特别是测试的工作数据仓库和商务智能系统实施

5个关键因素 62第六十二页，共69页。DW/BI系统实施方法论

需求分析信息收集模型设计数据仓库架构设计商务智能应用开发运行维护数据抽取RA–需求分析IC–信息收集AD–数据仓库架构设计MD–模型设计FA–商务智能应用开发数据抽取RM–应用维护OracleDWKM38

KeyFactors1启动