OracleBI数据仓库设计及解决方案

1、 1数据仓库解决方案探讨基于开放放和标准准业已优化化,集成的和和可延展展的更好的性性能,可靠性,安全性更短的部部署时间间更简便的的管理与与升级更低的拥拥有成本本极大降低低变更管管理的风风险整体支持持Complete,Open,IntegratedOracle产品体系系架构平平台产品品及技术术映射Oracle电子商务务应用套套件EBSOracle融合中间间件SOA SuiteOSBBEPLBAMWebServiceManagementOracle网格基础础架构层层Oracle10g/11g/RACWebLogicServerOracle展现OracleWebCenterBIEE+RUEIOrac

2、le用户和安全全管理OracleIdentityManagementOracle企业管理理OracleEnterpriseManagerOracle数据仓库库PartitioningHyperionEssbaseData MiningOracle高性能计计算TimesTenCoherenceOracle内容管理理Enterprise ContentManagement业务流程程层信息访问问层商务智能能门户数据库应用服务务器存储网格基础础架构层层数据平台台层流程管理理企业服务务总线规则引擎擎应用1应用2应用3应用4应用5安 全管管理理拓 扑管管理理系统的监监控和调调优产品生命命周期管管理企 业管

3、管理理单点登陆陆用户管理理目录集成成联盟身份份应用6业务监控控其它操作型数数据库数据仓库库批量数据据加载实时/准实时更更新数据获取取层人工流程程Oracle数据获取取层GoldenGateELT（OracleDataIntegrator）OracleBPMSuite流程管理理OracleExadata一体机Oracle人力资源源PeopleSoftOracle项目管理理P6Oracle客户关系系管理SiebelOracle供应链JDEOracle绩效管理理Hyperion4Oracle数据仓库解决决方案数据仓库系统统实施规划总结日程5绩效可见见性是投投资时最最优先考考虑的事事项Gartner,

4、Inc.6什么是数数据仓库库数据仓库库概念的的提出者者、美国国著名信信息工程程专家William Inmon博士在90年代初提提出了数数据仓库库概念的的一个表表述：“一个数据据仓库通通常是一一个面向向主题的的、集成成的、随随时间变变化的、但信息息本身相相对稳定定的数据据集合，它用于于对管理理决策过过程的支支持。”数据仓库库术语类比主题模型（表 视图）数据集市用户分析结果管理员多维分析固定报表即席查询数据挖掘架构设计8ETL & 配置器数据仓库库和商务务智能解解决方案案CRMIVRSupplyChainFinancialHRWebCTI用户交互互系统业务系统统其他业务务和分析析数据源源发现和预警

5、交互式仪表板报表数据仓库库平台企业领导导经理一线员工工上下游企企业业务分析析数据仓仓库移动分析实时分析析即时查询商务智能能分析销售分析析服务分析析市场分析析供应链分分析财务分析析劳动力分分析商务智能能分析预制的客客户和业业务分析析行业化和和基于规规则针对Siebel, SAP,PeopleSoft,Oracle,和其他数数据源快速实施施、低成成本数据仓库库平台为所有用用户服务务极高的扩扩展性和和性能完整的、即时的的数据提提供提供更强强的BI和分析能能力9数据仓库库逻辑结结构元数据数据集市数据集市数据分析析BusinessModeling数据挖掘掘查询及报报表门户数据仓库库管理数据源数据仓库OL

6、AP数据仓库库构建数据仓库库,模型分段数据据存储抽取,转换,加载ERP数据其它数据其它数据知识工人人用户决策人员员数据仓库库及商务务智能系系统逻辑辑架构图图单点登录录和统一身份份管理数据仓库库数据加加载OracleDataIntegrator我该如何主动管理自己应收的产品组合的风险？供应商绩效如何影响客户满意度和销售收入？ 服务 客户销售 营销 分销财务 人力资源/劳动力 运营采购 客户客户供应商供应商供应商高级的分分析往往往涵盖异异构数据据源呼叫中心人员如何享有、培训并且通过报酬来影响销售人员的工作效率和交叉销售业绩？ OracleDataIntegrator（ODI)是一个SOA-Read

7、y的数据集集成工具具数据集成 数据仓库主数据管理实时消息数据联邦数据迁移分散在各个系统中的异构数据源 ERP-CRM- - -遗留系统-业务系统如何充分利用企业现有的信息 商业智能绩效管理业务流程监控商业流程管理- - - - - - - - -数据同步OracleDataIntegrator支持多种种数据源源和目标标高性能ODI可以方便便地调用用数据库库存储过过程、函函数、操操作系统统可执行行脚本ODI支持增量量数据捕捕获ODI支持BLOB/CLOB数据类型型的完全全处理ODI支持将数数据库数数据转换换为XML，包括BLOB/CLOB数据类型型图形化界面，易易于使用用E-LT架构-数据加载载

8、高性能传统的ETL架构ExtractLoadTransform新一代架构“E-LT”LoadExtractTransformTransform在单独ETL服务器上上进行转转换私有的引引擎性能差高成本在已有的的关系数数据库上上进行转转换充分利用用资源效率高高性能好处最佳的高高性能、可扩展展性易管理、低成本本ODI的易用性性ODI提供图形形化方式式实现异异构数据据复制、异构数数据的抽抽取加载载以及转转换17数据仓库库逻辑结结构数据仓库库数据管管理OracleDB大型数据据仓库特性排序序Source:OracleSTSurvey数据分区区技术提提高大数数据量的的访问速速度数据分区区层次的的管理范围、

9、hash、列表、复复合分区区查询时自动分分区忽略略，减少少对不相相关数据据的访问问查询语句句可以在在分区间间并行，提高CPU和IO并发增强的数据有有效性数据故障障隔离在在分区而而不是表表上，备备份、恢恢复更灵灵活查询的自自动分区区忽略、其它分分区数据据不受影影响order tableDropmay04Addjan04feb04mar04apr04本地索引数据分区区的益处处：显著提高高访问大大表时的的性能只访问相相关的分分区优化器知知道或查查找相关关的分区区预先用已已知的值值进行静静态修剪剪使用内部部递归SQL查找相关关的分区区来进行行动态修修剪使I/O操作最小小化分区忽略略系统自动动根据分分区

10、情况况优化数数据访问问，忽略略无关的的数据分分区199819992000registerTableselectsum(register_amt)from registerwherereg_datebetween 1998and1999表分区使使用情况况?Oracle数据库的的真正应应用集群群技术Computer AComputer BComputer C高可用性性保证节点点故障时时连续访问问,用户户连接自自动重定定向（24*7）高伸缩性性自动负载载均衡，当负载增加加时可增增加节点点来提高高处理能能力。共享磁盘盘技术高速内存存通道技技术可支持多多节点配配置11g中新的高高级压缩缩技术压缩大的的应

11、用表表9i只在数据据加载时时用，因因此只适适用数据据仓库系系统11g适合所有有命令，可用于于业务处处理系统统压缩各种种数据类类型结构化数数据和非非结构化化数据典型压缩缩比2-3X大量节省省磁盘空空间消耗耗2x-3x可减少IO,加强了缓缓存的效效率比正常读读取要快快2倍压缩的成成本能节省一一半的存存储空间间会增加5%的CPU使用率Up To3XCompressionSunOracle Database Machine网格就是是未来高性能,低成本,冗余,线性扩展展SunOracle Database Machine为所有数数据管理理需求交交付第一一个也是是唯一一一个完整整的网格格架构Exadata

12、 StorageServer Grid14x高性能低低成本存储服务务器100TBraw SASdisk storageor336TBraw SATAdiskstorage5TB+闪存(flashstorage)!RACDatabaseServer Grid8x高性能低低成本服服务器每个服务务器包括括2Intelquad-coreXeonsInfiniBand Network40Gb/secfault-tolerantunifiedserverand storagenetwork26Exadata Flash解决随机机I/O瓶颈SunOracle Database Machine有有5+TB的闪

13、存存存储Exadata Smart Cache技术缓缓存热点点访问的的数据Allowsoptimization by application table极大地降降低成本本同样的I/O能力,超过10 x倍的磁盘盘节省低能耗Oracle 是第一个闪存优化的数据库系统New5XMore I/Osthan1000 DiskEnterpriseStorage Array 2009Oracle Corporation -Confidential2750XUpToOnly on ExadataExadata HybridColumnarCompression数据以字字段形式式存储并并压缩查询模式式针对dat

14、a warehousing最优的速速度典型的可可达到10X的压缩率率按压缩比比率改进进扫描ArchivalMode针对频繁繁的数据据访问减少空间间典型的可可达到15X的压缩率率有些可达达到50X28数据仓库库逻辑结结构多维数据据集市EssbaseOracleEssbase近十年内内最具影影响力的的10大科技创创新之一一全球第一一的多维维数据库库What-if计算多维分配配多用户读读/写写回建模模BI财务智能能维度和度度量稀疏维4020202030151004514530181520128312952810830201876381144020202030151004514558282350321

15、81595020998484370623325995354北京总部天津分公司济南分公司合肥分公司广州分公司深圳分公司华北地区华南地区全国商品C商品B商品A商品分类商品分类商品全体2003年1月2003年2月2003年3月2003年4月2003年5月2003年6月地区维度时间维度商品维度销售额度度量Dimension维度地区时间商品Measure度量销售额成员卓越的计计算能力力最广泛的的功能：简单汇总总到复杂杂的跨维维分配根据检索索存储或或计算的的结果关系识别别条件或程程序逻辑辑HyperionEssbase可提高数数据仓库库性能1,000个并发查查询1,400万客户帐帐户响应时间磁盘占用空间7

16、 小时1 TB响应时间磁盘占用空间.2 秒1.4 GB具有Q&R工具的数数据仓库库HyperionEssbase1%完成，仍仍需要7个 小时时100%完成，共共计.2秒大数据量量、多用用户支持持分析可伸缩性国际整流器有限公司 协作需求计划销售趋势及预测制造能力与调配营销分析客户和产品盈利能力资本预算财务报表编制与分析通过改进预测降低库存成本、提高收入数据可伸伸缩性安大略省省交通部部超过100GB的39维数据库库提供14年的历史史记录230,000次事故250,000段公路450,000辆车（22个属性）185,000名受伤人人员（18个属性）通过提高高对意外外事件影影响因素素的洞察察力降低低死

17、亡率率维护可伸缩性戴姆勒克莱斯勒公司使用UNIX外壳脚本、AutoSys作业和Tivoli TME10监控实现过程自动化4个物理服务器上运行45个数据库服务器及应用日志监控每晚更新及计算备份与恢复降低管理成本，提高应用程序的可用性用户可伸缩性NTT DoCoMo 37个业务部门及172个办事处，共30,000名用户移动电话销售客户账单资产、合同、采购与物流 人力资源 财务- P/L、C/F、B/S、虚拟结算实时可视性35数据仓库库逻辑结结构数据挖掘掘Data MiningOracleDataMining任务业务问题示例算法人群聚类客户聚类聚类预测客户行为预测用户是恶性欠款的可能性分类预测或者估

18、算数值预测明年的产量 回归影响某个业务指标最多的因素影响糖尿病患者病情好转的前十个因素因素重要性一个事物和其他事物之间的相互依存性和关联性产品或者服务打包哪些商品容易被同时购买关联异常数据或者行为发现发现客户通话中的异常行为（防欺诈）异常检测Oracle数据挖掘掘Oraclein-Database挖掘引擎擎数据挖掘掘功能(Server)PL/SQL&Java APIs开发&部署预测测分析应应用大量的DM算法(12)分类 回归聚类异常检测测关联规则则(购物篮分分析)结构化&非结构化化数据(文本挖掘掘）Oracle数据挖掘掘器(GUI)简易化的的,直观的数数据挖掘掘预测分析析从电子表表格中“1-c

19、lickdata mining”Data WarehousingETLOLAPData MiningOracle DBStatistics数据库内内的数据据挖掘优势ODM架构提供供了更强强大的性性能，可可扩展性性和数据据安全性性数据一直直还留在在数据库库里一直在适适当的读读取安全全机制的的控制下下更少的移移动部分分分析结果果可以直直接在应应用流程程里得到到应用，不用经经过“落落地”、转储等等耗费资资源的物物化过程程性能和可可扩展性性:快速评分分:250万个记录录在单CPU系统中只只需6秒实时评分分:在单CPU中100个模型只只需: 0.085秒Data WarehousingETLOLAPDa

20、ta MiningOracle DBStatisticsOracleBIEE管理员可可以看到到Oracle数据挖掘掘结果OracleBIEE定义了最最终用户户展现的的结果ODM和OracleBIEE的整合预测分析析Oracle数据挖掘掘& OracleBIEE了解更多多!大量的数数据挖掘掘算法和和(免费的)统计功能能挖掘数据据,探索更全全面的隐隐含信息息,进行预测测做的更多多!挖掘新的的信息用OracleBIEE做部署构建的应应用可以以帮助你你“胜在分分析上”花的更少少!排除冗余余的数据据管理和和数据分分析系统统利用Oracle数据库技技术的投投资Data WarehousingETLOLAP

21、Data MiningOracle DBStatistics您可以：产业案例例银行业对新的银银行产品品最有兴兴趣的目目标客户户(家庭实体体融资,教育储蓄蓄计划,保险等)花旗银行行识别“忠实”客户和可可能流失失的客户户识别信用用卡欺诈诈行为的的模式根据人口口统计和和与银行行相关的的活动识识别相似似客户分分隔零售/市场预测那些些客户会会对特定定邮寄方方式有反反应识别每一一个客户户“下一个可可能的购购买目标标”找到产品品系列(e.g.电池+玩具,羊毛衫+龟领裙等等.对仓库存存货进行行网站促促销)ABCStores产业案例例保险&政府识别欺诈诈行为(交税情况况)美国内部部收入署署(IRS)预测那些些客

22、户会会遵守新新规识别危险险客户的的行为模模式药业&保健行业业识别对不不同病情情和病人人的成功功的药物物疗法WalterReedMedical Center识别与疾疾病有关关的因素素(基因,综合症等等)44数据仓库库逻辑结结构数据仓库库展现BIEEOracleBIEEPlusKPI指标可以钻取取到明细细动态警告告简报下载载便于离离线分析析视图选择择，动态态改变分分析方式式轻松在仪仪表盘，即席查查询，高高级报表表等功能能间切换换图形钻取取，追寻寻问题根根源指标选择择，快速速切换关关注焦点点OracleBIEEPlus直观的维维度展示示和选取取轻松进行行钻取、旋转、切片等等复杂分分析快速添加加各种数

23、数据视图图数据仓库库扩展动静相宜宜53数据仓库库和商务务智能系系统的发发展趋势势从静态走走向动态态Phase II 扩展Phase I 基础Data CenterData WarehouseData Source LayerOracle EBSPeople SoftSAP/R3Other SourcesCRMMsg QueuesBusiness IntelligenceAnalyticsReportingETL/Share更实时更主动更有效更直观这就是BI/DW的全部？54扩展的数数据仓库库分析平平台Oracle能提供什什么产品品扩展功能能Oracle数据仓库库和商务务智能产产品Oracle扩

24、展功能能产品及时响应Data IntegratorBAMTimesTen闭环分析SecurityPortalPartitioningCompressionData MiningOLAP EssbaseWarehouse BuilderBIEEBI Apps事件驱动OSB+CEPBPELBPA地理信息Spatial55扩展的数数据仓库库分析平平台ClosedLoopAnalyticsSrc2Src3Src4Src1Message QueuesCDCBulk Data, Events,Changed DataCaptureandDataServicesFusionMiddlewareIntegra

25、tionInfrastructureHourly, minute CDC, Real-timeOracle BPEL Process ManagerActive DataSEEDminiSEEDData WarehouseOracle Data IntegratorEventsServicesBulk E-LTDaily, MonthlyBAM, BI,DMandBPA InfrastructureMonitor EventsAnalyze DataOracle BAMMiningDataOracle BI with Mining & MapsMonthlyOracle BPA and Hum

26、an Workflow+RAC+Partitioning+Spatial+DataMiningUser AccessInfrastructureTake ActionWriteBackMonitor PresentAnalyze thePastPredict fortheFutureOracle Enterprise Service BusOraclePortal56Oracle数据仓库解决决方案数据仓库库系统实实施规划划总结日程通过传统统决策分分析工具具从头开开始建立立Oracle决策分析析应用针对Oracle, PeopleSoft, Siebel,SAP等的预建建业务适适配器预建的数据仓

27、库库设计，适适合您的的EDW基于角色色的指示示板和数数千个预预定义的的衡量标标准方便使用用和部署署数周或数数月后台ETL和映射数据仓库库设计定义衡量量标准和和指示板板后台ETL和映射数据仓库库设计定义衡量量标准和和指示板板培训/推广培训/推广数月或数数年Oracle 商务智能应用解决方案方法：快速实现价值降低总拥有成本保证业务价值资料来源源：PatriciaSeybold调查, Gartner, MerrillLynch, Oracle分析快速实现现价值并并降低总总拥有成成本58数据仓库库和商务务智能系系统实施施5个关键因因素为什么?开始阶段段树立信信用度和和信心怎么做?确认谁对对DW/BI最

28、感兴趣趣实施难度度评估Choose “Right” Business UnitBase on ROIPeriodic EvaluationInternal TrainingEnd Users Involvement59为什么?在开始阶阶段取得得成果怎么做?高价值和和ROI较高的数数据可用用性更好的数数据质量量更好的数数据组织织ReturnOnInvestmentChoose “Right” Business UnitBase on ROIPeriodic EvaluationInternal TrainingEnd Users Involvement数据仓库库和商务务智能系系统实施施5个关键因

29、因素60为什么?确定下一一阶段的的目标怎么做?评估当前前使用的的频率评估当前前的ROI评估用户户需求Choose “Right” Business UnitBase on ROIPeriodic EvaluationInternal TrainingEnd Users Involvement数据仓库库和商务务智能系系统实施施5个关键因因素61为什么?在内部和和外部推推广怎么做?使用经验验推广ETLReportOperationCapability提升最终终用户分分析能力力分析数据据Choose “Right” Business UnitBase on ROIPeriodic Evaluatio

30、nInternal TrainingEnd Users Involvement数据仓库库和商务务智能系系统实施施5个关键因因素62为什么?高层领导导的参与与程度直直接决定定了数据据仓库的的建设效效率“一把手手工程”业务用户户的参与与能保证证项目不不偏离业业务目标标，最终终用户对对系统的的评价是是数据仓仓库是否否成功的的标准怎么做?尽量让高高层领导导了解实实施的每每个阶段段才能充充分协调调各类资资源业务用户户充分参参与到项项目每一一个实施施的步骤骤，特别别是测试试的工作作Choose “Right” Business UnitBase on ROIPeriodic EvaluationInternal TrainingEnd Users Involvement数据仓库库和商务务智能系系统实