OracleBI数据仓库设计及解决方案

数据仓库解决方案探讨基于开放和标准业已优化,集成的和可延展的更好的性能,可靠性,安全性更短的部署时间更简便的管理与升级更低的拥有成本极大降低变更管理的风险整体支持Complete,Open,IntegratedOracle产品体系架构平台产品及技术映射

Oracle电子商务应用套件—

EBSOracle融合中间件—SOASuiteOSBBEPLBAMWebServiceManagementOracle网格基础架构层Oracle10g/11g/RACWebLogicServerOracle

展现OracleWebCenterBIEE+RUEIOracle用户和安全管理OracleIdentityManagementOracle

企业管理OracleEnterpriseManagerOracle

数据仓库PartitioningHyperionEssbaseDataMiningOracle高性能计算TimesTenCoherenceOracle

内容管理EnterpriseContentManagement业务流程层信息访问层商务智能门户数据库应用服务器存储网格基础架构层数据平台层流程管理企业服务总线规则引擎应用1应用2应用3应用4应用5安全管理拓扑管理系统的监控和调优产品生命周期管理企业管理单点登陆用户管理目录集成联盟身份应用6业务监控其它操作型数据库数据仓库批量数据加载实时/准实时更新数据获取层人工流程Oracle

数据获取层GoldenGateELT（OracleDataIntegrator

）Oracle

BPMSuite流程管理Oracle

Exadata一体机Oracle人力资源

—

PeopleSoftOracle项目管理

—

P6Oracle客户关系管理

—

SiebelOracle供应链—JDEOracle绩效管理—HyperionOracle数据仓库解决方案数据仓库系统实施规划总结日程绩效可见性是投资时最优先考虑的事项©Gartner,Inc.什么是数据仓库数据仓库概念的提出者、美国著名信息工程专家WilliamInmon博士在90年代初提出了数据仓库概念的一个表述：

“一个数据仓库通常是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，它用于对管理决策过程的支持。”

数据仓库术语–类比主题模型（表视图）数据集市用户分析结果管理员多维分析固定报表即席查询数据挖掘架构设计ETL&配置器数据仓库和商务智能解决方案CRMIVRSupplyChainFinancialHRWebCTI用户交互系统业务系统其他业务和分析数据源发现和预警交互式仪表板报表数据仓库平台企业领导经理一线员工上下游企业业务分析数据仓库移动分析实时分析即时查询商务智能分析销售分析服务分析市场分析供应链分析财务分析劳动力分析商务智能分析预制的客户和业务分析行业化和基于规则针对Siebel,SAP,PeopleSoft,Oracle,和其他数据源快速实施、低成本数据仓库平台为所有用户服务极高的扩展性和性能完整的、即时的数据提供提供更强的BI和分析能力数据仓库逻辑结构元数据数据集市数据集市数据分析BusinessModeling数据挖掘查询及报表门户数据仓库管理数据源数据仓库OLAP数据仓库构建数据仓库,模型分段数据存储抽取,转换,加载ERP数据其它数据其它数据知识工人用户决策人员数据仓库及商务智能系统逻辑架构图单点登录和统一身份管理数据仓库数据据加载OracleDataIntegrator我该如何主动管理自己应收的产品组合的风险？供应商绩效如何影响客户满意度和销售收入？

服务客户销售营销分销财务人力资源/劳动力运营采购客户客户供应商供应商供应商高级的分析往往往涵盖异构构数据源呼叫中心人员如何享有、培训并且通过报酬来影响销售人员的工作效率和交叉销售业绩？OracleDataIntegrator（ODI)是一个SOA-Ready的数据集成工工具数据集成数据仓库主数据管理实时消息数据联邦数据迁移分散在各个系统中的异构数据源ERP------------------CRM---遗留系统------------------------------------业务系统如何充分利用企业现有的信息商业智能绩效管理业务流程监控商业流程管理------------数据同步OracleDataIntegrator支持多种数据据源和目标高性能ODI可以方便地调调用数据库存存储过程、函函数、操作系系统可执行脚脚本ODI支持增量数据据捕获ODI支持BLOB/CLOB数据类型的完完全处理ODI支持将数据库库数据转换为为XML，包括BLOB/CLOB数据类型图形化界面，易于使使用E-LT架构---数据加载高性能传统的ETL架构ExtractLoadTransform新一代架构“E-LT”LoadExtractTransformTransform在单独ETL服务器上进行行转换私有的引擎性能差高成本在已有的关系系数据库上进进行转换充分利用资源源效率高高性能好处最佳的高性能能、可扩展性性易管理、低成成本ODI的易用性ODI提供图形化方方式实现异构构数据复制、、异构数据的的抽取加载以以及转换数据仓库逻辑辑结构数据仓库数据据管理OracleDB大型数据仓库库特性排序Source:OracleSTSurvey数据分区技术术提高大数据据量的访问速速度数据分区层次次的管理范围、hash、列表、复合分分区查询时自动分区忽忽略，减少对对不相关数据据的访问查询语句可以以在分区间并并行，提高CPU和IO并发增强的数据有效性性数据故障隔离离在分区而不不是表上，备备份、恢复更更灵活查询的自动分分区忽略、其其它分区数据据不受影响

ordertableDropmay04Addjan04feb04mar04apr04本地索引数据分区的益益处：显著提高访问问大表时的性性能只访问相关的的分区优化器知道或或查找相关的的分区预先用已知的的值进行静态态修剪使用内部递归归SQL查找相关的分分区来进行动动态修剪使I/O操作最小化分区忽略系统自动根据据分区情况优优化数据访问问，忽略无关关的数据分区区199819992000registerTableselectsum(register_amt)fromregisterwherereg_datebetween1998and1999表分区使用情情况?Oracle数据库的真正正应用集群技技术ComputerAComputerBComputerC高可用性保证节点故障障时连续访问,用用户连接自动动重定向（24*7）高伸缩性自动负载均衡衡，当负载增加时可可增加节点来来提高处理能能力。共享磁盘技术术高速内存通道道技术可支持多节点点配置11g中新的高级压压缩技术压缩大的应用用表9i只在数据加载载时用，因此此只适用数据据仓库系统11g适合所有命令令，可用于业业务处理系统统压缩各种数据据类型结构化数据和和非结构化数数据典型压缩比2-3X大量节省磁盘盘空间消耗2x-3x可减少IO,加强了缓存的的效率比正常读取要要快2倍压缩的成本能节省一半的的存储空间会增加5%的的CPU使用率UpTo3XCompressionSunOracleDatabaseMachine网格就是未来来高性能,低成本,冗余,线性扩展SunOracleDatabaseMachine为所有数据管管理需求交付付第一个也是是唯一一个完完整的网格架架构ExadataStorageServerGrid14x高性能低成本本存储服务器100TBrawSASdiskstorageor336TBrawSATAdiskstorage5TB+闪存(flashstorage)!RACDatabaseServerGrid8x高性能低成本本服务器每个个服服务务器器包包括括2Intelquad-coreXeonsInfiniBandNetwork40Gb/secfault-tolerantunifiedserverandstoragenetwork26ExadataFlash解决决随随机机I/O瓶瓶颈颈SunOracleDatabaseMachine有有5+TB的闪闪存存存存储储ExadataSmartCache技技术术缓缓存存热热点点访访问问的的数数据据Allowsoptimizationbyapplicationtable极大大地地降降低低成成本本同样样的的I/O能力力,超过过10x倍的的磁磁盘盘节节省省低能能耗耗Oracle是第一个闪存优化的数据库系统New5XMoreI/Osthan1000DiskEnterpriseStorageArray©2009OracleCorporation-Confidential2750XUpToOnlyonExadataExadataHybridColumnarCompression数据据以以字字段段形形式式存存储储并并压压缩缩查询询模模式式–针对对datawarehousing最优优的的速速度度典型型的的可可达达到到10X的压压缩缩率率按压压缩缩比比率率改改进进扫扫描描ArchivalMode–针对对频频繁繁的的数数据据访访问问减少少空空间间典型型的的可可达达到到15X的压压缩缩率率有些些可可达达到到50X数据据仓仓库库逻逻辑辑结结构构多维维数数据据集集市市EssbaseOracleEssbase近十十年年内内最最具具影影响响力力的的10大科科技技创创新新之之一一全球球第第一一的的多多维维数数据据库库What-if计算算多维维分分配配多用用户户读读/写写回回建建模模BI财务务智智能能维度度和和度度量量稀疏疏维维402020203015100451453018152012831295281083020187638114402020203015100451455828235032181595020998484370623325995354北京总部天津分公司济南分公司合肥分公司广州分公司深圳分公司华北地区华南地区全国商品C商品B商品A商品分类２商品分类１商品全体2003年1月2003年2月2003年3月2003年4月2003年5月2003年6月地区维度时间维度商品维度销售售额额度度量量Dimension维度度＝地区区时间间商品品Measure度量量＝销售售额额成员员卓越越的的计计算算能能力力最广广泛泛的的功功能能：：简单单汇汇总总到到复复杂杂的的跨跨维维分分配配根据据检检索索存存储储或或计计算算的的结结果果关系系识识别别条件件或或程程序序逻逻辑辑HyperionEssbase可提提高高数数据据仓仓库库性性能能1,000个并并发发查查询询1,400万客客户户帐帐户户响应时间磁盘占用空间7小时1TB响应时间磁盘占用空间.2秒1.4GB具有有Q&R工具具的的数数据据仓仓库库HyperionEssbase1%完成成，，仍仍需需要要7个小时时100%完成，共共计.2秒大数据量量、多用用户支持持分析可伸缩性国际整流器有限公司

协作需求计划销售趋势及预测制造能力与调配营销分析客户和产品盈利能力资本预算财务报表编制与分析通过改进预测降低库存成本、提高收入数据可伸伸缩性安大略省省交通部部超过100GB的39维数据库库提供14年的历史史记录230,000次事故250,000段公路450,000辆车（22个属性））185,000名受伤人人员（18个属性））通过提高高对意外外事件影影响因素素的洞察察力降低低死亡率率维护可伸缩性戴姆勒·克莱斯勒公司使用UNIX外壳脚本、AutoSys作业和TivoliTME10监控实现过程自动化4个物理服务器上运行45个数据库服务器及应用日志监控每晚更新及计算备份与恢复降低管理成本，提高应用程序的可用性用户可伸缩性NTTDoCoMo

37个业务部门及172个办事处，共30,000名用户移动电话销售客户账单资产、合同、采购与物流

人力资源

财务——-P/L、C/F、B/S、虚拟结算实时可视性数据仓库库逻辑结结构数据挖掘掘DataMiningOracleDataMining任务业务问题示例算法人群聚类客户聚类聚类预测客户行为预测用户是恶性欠款的可能性分类预测或者估算数值预测明年的产量回归影响某个业务指标最多的因素影响糖尿病患者病情好转的前十个因素因素重要性一个事物和其他事物之间的相互依存性和关联性产品或者服务打包哪些商品容易被同时购买关联异常数据或者行为发现发现客户通话中的异常行为（防欺诈）异常检测Oracle数据挖掘掘Oraclein-Database挖掘引擎擎数据挖掘掘功能(Server)PL/SQL&JavaAPIs开发&部署预测测分析应应用大量的DM算法(12)分类回归聚类异常检测测关联规则则(购物篮分分析)结构化&非结构化化数据(文本挖掘掘）Oracle数据挖掘掘器(GUI)简易化的的,直观的数数据挖掘掘预测分析析从电子表表格中“1-clickdatamining”DataWarehousingETLOLAPDataMiningOracleDBStatistics数据库内内的数据据挖掘优势ODM架构提供供了更强强大的性性能，可可扩展性性和数据据安全性性数据一直直还留在在数据库库里…一直在适适当的读读取安全全机制的的控制下下—更少的移移动部分分分析结果果可以直直接在应应用流程程里得到到应用，，不用经经过“落落地”、、转储等等耗费资资源的物物化过程程性能和可可扩展性性:快速评分分:250万个记录录在单CPU系统中只只需6秒实时评分分:在单CPU中100个模型只只需:0.085秒DataWarehousingETLOLAPDataMiningOracleDBStatisticsOracleBIEE管理员可可以看到到Oracle数据挖掘掘结果OracleBIEE定义了最最终用户户展现的的结果ODM和OracleBIEE的整合预测分析析Oracle数据挖掘掘&OracleBIEE了解更多多!大量的数数据挖掘掘算法和和(免费的)统计功能能挖掘数据据,探索更全全面的隐隐含信息息,进行预测测做的更多多!挖掘新的的信息—用OracleBIEE做部署构建的应应用可以以帮助你你“胜在分分析上”花的更少少!排除冗余余的数据据管理和和数据分分析系统统利用Oracle数据库技技术的投投资DataWarehousingETLOLAPDataMiningOracleDBStatistics您可以：：产业案例例银行业对新的银银行产品品最有兴兴趣的目目标客户户(家庭实体体融资,教育储蓄蓄计划,保险等)花旗银行行识别“忠实”客户和可可能流失失的客户户识别信用用卡欺诈诈行为的的模式根据人口口统计和和与银行行相关的的活动识识别相似似客户分分隔零售/市场预测那些些客户会会对特定定邮寄方方式有反反应识别每一一个客户户“下一个可可能的购购买目标标”找到产品品系列(e.g.电池+玩具,羊毛衫+龟领裙等等.对仓库存存货进行行网站促促销)ABCStores产业案例例保险&政府识别欺诈诈行为(交税情况况)美国内部部收入署署(IRS)预测那些些客户会会遵守新新规识别危险险客户的的行为模模式药业&保健行业业识别对不不同病情情和病人人的成功功的药物物疗法WalterReedMedicalCenter识别与疾疾病有关关的因素素(基因,综合症等等)数据仓库库逻辑结结构数据仓库库展现BIEEOracleBIEEPlusKPI指标可以钻取取到明细细动态警告告简报下载载便于离离线分析析视图选择择，动态态改变分分析方式式轻松在仪仪表盘，，即席查查询，高高级报表表等功能能间切换换图形钻取取，追寻寻问题根根源指标选择择，快速速切换关关注焦点点OracleBIEEPlus直观的维维度展示示和选取取轻松进行行钻取、、旋转、、切片等等复杂分分析快速添加加各种数数据视图图数据仓库库扩展动静相宜宜数据仓库库和商务务智能系系统的发发展趋势势从静态走走向动态态PhaseII–扩展PhaseI–基础DataCenterDataWarehouseDataSourceLayerOracleEBSPeopleSoftSAP/R3OtherSourcesCRMMsgQueuesBusinessIntelligenceAnalyticsReportingETL/Share更实时更主动更有效更直观这就是BI/DW的全部？扩展的数数据仓库库分析平平台Oracle能提供什什么产品品扩展功能能Oracle数据仓库库和商务务智能产产品Oracle扩展功能能产品及时响应DataIntegratorBAMTimesTen闭环分析SecurityPortalPartitioningCompressionDataMiningOLAPEssbaseWarehouseBuilderBIEEBIApps事件驱动OSB+CEPBPELBPA地理信息Spatial扩展的数数据仓库库分析平平台ClosedLoopAnalyticsSrc2Src3Src4Src1MessageQueuesCDCBulkData,Events,ChangedDataCaptureandDataServicesFusionMiddlewareIntegrationInfrastructureHourly,minuteCDC,Real-timeOracleBPELProcessManagerActiveDataSEEDminiSEEDDataWarehouseOracleDataIntegratorEventsServicesBulkE-LTDaily,MonthlyBAM,BI,DMandBPAInfrastructureMonitorEventsAnalyzeDataOracleBAMMiningDataOracleBIwithMining&MapsMonthlyOracleBPAandHumanWorkflow+RAC+Partitioning+Spatial+DataMiningUserAccessInfrastructureTakeActionWriteBackMonitorPresentAnalyzethePastPredictfortheFutureOracleEnterpriseServiceBusOraclePortalOracle数据仓库解决决方案数据仓库库系统实实施规划划总结日程通过传统统决策分分析工具具从头开开始建立立Oracle决策分析析应用针对Oracle,PeopleSoft,Siebel,SAP等的预建建业务适适配器预建的数据仓库库设计，适适合您的的EDW基于角色色的指示示板和数数千个预预定义的的衡量标标准方便使用用和部署署数周或数数月后台ETL和映射数据仓库库设计定义衡量量标准和和指示板板后台ETL和映射数据仓库库设计定义衡量量标准和和指示板板培训/推广培训/推广数月或数数年Oracle商务智能应用解决方案方法：快速实现价值降低总拥有成本保证业务价值资料来源源：PatriciaSeybold调查,Gartner,MerrillLynch,Oracle分析快速实现现价值并并降低总总拥有成成本数据仓库库和商务务智能系系统实施施5个关键因因素为什么?开始阶段段树立信信用度和和信心怎么做?确认谁对对DW/BI最感兴趣趣实施难度度评估Choose“Right”BusinessUnitBaseonROIPeriodicEvaluationInternalTrainingEndUsersInvolvement为什么?在开始阶阶段取得得成果怎么做?高价值和和ROI较高的数数据可用用性更好的数数据质量量更好的数数据组织织ReturnOnInvestmentChoose“Right”BusinessUnitBaseonROIPeriodicEvaluationInternalTrainingEndUsersInvolvement数据仓库库和商务务智能系系统实施施5个关键因因素为什么?确定下一一阶段的的目标怎么做?评估当前前使用的的频率评估当前前的ROI评估用户户需求Choose“Right”BusinessUnitBaseonROIPeriodicEvaluationInternalTrainingEndUsersInvolvement数据仓库库和商务务智能系系统实施施5个关键因因素为什么?在内部和和外部推推广怎么做?使用经验验推广ETLReportOperationCapability………提升最终终用户分分析能力力分析数据据Choose“Right”BusinessUnitBaseonROIPeriodicEvaluationInternalTrainingEndUsersInvolvement数据仓库库和商务务智能系系统实施施5个关键因因素为什么?高层领导导的参与与程度直直接决定定了数据据仓库的的建设效效率““一把手手工程””业务用户户的参与与能保证证项目不不偏离业业务目标标，最终终用户对对系统的的评价是是数据仓仓库是否否成功的的标准怎么做?尽量让高高层领导导了解实实施的每每个阶段段才能充充分协调调各类资资源业务用户户充分参参与到项项目每一一个实施施的步骤骤，特别别是测试试的工作作Choose“Right”BusinessUnitBaseonROIPeriodicEvaluationInternalTrainingEndUsersInvolvement数据仓库库和商务务智能系系统实施施5个关键因因素DW/BI系统实施施方法论论需求分析析信息收集集模型设计计数据仓库库架构设设计商务智能能应用开开发运行维护护数据抽取取RA––需求分析析IC––信息收集集AD––数