OracleBI数据仓库设计及解决方案

数据仓库解决方案探讨基于开放和标准业已优化,集成的和可延展的更好的性能,可靠性,安全性更短的部署时间更简便的管理与升级更低的拥有成本极大降低变更管理的风险整体支持Complete,Open,IntegratedOracle产品体系架构平台产品及技术映射

Oracle电子商务应用套件—

EBSOracle融合中间件—SOASuiteOSBBEPLBAMWebServiceManagementOracle网格基础架构层Oracle10g/11g/RACWebLogicServerOracle

展现OracleWebCenterBIEE+RUEIOracle用户和安全管理OracleIdentityManagementOracle

企业管理OracleEnterpriseManagerOracle

数据仓库PartitioningHyperionEssbaseDataMiningOracle高性能计算TimesTenCoherenceOracle

内容管理EnterpriseContentManagement业务流程层信息访问层商务智能门户数据库应用服务器存储网格基础架构层数据平台层流程管理企业服务总线规则引擎应用1应用2应用3应用4应用5安全管理拓扑管理系统的监控和调优产品生命周期管理企业管理单点登陆用户管理目录集成联盟身份应用6业务监控其它操作型数据库数据仓库批量数据加载实时/准实时更新数据获取层人工流程Oracle

数据获取层GoldenGateELT（OracleDataIntegrator

）Oracle

BPMSuite流程管理Oracle

Exadata一体机Oracle人力资源

—

PeopleSoftOracle项目管理

—

P6Oracle客户关系管理

—

SiebelOracle供应链—JDEOracle绩效管理—HyperionOracle数据仓库解决方案数据仓库系统实施规划总结日程绩效可见性是投资时最优先考虑的事项©Gartner,Inc.什么是数据仓库数据仓库概念的提出者、美国著名信息工程专家WilliamInmon博士在90年代初提出了数据仓库概念的一个表述：

“一个数据仓库通常是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，它用于对管理决策过程的支持。”

数据仓库术语–类比主题模型（表视图）数据集市用户分析结果管理员多维分析固定报表即席查询数据挖掘架构设计ETL&配置器数据仓库和商务智能解决方案CRMIVRSupplyChainFinancialHRWebCTI用户交互系统业务系统其他业务和分析数据源发现和预警交互式仪表板报表数据仓库平台企业领导经理一线员工上下游企业业务分析数据仓库移动分析实时分析即时查询商务智能分析销售分析服务分析市场分析供应链分析财务分析劳动力分析商务智能分析预制的客户和业务分析行业化和基于规则针对Siebel,SAP,PeopleSoft,Oracle,和其他数据源快速实施、低成本数据仓库平台为所有用户服务极高的扩展性和性能完整的、即时的数据提供提供更强的BI和分析能力数据仓库逻辑结构元数据数据集市数据集市数据分析BusinessModeling数据挖掘查询及报表门户数据仓库管理数据源数据仓库OLAP数据仓库构建数据仓库,模型分段数据存储抽取,转换,加载ERP数据其它数据其它数据知识工人用户决策人员数据仓库及商务智能系统逻辑架构图单点登录和统一身份管理数据仓仓库数数据加加载OracleDataIntegrator我该如何主动管理自己应收的产品组合的风险？供应商绩效如何影响客户满意度和销售收入？

服务客户销售营销分销财务人力资源/劳动力运营采购客户客户供应商供应商供应商高级的的分析析往往往涵盖盖异构构数据据源呼叫中心人员如何享有、培训并且通过报酬来影响销售人员的工作效率和交叉销售业绩？OracleDataIntegrator（ODI)是一个个SOA-Ready的数据据集成成工具具数据集成数据仓库主数据管理实时消息数据联邦数据迁移分散在各个系统中的异构数据源ERP------------------CRM---遗留系统------------------------------------业务系统如何充分利用企业现有的信息商业智能绩效管理业务流程监控商业流程管理------------数据同步OracleDataIntegrator支持多多种数数据源源和目目标高性能能ODI可以方方便地地调用用数据据库存存储过过程、、函数数、操操作系系统可可执行行脚本本ODI支持增增量数数据捕捕获ODI支持BLOB/CLOB数据类类型的的完全全处理理ODI支持将将数据据库数数据转转换为为XML，包括BLOB/CLOB数据类类型图形化化界面，，易于于使用用E-LT架构---数据加加载高性能能传统的ETL架构ExtractLoadTransform新一代架构“E-LT”LoadExtractTransformTransform在单独独ETL服务器器上进进行转转换私有的的引擎擎性能差差高成本本在已有有的关关系数数据库库上进进行转转换充分利利用资资源效率高高高性能能好处最佳的的高性性能、、可扩扩展性性易管理理、低低成本本ODI的易用用性ODI提供图图形化化方式式实现现异构构数据据复制制、异异构数数据的的抽取取加载载以及及转换换数据仓仓库逻逻辑结结构数据仓仓库数数据管管理OracleDB大型数数据仓仓库特性排排序Source:OracleSTSurvey数据分分区技技术提提高大大数据据量的的访问问速度度数据分分区层层次的的管理理范围、、hash、、列表、、复合合分区区查询时自动动分区区忽略略，减减少对对不相相关数数据的的访问问查询语语句可可以在在分区区间并并行，，提高高CPU和IO并发增强的数据据有效效性数据故故障隔隔离在在分区区而不不是表表上，，备份份、恢恢复更更灵活活查询的的自动动分区区忽略略、其其它分分区数数据不不受影影响

ordertableDropmay04Addjan04feb04mar04apr04本地索引数据分分区的的益处处：显著提提高访访问大大表时时的性性能只访问问相关关的分分区优化器器知道道或查查找相相关的的分区区预先用用已知知的值值进行行静态态修剪剪使用内内部递递归SQL查找相相关的的分区区来进进行动动态修修剪使使I/O操作最最小化化分区忽忽略系统自自动根根据分分区情情况优优化数数据访访问，，忽略略无关关的数数据分分区199819992000registerTableselectsum(register_amt)fromregisterwherereg_datebetween1998and1999表分区区使用用情况况?Oracle数据库库的真真正应应用集集群技技术ComputerAComputerBComputerC高可用用性保证节节点故故障时时连续访访问,用户户连接接自动动重定定向（（24*7）高伸缩缩性自动负载均均衡，当负载增加时时可增加节节点来提高高处理能力力。共享磁盘技技术高速内存通通道技术可支持多节节点配置11g中新的高级级压缩技术术压缩大的应应用表9i只在数据加加载时用，，因此只适适用数据仓仓库系统11g适合所有命命令，可用用于业务处处理系统压缩各种数数据类型结构化数据据和非结构构化数据典型压缩比比2-3X大量节省磁磁盘空间消消耗2x-3x可减少IO,加强了缓存存的效率比正常读取取要快2倍倍压缩的成本本能节省一半半的存储空空间会增加5%的CPU使用率UpTo3XCompressionSunOracleDatabaseMachine网格就是未未来高性能,低成本,冗余,线性扩展SunOracleDatabaseMachine为所有数据据管理需求求交付第一一个也是唯唯一一个完完整的网格格架构ExadataStorageServerGrid14x高性能低成成本存储服务器器100TBrawSASdiskstorageor336TBrawSATAdiskstorage5TB+闪存(flashstorage)!RACDatabaseServerGrid8x高性能低成成本服务器器每个服务器器包括2Intelquad-coreXeonsInfiniBandNetwork40Gb/secfault-tolerantunifiedserverandstoragenetwork26ExadataFlash解决随机I/O瓶颈颈SunOracleDatabaseMachine有5+TB的闪存存储储ExadataSmartCache技术术缓存热点点访问的数数据Allowsoptimizationbyapplicationtable极大地降低低成本同样的I/O能力,超过10x倍的磁盘节节省低能耗Oracle是第一个闪存优化的数据库系统New5XMoreI/Osthan1000DiskEnterpriseStorageArray©2009OracleCorporation-Confidential2750XUpToOnlyonExadataExadataHybridColumnarCompression数据以字段段形式存储储并压缩查询模式–针对datawarehousing最优的速度度典型的可达达到10X的压缩率按压缩比率率改进扫描描ArchivalMode–针对频繁的的数据访问问减少空间典型的可达达到15X的压缩率有些可达到到50X数据仓库逻逻辑结构多维数据集集市EssbaseOracleEssbase近十年内最最具影响力力的10大科技创新新之一全球第一的的多维数据据库What-if计算多维分配多用户读/写写回建模BI财务智能维度和度量量稀疏维402020203015100451453018152012831295281083020187638114402020203015100451455828235032181595020998484370623325995354北京总部天津分公司济南分公司合肥分公司广州分公司深圳分公司华北地区华南地区全国商品C商品B商品A商品分类２商品分类１商品全体2003年1月2003年2月2003年3月2003年4月2003年5月2003年6月地区维度时间维度商品维度销售额度量量Dimension维度＝地区时间商品Measure度量＝销售额成员卓越的计算算能力最广泛的功功能：简单汇总到到复杂的跨跨维分配根据检索存存储或计算算的结果关系识别条件或程序序逻辑HyperionEssbase可提高数据据仓库性能能1,000个并发查询询1,400万客户帐户户响应时间磁盘占用空间7小时1TB响应时间磁盘占用空间.2秒1.4GB具有Q&R工具的数据据仓库HyperionEssbase1%完成，仍需需要7个小时100%完成，共计计.2秒大数据量、、多用户支支持分析可伸缩性国际整流器有限公司

协作需求计划销售趋势及预测制造能力与调配营销分析客户和产品盈利能力资本预算财务报表编制与分析通过改进预测降低库存成本、提高收入数据可伸缩缩性安大略省交交通部超过100GB的39维数据库提提供14年的历史记记录230,000次事故250,000段公路450,000辆车（22个属性）185,000名受伤人员员（18个属性）通过提高对对意外事件件影响因素素的洞察力力降低死亡亡率维护可伸缩性戴姆勒·克莱斯勒公司使用UNIX外壳脚本、AutoSys作业和TivoliTME10监控实现过程自动化4个物理服务器上运行45个数据库服务器及应用日志监控每晚更新及计算备份与恢复降低管理成本，提高应用程序的可用性用户可伸缩性NTTDoCoMo

37个业务部门及172个办事处，共30,000名用户移动电话销售客户账单资产、合同、采购与物流

人力资源

财务——-P/L、C/F、B/S、虚拟结算实时可视性数据仓库逻逻辑结构数据挖掘DataMiningOracleDataMining任务业务问题示例算法人群聚类客户聚类聚类预测客户行为预测用户是恶性欠款的可能性分类预测或者估算数值预测明年的产量回归影响某个业务指标最多的因素影响糖尿病患者病情好转的前十个因素因素重要性一个事物和其他事物之间的相互依存性和关联性产品或者服务打包哪些商品容易被同时购买关联异常数据或者行为发现发现客户通话中的异常行为（防欺诈）异常检测Oracle数据挖掘Oraclein-Database挖掘引擎数据挖掘功功能(Server)PL/SQL&JavaAPIs开发&部署预测分分析应用大量的DM算法(12)分类回归聚类异常检测关联规则(购物篮分析析)结构化&非结构化数数据(文本挖掘））Oracle数据挖掘器器(GUI)简易化的,直观的数据据挖掘预测分析从电子表格格中“1-clickdatamining””DataWarehousingETLOLAPDataMiningOracleDBStatistics数据库内的的数据挖掘掘优势ODM架构提供了了更强大的的性能，可可扩展性和和数据安全全性数据一直还还留在数据据库里…一直在适当当的读取安安全机制的的控制下—更少的移动动部分分析结果可可以直接在在应用流程程里得到应应用，不用用经过“落落地”、转转储等耗费费资源的物物化过程性能和可扩扩展性:快速评分:250万个记录在在单CPU系统中只需需6秒实时评分:在单CPU中100个模型只需需:0.085秒DataWarehousingETLOLAPDataMiningOracleDBStatisticsOracleBIEE管理员可以以看到Oracle数据挖掘结结果OracleBIEE定义了最终终用户展现现的结果ODM和OracleBIEE的整合预测分析Oracle数据挖掘&OracleBIEE了解更多!大量的数据据挖掘算法法和(免费的)统计功能挖掘数据,探索更全面面的隐含信信息,进行预测做的更多!挖掘新的信信息—用OracleBIEE做部署构建的应用用可以帮助助你“胜在分析析上”花的更少!排除冗余的的数据管理理和数据分分析系统利用Oracle数据库技术术的投资DataWarehousingETLOLAPDataMiningOracleDBStatistics您可以：：产业案例银行业对新的银行行产品最有有兴趣的目目标客户(家庭实体融融资,教育储蓄计计划,保险等)花旗银行识别“忠实”客户和可能能流失的客客户识别信用卡卡欺诈行为为的模式根据人口统统计和与银银行相关的的活动识别别相似客户户分隔零售/市场预测那些些客户会会对特定定邮寄方方式有反反应识别每一一个客户户“下一个可可能的购购买目标标”找到产品品系列(e.g.电池+玩具,羊毛衫+龟领裙等等.对仓库存存货进行行网站促促销)ABCStores产业案例例保险&政府识别欺诈诈行为(交税情况况)美国内部部收入署署(IRS)预测那些些客户会会遵守新新规识别危险险客户的的行为模模式药业&保健行业业识别对不不同病情情和病人人的成功功的药物物疗法WalterReedMedicalCenter识别与疾疾病有关关的因素素(基因,综合症等等)数据仓库库逻辑结结构数据仓库库展现BIEEOracleBIEEPlusKPI指标可以钻取取到明细细动态警告告简报下载载便于离离线分析析视图选择择，动态态改变分分析方式式轻松在仪仪表盘，，即席查查询，高高级报表表等功能能间切换换图形钻取取，追寻寻问题根根源指标选择择，快速速切换关关注焦点点OracleBIEEPlus直观的维维度展示示和选取取轻松进行行钻取、、旋转、、切片等等复杂分分析快速添加加各种数数据视图图数据仓库库扩展动静相宜宜数据仓库库和商务务智能系系统的发发展趋势势从静态走走向动态态PhaseII–扩展PhaseI–基础DataCenterDataWarehouseDataSourceLayerOracleEBSPeopleSoftSAP/R3OtherSourcesCRMMsgQueuesBusinessIntelligenceAnalyticsReportingETL/Share更实时更主动更有效更直观这就是BI/DW的全部？扩展的数数据仓库库分析平平台Oracle能提供什什么产品品扩展功能能Oracle数据仓库库和商务务智能产产品Oracle扩展功能能产品及时响应DataIntegratorBAMTimesTen闭环分析SecurityPortalPartitioningCompressionDataMiningOLAPEssbaseWarehouseBuilderBIEEBIApps事件驱动OSB+CEPBPELBPA地理信息Spatial扩展的数数据仓库库分析平平台ClosedLoopAnalyticsSrc2Src3Src4Src1MessageQueuesCDCBulkData,Events,ChangedDataCaptureandDataServicesFusionMiddlewareIntegrationInfrastructureHourly,minuteCDC,Real-timeOracleBPELProcessManagerActiveDataSEEDminiSEEDDataWarehouseOracleDataIntegratorEventsServicesBulkE-LTDaily,MonthlyBAM,BI,DMandBPAInfrastructureMonitorEventsAnalyzeDataOracleBAMMiningDataOracleBIwithMining&MapsMonthlyOracleBPAandHumanWorkflow+RAC+Partitioning+Spatial+DataMiningUserAccessInfrastructureTakeActionWriteBackMonitorPresentAnalyzethePastPredictfortheFutureOracleEnterpriseServiceBusOraclePortalOracle数据仓库解决决方案数据仓库库系统实实施规划划总结日程通过传统统决策分分析工具具从头开开始建立立Oracle决策分析析应用针对Oracle,PeopleSoft,Siebel,SAP等的预建建业务适适配器预建的数据仓库库设计，适适合您的的EDW基于角色色的指示示板和数数千个预预定义的的衡量标标准方便使用用和部署署数周或数数月后台ETL和映射数据仓库库设计定义衡量量标准和和指示板板后台ETL和映射数据仓库库设计定义衡量量标准和和指示板板培训/推广培训/推广数月或数数年Oracle商务智能应用解决方案方法：快速实现价值降低总拥有成本保证业务价值资料来源源：PatriciaSeybold调查,Gartner,MerrillLynch,Oracle分析快速实现现价值并并降低总总拥有成成本数据仓库库和商务务智能系系统实施施5个关键因因素为什么?开始阶段段树立信信用度和和信心怎么做?确认谁对对DW/BI最感兴趣趣实施难度度评估Choose“Right”BusinessUnitBaseonROIPeriodicEvaluationInternalTrainingEndUsersInvolvement为什么?在开始阶阶段取得得成果怎么做?高价值和和ROI较高的数数据可用用性更好的数数据质量量更好的数数据组织织ReturnOnInvestmentChoose“Right”BusinessUnitBaseonROIPeriodicEvaluationInternalTrainingEndUsersInvolvement数据仓库库和商务务智能系系统实施施5个关键因因素为什么?确定下一一阶段的的目标怎么做?评估当前前使用的的频率评估当前前的ROI评估用户户需求Choose“Right”BusinessUnitBaseonROIPeriodicEvaluationInternalTrainingEndUsersInvolvement数据仓库库和商务务智能系系统实施施5个关键因因素为什么?在内部和和外部推推广怎么做?使用经验验推广ETLReportOperationCapability………提升最终终用户分分析能力力分析数据据Choose“Right”BusinessUnitBaseonROIPeriodicEvaluationInternalTrainingEndUsersInvolvement数据仓库库和商务务智能系系统实施施5个关键因因素为什么?高层领导导的参与与程度直直接决定定了数据据仓库的的建设效效率““一把手手工程””业务用户户的参与与能保证证项目不不偏离业业务目标标，最终终用户对对系统的的评价是是数据仓仓库是否否成功的的标准怎么做?尽量让高层领领导了解实施施的每个阶段段才能充分协协调各类资源源业务用户充分分参与到项目目每一个实施施的步骤，特特别是测试的的工作Choose“Right”BusinessUnitBaseonROIPeriodicEvaluationInternalTrainingEndUsersInvolvement数据仓库和商商务智能系统统实施5个关键因素DW/BI系统实施方法法论需求分析信息收集模型设计数据仓库架构构设计商务智能应用用开发运行维护数据抽取RA–需求分析IC–信息收集AD–数据仓库架构构设计MD–模型设计FA–商务智能应用开发数据抽取RM–应用维护OracleD