oracle数据仓库总体解决方案

1、Oracle 数据仓库处理方案第1页议程Oracle 企业介绍Oracle 数据仓库系统整体处理方案数据管理数据获取数据展现问题与讨论第2页Oracle - 全球卓越IT巨人Oracle 是全球第二大独立软件企业Oracle 是全球第一大数据库软件企业Oracle 是全球领先电子商务企业Oracle 是北美制造业第一大 ERP企业全球145+個国家及地域设有分支机构Oracle 全球超出42,700名员工全球超出200,000客户Oracle 总部位于加州硅谷，亚太地域总部设于新加坡财政年度营业额近 100亿美元, 研发经费超10亿美元第3页Oracle-中国营运概况1989年进入中国，199

2、1年正式成立“北京甲骨文软件系统有限企业”，是中国最大国外软件企业之一，技术及咨询人员占员工总数 62%以上提供全方位服务技术支持：技术人员提供专线与到场支持服务教育培训：专业讲师提供丰富课程，并利用互联网提供一致，全球化学习咨询顾问：专业顾问提供专业咨询服务在上海、广州、成都等地设有办事处3大培训中心，分别在北京, 广州和上海于深圳、北京设置两个全球级研发中心第4页顾问咨询产品支持教育培训电子商务套件信息协同套件商业智能数据库应用服务器数据仓库 工具Internet 平台基于Internet应用产品服务体系Oracle 完整企业、政府机构信息化处理方案体系合作搭档第5页技术发展80年代早期8

3、0年代后期90年代早期90年代后期早期关系型客户/服务器方式关系型企业级关系型Internet数据库简单OLTP,特殊 SQL查询客户/服务器方式OLTP数据仓库和高端OLTP扩展关系型Web方式应用集中数据应用平台Oracle9iInternet商务平台Grid网格计算Oracle10g下一代 Internet计算技术第6页(Source: DM Review, May )Oracle: 最大数据仓库平台厂商全球数据仓库工具市场份额IBM16%Microsoft9%NCR3%Sybase1%Others37%SAS9%Cognos4%Oracle21%(Source: IDC, Aug )第

4、7页议程Oracle 企业介绍Oracle 数据仓库系统整体处理方案数据管理数据获取数据展现问题与讨论第8页数据 数据仓库是一个建设过程，而不是一个产品。数据仓库是经过对来自不一样数据源进行统一处理及管理，经过灵活展现方法来帮助决议支持。数据仓库最新了解数据信息知识决议获取管理使用第9页Oracle 数据仓库完整架构数据转换中央数据仓库信息展现业务用户源数据数据获取数据管理数据使用项目管理 数据仓库实施指导方法论业务规划 信息评定 逻辑数据 模型设计 物理数据模型设计数据库管理 元数据管理 应用开发 顾问咨询 知识转移 TMIS系统客运系统外部信息MIS 系统抽取转化过滤加载随即查询报表多维分

5、析数据挖掘Portal集成RelationalTransformationOLAPData Mining数据集市Oracle 9i直接用户(客户端)Olap用户Web用户应用服务器决议者分析员研究员查询人员第10页OWB项目管理、数据仓库方法论 OPM DWM业务规划 信息评定 模型设计Oracle Warehouse Builder管理、开发OEM OWB Oracle9iDS 顾问咨询 知识转移 DiscovererReportBI BeanPortalTMIS系统客运系统外部信息RelationalTransformationOLAPData MiningOracle 9iMIS系统 9

6、i AS随即查询报表多维分析/数据挖掘应用服务器门户集成ETL工具Oracle提供先进、完善数据仓库技术平台数据转换中央数据仓库 信息展现 应用系统源数据数据获取数据管理数据使用第11页议程Oracle 企业介绍Oracle 数据仓库系统整体处理方案数据管理数据获取数据展现问题与讨论第12页数据集中处理需求数据量大，并不停增加Jan 1, Dec 31, 统计数量大汇总全局各业务系统: ERP 系统 MIS 系统业务数据 Date, Time, Number, Name, Addr., Amount ?.数据内容复杂详细统计货运信息、 客运信息等内容第13页数据集中处理需求数据访问性能要求高查

7、询统计第14页数据集中处理需求对安全，可靠，高可用性要求高建立集中各业务系统主要数据备份中心STOP24x7第15页高效访问大量数据 - 数据分区技术可管理性将大表分割为若干分区，“分而治之”性能“分区忽略”机制提升查询性能基于分区 join 操作可用性将故障局限在分区中缩短恢复时间各种分区方式范围(Range)分区、散列(Hash)分区、列表(List)分区混合分区第16页Partitioned Tables with Local IndexesOCTSEPAUGNOV OCTLoad and index new monthNOVNOVNOVNOVNOVNOVNOVNOVNOVNOV.“滚动

8、窗口”操作 - 大量数据高速装载第17页and add new month to tableOCTSEPNOVNOV NOV OCTOCTSEPNOVDEC NOV OCTOCTSEPNOVDEC NOV OCTOCTSEPNOVDEC NOV OCTOCTSEPNOVDEC NOV OCTOCTSEPNOVDEC NOV OCTOCTSEPNOVDEC NOV OCT“滚动窗口”操作 - 大量数据高速装载OCTSEPNOVDEC NOV OCTNOVThen remove and archive oldest monthOCTOCTLoad and index new month .Part

9、itioned Tables with Local Indexes第18页确保系统高可用性 综合信息库系统ComputerCComputerDComputerAComputerBOne databaseaccessible by all nodesOracle Real Application Cluster(Oracle并行服务器，OPS)在Cluster、MPP体系结构中，实现一个共享数据库， 支持并行处理， 均分负载，确保故障时数据库不间断运行支持Share Disk 和Share Nothing类型体系结构多个节点同时工作节点均分负载DLM第19页透明应用失效转移-利用 热失效转移 进

10、行恢复透明应用失效转移补全了可用性等级全部层次将应用和用户自动而透明地重新连接到另一个系统登录上下文可被保持应用查询不会中止节点A节点B节点A节点B当集群内节点 A 失败, 用户被转移第20页数据库节点 A数据库 缓冲器节点 B数据库 缓冲器请求数据传输Oracle9i 完全缓存融合技术提升了性能和可扩展性经过高速互连直接传输数据昂贵磁盘 I/O被最小化Cache FusionTM 体系结构第21页面向查询读共享查询操作需要读某数据块，而该块恰好在另一个实例缓存中面向更改写共享更改操作需要修改某数据块，而该块恰好在另一个实例缓存中。使用 Cache Fusion, 仅当该数据块不在全局共享缓存

11、中，才会执行磁盘读操作数据共享问题第22页Data A-Z应用Data A-Z应用Oracle9i Real Application Clusters - 可伸缩性 增加系统扩充能力增加机器时，系统性能最正确响应快速增加集群结构Clusters快速增加节点和硬盘当扩展节点时数据仓库系统无须重新组织和分布数据第23页# Users1,0261,9003,648Oracle E-Business Suite 11iOracle9i RAC 可伸缩性数据库服务器: HP N-Class 6x440MHz CPUs89%Scalability93%第24页生产数据库延迟和零数据丢失模式(Both)物理

12、后备数据库建立综合信息库高效备份中心 - Oracle9i Data Guard (Oracle Standby database)零数据丢失灾难保护经过同时/异步日志 log传输控制排除人为错误经过延迟提交 灵活切换操作主数据库和备份数据库能够灵活交换角色Data Guard Manager 在OEM图形界面管理工具内，配置、监控和管理灾难保护系统第25页物理备份数据库生产系统逻辑备份数据库主备系统双向切换管理员控制台和统一管理平台(Both)延迟和零数据丢失模式(Both)保持数据库打开状态SQL提交附加索引和物化视图建立综合信息库高效备份中心 - Oracle9i Data Guard

13、(Oracle Standby database)第26页按固定字段范围分区、哈希分区、混合分区、列表分区灵活应用、SQL语句自动重写、自优化能力高效、灵活、易于使用OLAP分析、数据挖掘和数据抽取、转换、传输、存放服务提升索引效率、增强外连接索引能力Oracle9i, 数据仓库增强技术数据分区物化视图集成OLAP、Data Mining和ETL服务位图连接索引数据分区位图索引真正仓库物化视图第27页其它汇总数据按月汇总不一样种类货运数据按地域汇总每个月货运数据查询详细货运统计查询自动重写汇总数据管理 - 物化视图Materialized View蚌埠和上海分局在过去三个月货运总量是多少？第2

14、8页表压缩(Oracle9i, 版本 2)表能被压缩 在分区级别上压缩也能详细指定经典压缩比率从 3:1到 5:1压缩由实际数据决定压缩规则基于数据冗余主要好处是节约开销节约 TB级存放而不影响性能或功效数据分区位图索引真正仓库物化视图第29页Oracle9i Database单一商业智能数据服务器RelationalETLOLAPData MiningMetadata数据获取数据管理数据展现第30页传统分析服务器数据仓库引擎数据整合引擎OLAP引擎数据挖掘引擎数据获取数据管理数据展现第31页Oracle9i 分析平台Data WarehousingETLOLAPData MiningOrac

15、le9i数据获取数据管理数据展现更强大分析能力愈加安全可靠布署和管理愈加简单第32页第33页当前业界最先进OLAP处理方法全部OLAP数据和处理过程都存放在 Oracle9iDB多维结构（维表，cube立方体）存放在数据库中没有外部文件存放或单独OLAP处理 (不一样于竞争对手产品)SQL直接访问多维目标、模型、预测等开放、基于Java标准 OLAP API利用BI Beans方式加速基于internet应用开发Oracle9iDB集成OLAP和Data MiningOLAP数据分区位图索引真正仓库物化视图第34页应用布署Oracle 9iASJava 应用或 AppletServletPDA

16、Mobile PhonePCBrowserOracle 9iOLAP 服务数据仓库BI Beans 库第35页提升了应用预报和洞察力比如，建立货运量趋势分析模型Data Mining 嵌入了 Oracle9i Database简单过程，防止了数据迁移，提供了更加好运行性能和可扩展性开放、基于Java标准 API用于开发商业智能应用Oracle9i Data Mining Data Mining数据分区位图索引真正仓库物化视图第36页ETL压力和挑战短时间内完成大量数据抽取、转换和装载 (ETL)不能影响数据源系统(业务运行系统)和目标系统(分析系统)ETL是分析系统中非常复杂和关键处理步骤第3

17、7页传统ETL 处理方法方式一：数据库外部ETL方式二：数据上载到数据库存放区域 （Staging)进行ETL第38页方式一：数据库外部ETL第39页方式一：数据库外部ETL主要风险和缺点扩展性差缺乏数据恢复能力难于维护没有充分利用数据库处理能力第40页方式二：数据库Stage中ETL第41页方式二：数据库Stage中ETL主要风险和缺点数据库需要存放两份数据：原始数据和中间结果数据数据库工具和语言对处理特殊ETL问题没有优化第42页几个高效ETL技术第43页获取改变数据（Change Data Capture CDC ) 从数据源中获取改变数据异步：Oracle LogMiner 将从归档日

18、志中发觉改变数据同时：复制技术CDC 不但有获取改变数据能力，而且还可提供公布机制，不一样系统可进行定制尤其适合于多个数据集市（Data Mart)系统ConsumptionStagingCaptureOracle Stream第44页外部表 (External Table)第45页外部表 (External Table)数据文件作为虚表，就像存放于数据库中表特点：可直接查询（Select)和连接（Join),并支持并行处理，提升Scalability免去数据装载过程，提升性能尤其适合用于外部数据(Flat files) 与数据库内数据频繁交互第46页多表插入 （Multi-Table Ins

19、ert)可将数据插入多个目标表中；或依据特殊业务转换规则，将数据插入多个可能目标表中一个尤其有利于数据转换处理包含多个目标表环境Oracle9i之前，这么处理必须执行屡次Insert操作。即需要处理n次相同源数据，数据转换将增加n倍负载。第47页Upsert 功效 MERGE INTO products tUSING products_delta sON d_id=d_idWHEN MATCHED THENUPDATE SET d_list_price=s.list_ price,d_min_price=s.min_priceWHEN NOT MATCHED THENINSERT (prod_

20、id,prod_name,.,prod_list_price,prod_min_price)VALUES (d_id, d_name, ., s.list_price,s.min_price);第48页表函数在ETL处理中，数据在被装载到数据仓库之前，通常需要经过一系列转换复杂转换通常在数据库外部或内部，以过程方式实现 （ 如存放过程） Oracle9i提供了管道和并行执行方式，实现复杂转换，无需中间存放表。第49页表函数第50页可移动表空间（ Tablespaces）为了将数据从一个数据库移到另一个库中，采取移动表空间技术是非常有效方法它不需作数据卸载和装载Oracle9i中， 确保相同数据

21、块大小限制被消除第51页Oracle9i中ETL特点：Transform while Loading第52页Oracle 企业介绍Oracle 数据仓库系统整体处理方案数据管理数据获取数据展现问题与讨论议程第53页Oracle Warehouse Builder 数据仓库建设工具设计图形化建模、映射关系定义结构生成数据仓库生成抽取转换过程元数据集成管理基于元数据数据仓库管理 OWB 是一个针对数据仓库设计、布署、管理工具数据获取数据管理数据展现第54页模型设计灵活快速数据获取数据管理数据展现第55页映射源数据和目标数据 Filter Joiner Aggregaytor Deduplicato

22、r Sorter Set operations (new) Key lookup (new) Splitter Sequence Inline Expressions Transformations Pre- and Post-Mapping Processes Cleansing Name and Address (new)第56页ETL实现能力数据获取数据管理数据展现自动化流程化第57页议程Oracle 企业介绍Oracle 数据仓库系统整体处理方案数据管理数据获取数据展现问题与讨论第58页Reports Developer成熟，高质量Web报表 无限制数据格式高质量报表展示建立和配置基于

23、Web报表Oracle9iAS Reports 基于应用服务器报表公布在Web上数据和应用安全性确保同Oracle9iAS Portal集成经过XML实现个性化数据获取数据管理数据展现第59页User A VersionUser B Version每个用户能够定义提议符合自己要求唯一报表.Version 1Version 1Version 1Version 1Version 2Version 3Version 4.对于每个新版本定义是能够重复利用User AUser B客观、详细报表定制and applied at runtime.一个单一报表定义针对全部用户.XMLXMLVersion 1V

24、ersion 2Version 3Version 4.运行时定制个性化报表数据获取数据管理数据展现第60页数据仓库业务用户数据层语义层专业技术人员Oracle Discoverer-业务人员查询工具数据获取数据管理数据展现第61页差异分析同期比较排名分析汇总趋势分析Discoverer 灵活展现方式业务分析数据获取数据管理数据展现信息预警第62页Discoverer 信息公布Oracle9iEnd UserLayer (TM) 通用术语定义 商业计算 查询 钻入/钻出 批量报表Oracle9i ASDiscoverer PlusDiscoverer ViewerAdministratiomEd

25、ition - iDS数据获取数据管理数据展现第63页Oracle9i JDeveloperOracle9i 数据库Oracle9i OLAPJava OLAP APIBI Beans快速应用开发OLAP 准备就绪多维分析-Oracle9i BI 应用开发平台可伸缩数据存放集成元数据摘要管理SQL 分析功效数据获取数据管理数据展现第64页商业智能应用公布Oracle9iASServlet EngineBI Beans Servlet/JSP ApplicationOracle9i DatabaseOracle9i OLAPJava OLAP APIClientWeb BrowserBI Bea

26、ns Java AppBI Beans Catalog数据获取数据管理数据展现第65页Business Intelligence Beans Oracle9iTableCross TabChartOracle9i OLAP optionQuery BuilderCalculation BuilderQuery Metadata ManagerConnectionPersistenceBeans Repository数据获取数据管理数据展现第66页开发人员生产力能够使用向导定义计算、交叉表、图和表在开发环境中可进行可视化编辑 BI 对象在 JDeveloper 中 BI 对象可视化定义数据获取数

27、据管理数据展现第67页实现多维分析Presentation 向导生成份析应用数据获取数据管理数据展现第68页实现多维分析打开/保留演示定义查询定义计算导出到电子数据表格式演示Applet 向导生成份析应用数据获取数据管理数据展现第69页数据获取数据管理数据展现实现多维分析JSP 向导生成份析应用第70页集成技术堆栈-Oracle9i OLAP 管理数据获取数据管理数据展现统一管理工具（OEM）第71页CWM Metadata分 析 应 用管理数据外部数据运行数据WarehouseBuilderOracle 9i Application Server9i ApplicationServerBI

28、BeansDiscovererReportsPortalOracle 9iETL InfrastructureAnalytic Services Data Mining第72页Browser/Device企业应用系统发展方向Oracle9i Application ServerOracle9i Database Server布署企业全部应用管理企业全部数据第73页Oracle 9i Application Server一个集成产品包移动访问Wireless商业智能BusinessIntelligence后端系统集成EnterpriseIntegration企业门户Portal建立交易处理站点T

29、ransactional应用和数据缓存Web &Data Caching第74页开发Internet应用开发技术J2EE / Web Service (OC4J)Framework (BC4J / TopLink)PL/SQL Server PageRAD (Forms)分析汇总打印网站技术集成技术布署安全体系性能可伸缩性高可用性管理性成本(高性价比)开放Oracle9iAS - DevelopmentPortalsWeb ServicesWirelessEnterpriseIntegrationJ2EE ApplicationsBusiness Intelligence企业应用软件四大关键原

30、因第75页Oracle9iAS J2EE FacilitiesCertified 100% J2EE 1.3 Compliant第76页J2EE 和 Web 应用开发Any Data SourcePackaged AppsServlet / JSPPerlPL/SQLFormsEJB/BC4J C/C+XML / XSLWireless &MobileBrowser开发使用 Java, XML, Perl, PL/SQL, C/C+, Forms快速开发 使用Oracle集成应用开发套件降低开发成本经过使用 统一Java, XML, SQL平台Web CacheMicrosoftIISApac

31、he第77页Wireless &MobileBrowser 100% Standards compliant - simple and complex web services 包装 J2EE, PL/SQL 和原有应用系统作为 web services JDeveloper 自动生成和布署 web Service servicesBusiness-to-BusinessAny Data SourcePackaged AppsJCAJDBCJava/J2EEApplicationsPL/SQLApplicationsHTML/XMLStreamsUDDI RegistryJdeveloperI

32、nvoke (SOAP) XML Interface (WSDL)Publish(WSDL)FindOracle9iAS 全方面Web Service开发、布署、管理第78页Oracle9iAS TopLink Oracle9iAS TopLink 世界上最先进对象结构 关系结构 映射工具使Java 应用高效访问关系型数据库Oracle9iAS TopLink第79页开发Internet应用开发技术分析汇总打印Web Report (Oracle Report)Ad-hoc Query (Discoverer)OLAP (OLAP + BI Beans)Site Analyzer (Click

33、stream)Personalization集成技术布署安全体系性能可伸缩性高可用性管理性成本开放Oracle9iAS - DevelopmentPortalsWeb ServicesWirelessEnterpriseIntegrationJ2EE ApplicationsBusiness Intelligence企业应用软件四大关键原因第80页Oracle9iAS基于Web商务智能唯一完整商务智能查询和分析 - Discoverer企业报表 - Reports高级分析 - BI Beans(OLAP)站点活动分析 Clickstream站点个性化 - Personalization唯一集成

34、商务智能9iAS, 9iDS, 9iDB集成经过门户共享商务智能门户WebCacheHTTPServerHTTPServerOther Data(Customer)LOGLOGLOGLOGClickstreamNS, IISOracle9i DB?30 Pre-built ReportsOracle ReportsDiscoverer(What-ifs)PersonalizationEngineJSPData MiningEngineOracle OLAP第81页开发Internet应用开发技术分析汇总打印网站技术Portal (Oracle Portal)Content Management

35、 (iFS)Email (Unified Messaging)集成技术布署安全体系性能可伸缩性高可用性管理性成本开放Oracle9iAS - DevelopmentPortalsWeb ServicesWirelessEnterpriseIntegrationJ2EE ApplicationsBusiness Intelligence企业应用软件四大关键原因第82页客户化第83页Single Sign-OnAs an employee.As a partner or supplier.As a customer.第84页Oracle9iAS - DevelopmentPortalsWeb Se

36、rvicesWirelessEnterpriseIntegrationJ2EE ApplicationsBusiness Intelligence开发Internet应用开发技术Web网站技术分析汇总集成技术业务流程整合 (Oracle Workflow)布署安全体系性能可伸缩性高可用性管理性成本开放企业应用软件四大关键原因第85页Oracle9iASOracle WorkflowRolesUsersDirectory ServicesNotification ServicesSendRespondForwardCancelQueryOracle Workflow Enabled Applic

37、ationOracle serverWorkflowEngineExecutionDefinitionAdministrationMonitoringQueryWorkflowBuilderWorkflowLoaderWorkflowDefinitionFilesWorkflowDevelopment Client9iASApachemod PL/SQLNotificationMailerApplicationServerWebNotificationWorklistWebMonitorWebAnalysisToolsBrowser ClientMailApplicationsAQAQAQAQ

38、AQAQBusiness Event SystemSendReceiveRaiseListenQuery第86页开发Internet应用开发技术Web网站技术分析汇总集成技术无线技术开发工具布署安全体系性能J2EE ECperfWeb Cache可伸缩性高可用性管理性成本开放Oracle9iAS - DeploymentAvailabilityUser/SecurityManagementCachingSystemsManagementPerformanceScalability企业应用软件四大关键原因第87页Oracle9iAS 在J2EE ECperf测试中最高性能和最高性价比领先第88页

39、 Improve latency by integrating content delivery networks Higher reliability by distributing caches geographicallyOracle9iASWeb CachingDistributed Web Caches(INTRANET)TriggerDatabaseIBM, BEAMicrosoftASPJSP9iASServletPERLContentDeliveryNetworkWebCache 1WebCache 2WebCache 3WebCache(Local)INTERNETFailoverClusterIntelligent Invalidation第89页Oracle9iAS集群技术表达高可用性HTTP ServerHTTPServerHTTPServerHTTP ServerLoad Balancing/ FailoverNodeANodeBNodeCNodeDDB Cluster(Persistent State)JDBCJDBCJDBCJDBCStateStateJ2EEJ2EEJ2EEJ2EEStateApp Server Cluster(Session State)Load Balanc