BI商业智能简介ppt课件

1、BI/DW IntroductionJames ChenPSO Sr. Consultant.程序=算法+数据构造-Niklaus Wirth 数据构造 离散构造 线形构造 - 数组链表栈队列 树 图算法 空间复杂度 时间复杂度.用户内存中数据构造物理数据构造E-R业务流程二者相辅相成，不同运用偏重不同经典业务系统模型Skill set数据库C+/J2EE/.netPowerDesignerER_WINOOUML面向过程.OO Design WorkflowDevelop Business Type ModelIdentify Business InterfacesIdentify Syste

2、m Interfaces & OpsCreate Initial Comp Specs & ArchitectureDiscover Business OperationsRefine Interfaces & OpsRefine Component Specs & ArchitectureDefine Interface Information ModelsSpecify Operation Pre/PostconditionsSpecify Component Interface ConstraintsBusiness Concept ModelUse Case ModelBusiness

3、 InterfacesSystem InterfacesInterfacesInterfacesComponent Specs & ArchitectureComponent Specs & ArchitectureComponent Specs & ArchitectureBusiness Type ModelArchitecture PatternsExisting InterfacesExisting AssetsComponent Identification Component InteractionComponent Specification.笑一笑数据仓库初学者：数据仓库与数据

4、库有什么区别？某专家：一个有仓一个没仓！.BI/DW的引出统计报表需求数字越来越重要报表越来越多效率越来越差.数据仓库的定义“数据仓库是在企业管理和决策中面向主题的, 集成的, 与时间相关的和不可修正的数据集合 Bill Inmon数据仓库(Data Warehouse)是一种专为联机分析运用和决策支持系统提供数据源的构造化的数据环境数据仓库要处理的问题是从数据库中获取信息的问题。数据信息INFORMATIONINFORMATIONINFORMATIONINFORMATION.影响数据仓库的几个人物Bill Inmon - Ralph Kimball - Bernard Liautaud -

5、.OLTP与数据仓库系统RDBMS关系数据库SAP/ERPVSAM主机系统EXCELWeb/XMLOLTP业务系统数据仓库系统 数据是当前的数据总在实时变化中存储明细数据优化是针对即时更新的事务处置支持日常的业务支持办事人员或行政人员 数据是历史的数据是静态的，除数据刷新外数据是汇总的优化是针对大批量查询而不是更新支持长久的业务战略决策支持决策人员和管理人员面向事务面向决策5-10 年数据集市分析型CRM业务目的分析数据仓库.BI系统建立方法 1直接建立BI运用OLTP数据源 各种前端运用KPI目的报表多维分析即席查询数据发掘.数据仓库环境 业务智能层中央数据仓库数据仓库数据集结数据源 公司数

6、据源外部数据源BIW数据集市数据仓库管理子系统 数据仓库元数据目录信息访问和 援用部件 BI系统建立方法 2.企业数据仓库体系架构RelationalPackageLegacyExternalsourceDataCleanToolSource DataDataStagingWareHouseAdmin. ToolsEnterprise DataWarehouse Data Extraction,Transformationand loadDatamartDatamartEnterprise/Central DataWarehouseRDBMSROLAPRDBMSRDBMSArchitected

7、DatamartsCentralMetadata Data Modeling ToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocal MetadataLocal Metadata.典型物理架构ETL_DM1ETL_DM2BAS_DW1BAS_DW2BAS_OP1BAS_OP2Bas_sw01Bas_sw02Dx_sp01Dx_sp02Dx_sp03元数据管理效力器BAS_SM1BAS_SM270T!.企业数据仓库的目的数据整合-建立一个企业一致的信息平台建立一致的业务数据定义建立独一的统计分析数据源快速访问采用适宜企业BI运用的

8、数据组织方式新需求的开发快数据获取的效率快业务管理层业务操作层战略层底层数据低粒度汇总高粒度汇总.建立数据仓库的主要义务数据仓库建模ETL前端展现组数据发掘元数据.数据仓库引擎NCR TeredataORACLE 9以上DB2 EEESybase IQMS SQL Server.维模型的设计每个维可以由一个或多个维层次或聚合途径组成Dimension 1现实Dimension 2Dimension 4measure 1measure 2.supportive attributes.Dimension 3aggregation path or dimension hierarchydimensi

9、on key 1dimension key 2.aggregation levels.IWS模型的特点简单视图实例.仓库底层设计考量一慢速变化维问题快速变化和慢速变化.仓库底层设计考量二粒度问题一天变化多次入库时间.仓库中间层设计考量基于用户标识多个粒度汇总综合各个数据集市效率思索.仓库集市层设计考量面向运用报表集市发掘集市主题集市KPI集市维模型以最细粒度数据为主表加物化视图.数据仓库与数据集市数据源CUBE报表现实表维表维表维表维表数据仓库现实视图维视图维视图维视图维视图业务驱动数据驱动数据集市.设计技巧星型还是雪花？组合代理键慢速变化维维度的不同层次处置聚合表的设计.ETL过程源表构造

10、- 目的构造工具？本人编码？-业务逻辑的义务曾经很大实时义务和批量义务CDC的处置ODS的处置？BO Date IntegratorInformatica PowerCenterDatastageSagent.数据源大数据量变化数据关联数据手工数据抽取时机和最迟到达时间！.数据源考量-大数据量二十余种清单上万个文件，大小不一一天几十GB的数据.数据源考量-变化数据实时变化未存历史.数据源考量-关联数据没有transaction几个文件不一致怎样办？.数据源考量-手工数据外部录入？OLTP系统？天气社会目的集团客户信息操作型CRM.数据源考量-历史数据更新修正昨日数据批错价/延迟话单等.ETL抽

11、取/转换/加载源数据的了解加载时间4小时ETL实现工具Loader汇总数据库汇总还是文件汇总调度.ETL-调度一天几十GB的数据并行度/义务大小/资源/优先级调度清单类大数据量-文件的拆分和合并/实时处置业务类实体之间的关系复杂-稽合帐务类数据准确-验证参数类变化影响其他实体-告警/事先处置其他义务月末处置.前端展现固定报表多维分析即席查询仪表盘数据挖据BO(CR)Hyperion(Brio)CognosMicrostrategy.仪表盘.OLAP分析.报表，即席查询.固定报表格式灵敏多变Crystal ReportMSTRBrioReportNet.多维分析MOLAP - Cognos Po

12、werPlay,Hyperion EssbaseROLAP - BOE, MSTRHOLAP - BO - MS OLAP切片旋转切块钻取.OLAP分析多角度、多层次对同一主题进展分析经过旋转、钻取、切片等技术探察数据旋转：按不同顺序组织各个维，对结果进展调查钻取：在一个维内部沿着从高到低或从低到高的方向调查数据(有上钻和下钻两种)切片：在确定某些维数据的情况下对其他维进展察看有MOLAP、ROLAP、HOLAP三种实现方式.OLAP设计-目的还是维度性别年龄长途类型通话时段客户数通话时长性别年龄客户数通话时长 长途类型通话时长 通话时段通话时长 1-2点通话时长.即席查询语义层效率很关键BO

13、语义层.仪表盘仪表盘、KPI-EPM整合了企业的整个绩效、把告警、报表、分析穿在了一同BO EPMHyperion BPM.数据发掘机器学习数理统计数据库预测、特征分析、客户分类SASSPSS.数据发掘实施的体系构造数据仓库数据发掘引擎算法数据选择知识库评价修正知识建模分析员领域知识元数据.元数据管理什么是元数据？元数据和开发文档有何区别？为什么单单在数据仓库中如此注重元数据？文档语音计费GPRS计费文档帐务文档结算营业文档文档客服文档MIS网管HR文档文档文档.元数据管理(续)业务元数据业务元数据用业务称号、定义、描画和别名来表示数据仓库和业务系统中的各种属性，直接供业务分析人员运用。技术元数据技术元数据描画了数据源、数据转换、抽取过程、加载战略以及目的数据库的定义等。 .元数据管理(续)CWM 1.0数据源ETL数据仓库数据集市OLAP CUBE.元数据管理(续)能分析什么？Wh