数据仓库与商业智能概述

数据仓库与商业智能-4-20数据仓库与商业智能概述第1页主要内容数据仓库起源和发展数据仓库定义和特点数据仓库体系结构数据仓库建设方法商业智能数据仓库与商业智能概述第2页数据仓库起源和发展数据仓库与商业智能概述第3页数据管理历史人工管理方式这一时期是在20世纪50年代中期以前，这一阶段计算机应用主要用于科学计算，外存只有纸带、磁带、卡片等，数据处理方式基本上是批处理。这一时期数据管理特点是：数据不保留；没有专用数据管理软件，每个应用都必须自己完成存放结构、存取方法、输入输出等数据管理功效；一组数据对应一个应用，这使得程序之间可能有重复数据。文件系统管理这一阶段在20世纪50年代后期至60年代中后期，计算机应用开始用于信息管理，因为数据存放、检索和维护等需求，使得对应研究开展起来了，在硬件和软件方面都得到了发展，磁盘磁鼓出现，操作系统也产生。数据库系统（60年代末开始）关系数据库之父E.F.Codd提出了关系模型(ER)，促进了联机事务处理(OLTP)发展，数据以表格形式而非文件方式存放。数据仓库与商业智能概述第4页数据库到数据仓库传统数据库环境中以数据库为中心，数据资源组织方式单一；侧重对数据管理，操作型处理（OLTP，联机事务处理），关心是响应时间，数据安全性和完整性；问题：“易进不易出”

数据仓库与商业智能概述第5页数据库到数据仓库数据处理不停有新需求（联机事务、批处理、决议分析）分析型处理（OLAP，联机分析处理）

用于管理人员决议分析，经常要访问大量历史数据，而极少对数据库进行写操作，除非对数据库进行更新或装入时。人们希望从中取得跟企业经营效益紧密相关信息。数据仓库与商业智能概述第6页数据仓库产生（1）数据集成（2）历史数据应用需求（3）查询性能数据仓库与商业智能概述第7页数据集成企业全方面经营数据OLTP分散在不一样系统中(关键、信贷、国结)外部数据(市场数据、竞争对手)集成数据建立关联各业务系统之间业务事件联络统一（统一事实、维度）历史数据普通全国股份制商业银行一天交易流水在150W左右通常业务系统只保留当前历史数据查询困难数据仓库与商业智能概述第8页数据集成数据一致化在很多情况下，大型企业会产生数据不一致情况数据仓库数据要保持一致化和准确性数据综合各种不一样粒度数据集成问题详细粒度中等聚集高层聚集外部数据集成数据仓库与商业智能概述第9页查询性能提升数据查询效率OLTP系统面向数据维护数据仓库面向数据查询提升查询功效为最主要目标数据仓库与商业智能概述第10页发展动力业务需求驱动主要是详细分析科学经营市场活动细化和实施等数据驱动数据量不停扩大需要相关技术全方面了解企业结论：以单一数据组织方式进行组织数据库，不能满足新型数据处理多样化要求，数据仓库技术应运而生数据仓库与商业智能概述第11页数据仓库概念和特征数据仓库与商业智能概述第12页数据仓库概念数据仓库（EDW，EnterpriseDataWareHouse）数据仓库无非是全部数据集市集合

--RalphKimball数据仓库无非是面向主题、集成、不一样时间、稳定数据集合方便支持管理决议--BillInmon数据仓库是一个过程不是一个项目数据仓库与商业智能概述第13页数据仓库特点面向主题数据所代表业务内容划分，而不是以应用划分集成数据所代表业务内容划分，而不是以应用划分不一样时间数据按照时间组织，并存放在不一样时间切片稳定不允许对数据进行更新，只允许初始加载和查询数据仓库与商业智能概述第14页数据仓库系统结构数据仓库与商业智能概述第15页数据仓库结构OperationalDataStoreETL数据源DataWarehouse数据源数据源DataMartDataMartDataMart分析报表可视化数据挖掘ODS(OperationalDataStore):操作型数据存放区域ETL(ExtractTransferLoad):数据抽取转换加载DW(DataWareHouse):数据仓库DM(DataMart):数据集市元数据（MetaData）数据仓库与商业智能概述第16页数据源各种业务系统RDBMS文件系统如，银行业中，关键系统、信贷系统、国结系统ERP系统数据仓库与商业智能概述第17页ODS（操作型数据存放区域）是一个数据仓库混合形式，它包含及时、最近、面向主题和集成信息。是数据仓库环境一个组成部分是操作型系统一个集成环境为决议支持系统提供当前详细数据查询功效是面向主题、集成、经常更新详细数据数据仓库与商业智能概述第18页ETL（抽取转换加载）数据仓库数据是面向主题，而业务数据库总是围绕一个或几个业务处理流程，所以到数据仓库过程需要十分复杂数据整合过程。数据抽取数据转换（一致化）数据加载作业控制数据仓库与商业智能概述第19页数据仓库数据模型－多维数据模型粒度划分（分割、汇总）FactTablefact1fact2fact3机构粒度key机构代码地址联络人attributeDimensionDimensionDimension粒度代码attributeattributeattribute粒度：1－日2－月3－年日期-12-31数据仓库与商业智能概述第20页数据集市数据集市是数据仓库子集。假如数据仓库是整个企业组织全部主题数据存放区，那么数据集市就是某一个主题数据存放领域。数据集市即是数据仓库一个实现，也是实现数据仓库主要过程，同时提供了分布式数据仓库思想。数据仓库与商业智能概述第21页数据展现查询报表多维分析（钻取、切换）图形数据仓库与商业智能概述第22页元数据元数据是关于数据数据，它描述了数据结构、内容、码、索引等项内容。元数据分类技术元数据业务元数据数据仓库与商业智能概述第23页三个关键部分数据仓库与商业智能概述第24页数据仓库建设方法数据仓库与商业智能概述第25页数据仓库建设－频繁改变－面向企业中不一样业务和用户数据仓库与商业智能概述第26页数据仓库建设策略自底向上策略：即数据集市方法，提供了灵活性，低花费，并能快速回报投资。此方法关键是：从最关心部分开始，先以最少投资，完成企业当前需求，取得最快回报，然后再不停扩充，完善。数据仓库与商业智能概述第27页数据仓库建设策略自顶向下策略：先建立一个全局数据仓库结构，然后在此基础上建立部门数据集市和个人数据仓库。这是一个系统处理方案，能最大程度地降低集成问题，但开发周期长，费用高，而且缺乏灵活性。数据仓库与商业智能概述第28页数据仓库建设层次分析型应用要求千差万别，一个单一层次数据仓库不能满足全部分析需求。一个好处理方案：建立分层数据仓库。操作型环境数据仓库数据集市个人仓库全局级部门级个人级数据仓库与商业智能概述第29页多层数据仓库企业数据仓库数据集市数据集市分布式数据集市定义高层数据模型模型提炼模型提炼递增、进化地开发数据仓库数据仓库与商业智能概述第30页商业智能数据仓库与商业智能概述第31页商业智能商业智能，又称商务智能，英文为BusinessIntelligence，简写为BI。起源于上世纪90年代。商业智能描述了一系列概念和方法，经过应用基于事实支持系统来辅助商业决议制订。商业智能技术提供使企业快速分析数据技术和方法，包含搜集、管理和分析数据，将这些数据转化为有用信息，然后分发到企业各处。

能够说商务智能是一个可包含企业全部知识系统，服务于管理决议层或部门执行经理，帮助其进行决议和分析。数据仓库与商业智能概述第32页商业智能结构OLAP数据挖掘（DataMining）数据仓库其它查询和展现数据仓库与商业智能概述第33页商业智能功效统计选择查询展现关联分析买债券，保本型理财监视功效月营业额小于10万元分店展示功效查找、排序、统计数据输出打印/导出，图形、Excel数据仓库与商业智能概述第34页商业智能实施步骤需求分析数据分析数据仓库建模数据处理（ETL）BI展现(报表、图形、OLAP)数据模拟测试系统完善改进（迭代）数据仓库与商业智能概述第35页相关产品数据仓库处理方案Teradata，IBM，Oracle….建模软件ERwin，PowerDesigner…ETL软件DataStage，Informatic…数据仓库Teradata，Oracle，IBMDB2…BI软件COGNOS，BO，Brio…数据仓库与商业智能概述第36页商业智能发展趋势功效上含有可配置性、灵活性、可改变性