数据仓库与商业智能概述(共39页).ppt

1、数据仓库与商业智能2021-4-20主要内容n数据仓库的起源和开展n数据仓库定义和特点n数据仓库体系结构n数据仓库建设方法n商业智能数据仓库的起源和开展数据管理的历史n人工管理方式n 这一时期是在20世纪50年代中期以前，这一阶段的计算机应用主要用于科学计算，外存只有纸带、磁带、卡片等，数据处理的方式根本上是批处理。这一时期数据管理的特点是：数据不保存；没有专用的数据管理软件，每个应用都必须自己完成存储结构、存取方法、输入输出等数据管理功能；一组数据对应一个应用，这使得程序之间可能有重复的数据。n文件系统管理 n 这一阶段在20世纪50年代后期至60年代中后期，计算机应用开始用于信息管理，由于

2、数据存储、检索和维护等需求，使得相应的研究开展起来了，在硬件和软件方面都得到了开展，磁盘磁鼓出现，操作系统也产生。 n数据库系统60年代末开始n 关系数据库之父提出了关系模型(ER)，促进了联机事务处理(OLTP)的开展，数据以表格的形式而非文件方式存储。数据库到数据仓库传统的数据库环境中以数据库为中心，数据资源组织方式单一；侧重对数据的管理，操作型处理OLTP，联机事务处理，关心的是响应时间，数据的平安性和完整性；问题：“易进不易出 数据库到数据仓库n数据处理不断有新需求联机事务、批处理、决策分析n分析型处理OLAP，联机分析处理n 用于管理人员的决策分析，经常要访问大量的历史数据，而很少对

3、数据库进行写操作，除非对数据库进行更新或装入时。人们希望从中获得跟公司经营效益紧密相关的信息。数据仓库的产生n1数据集成n2历史数据的应用需求n3查询性能数据集成n企业全面的经营数据nOLTP分散在不同系统中(核心、信贷、国结)n外部数据(市场数据、竞争对手)n集成的数据n建立关联的n各业务系统之间的业务事件联系n统一的统一的事实、维度n历史的数据n一般的全国股份制商业银行一天的交易流水在150W左右n通常业务系统只保存当前的n历史数据查询困难数据集成n数据一致化n在很多情况下，大型企业会产生数据不一致情况n数据仓库的数据要保持一致化和准确性n数据综合n各种不同粒度的数据的集成问题n详细粒度n

4、中等聚集n高层聚集n外部数据集成查询性能n提高数据的查询效率nOLTP系统面向数据维护n数据仓库面向数据查询n提高查询功能为最主要目标开展的动力n业务需求驱动n主要是详细的分析n科学的经营n市场活动的细化和实施等n数据驱动n数据量不断扩大n需要相关技术全面了解企业结论：以单一的数据组织方式进行组织的数据库，不能满足新型的数据处理多样化的要求，数据仓库技术应运而生数据仓库的概念和特征数据仓库的概念数据仓库EDW，Enterprise Data WareHouse数据仓库无非是所有数据集市的集合 -Ralph Kimball数据仓库无非是面向主题的、集成的、不同时间的、稳定的数据集合以便支持管理决

5、策 -Bill Inmon数据仓库是一个过程不是一个工程数据仓库的特点n面向主题 数据所代表的业务内容划分，而不是以应用划分n集成的 数据所代表的业务内容划分，而不是以应用划分n不同时间的 数据按照时间组织，并存储在不同的时间切片n稳定的 不允许对数据进行更新，只允许初始加载和查询数据仓库系统结构数据仓库结构Operational Data StoreETL数据源DataWarehouse数据源数据源DataMartDataMartDataMart分析报表可视化数据挖掘ODS(Operational Data Store):操作型数据存储区域ETL(Extract Transfer Load)

6、:数据抽取转换加载DW(Data WareHouse):数据仓库DM(Data Mart):数据集市元数据Meta Data数据源n各种业务系统nRDBMSn文件系统n如，银行业中，核心系统、信贷系统、国结系统nERP系统ODS操作型数据存储区域 是一种数据仓库的混合形式，它包含及时的、最近的、面向主题的和集成的信息。是数据仓库环境的一个组成局部是操作型系统的一个集成环境为决策支持系统提供当前详细数据的查询功能是面向主题的、集成的、经常更新的详细数据ETL抽取 转换 加载 数据仓库数据是面向主题的，而业务数据库总是围绕一个或几个业务处理流程，因此到数据仓库的过程需要十分复杂的数据整合过程。数据

7、抽取数据转换一致化数据加载作业控制数据仓库n数据模型多维数据模型n粒度划分分割、汇总数据集市n数据集市是数据仓库的子集。如果数据仓库是整个企业组织的所有主题数据存储区，那么数据集市就是某一个主题数据的存储领域。n数据集市即是数据仓库的一种实现，也是实现数据仓库的重要过程，同时提供了分布式数据仓库的思想。数据展现n查询n报表n多维分析钻取、切换n图形元数据n元数据是关于数据的数据，它描述了数据的结构、内容、码、索引等项内容。n元数据分类n技术元数据n业务元数据三个关键局部数据仓库建设方法数据仓库建设频繁变化频繁变化面向企业中不同业务和用户面向企业中不同业务和用户数据仓库建设策略n自底向上的策略：

8、即数据集市方法，提供了灵活性，低花费，并能迅速回报投资。此方法的核心是：从最关心的局部开始，先以最少的投资，完成企业当前的需求，获得最快的回报，然后再不断扩充，完善。数据仓库建设策略n自顶向下的策略：先建立一个全局数据仓库的结构，然后在此根底上建立部门的数据集市和个人的数据仓库。这是一种系统解决方案，能最大限度地减少集成问题，但开发周期长，费用高，并且缺乏灵活性。数据仓库建设层次 分析型应用要求千差万别，一个单一层次的数据仓库不能满足所有的分析需求。一个好的解决方案：建立分层的数据仓库。多层数据仓库企业数据仓库数据集市数据集市分布式数据集市定 义 高 层 数 据 模 型模型提炼模型提炼递增、进

9、化地开发数据仓库商业智能商业智能n商业智能，又称商务智能，英文为商业智能，又称商务智能，英文为Business Intelligence，简写为，简写为BI。起源于上世纪。起源于上世纪90年代。年代。n 商业智能描述了一系列的概念和方法，通过应用基商业智能描述了一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。商业智能于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法，包括收技术提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，集、管理和分析数据，将这些数据转化为有用的信息，然后分发到企业各处。然后分发

10、到企业各处。 n 可以说商务智能是一个可包含企业所有知识的系统，可以说商务智能是一个可包含企业所有知识的系统，效劳于管理决策层或部门执行经理，帮助其进行决策效劳于管理决策层或部门执行经理，帮助其进行决策和分析。和分析。 商业智能结构nOLAPn数据挖掘Data Miningn数据仓库n其他的查询和展现商业智能的功能n记录选择n查询展现n关联分析n买债券，保本型理财n监视功能n月营业额小于10万元的分店n展示功能n查找、排序、统计n数据输出 n打印/导出，图形、Excel商业智能实施步骤n需求分析n数据分析n数据仓库建模n数据处理ETLnBI展现(报表、图形、OLAP)n数据模拟测试n系统完善改进迭代相关产品n数据仓库解决方案Teradata，IBM，Oracle.n建模软件ERwin，Power DesignernETL软件Data Stage，Informaticn数据仓库Teradata，Oracle，IBM DB2nBI软件COGNOS ，BO，Brio商业智能的开展趋势n功能上具有