数据仓库基本概念

1、数据仓库基础知识数据仓库基本概念 1.1从传统数据库到数据仓库 1.2数据仓库定义及基本特性 1.3数据仓库与决策支持系统 1.4数据仓库体系结构 1.5数据仓库相关概念1.1从传统数据库到数据仓库 随着市场竞争的加剧，信息系统的用户已经不满足于仅仅用计算机去处理每天所发生的事务数据，而是需要信息能够支持决策的信息，去帮助管理决策。这就需要一种能够将日常业务处理中所收集到的各种数据转变为具有商业价值信息的技术，传统数据库系统无法承担这一责任。因为传统数据库的处理方式和决策分析中的数据需求不相称。这些不相称性主要表现在决策处理中的系统响应问题、决策数据需求的问题和决策数据操作的问题。1.1从传统

2、数据库到数据仓库(续) 传统的事务处理环境不适宜于决策支持应用 事务处理和分析处理的性能特性不同 数据集成问题 数据动态集成问题 历史数据问题 数据的综合问题 操作型环境和分析型环境的分离:数据抽取现实生活中面临的问题人们在日常生活中经常会遇到这样的情况： 超市的经营者希望将经常被同时购买的商品放在一起，以增加销售； 保险公司想知道购买保险的客户一般具有哪些特征； 医学研究人员希望从已有的成千上万份病历中找出患某种疾病的病人的共同特征，从而为治愈这种疾病提供一些帮助； 企业面临的问题 经过多年的计算机应用和市场积累，许多企业保存了大量原始数据和各种业务数据, 它是企业生产经营活动的真实记录 由

3、于缺乏集中存储和管理，这些数据不能为本企业加以利用, 不能进行有效的统计、分析及评估，无法将这些数据转换成企业有用的信息数据爆炸问题 自动的数据收集工具和成熟的数据库技术导致巨大的数据存储在文件系统、数据库和其它的信息库中 。 我们会淹死在数据中, 但却为信息、知识所饿! 面临的挑战 如何在堆积如山的企业交易数据中发现具有商业价值的闪光点？ 如何使您的企业或组织在激烈的市场竞争中保持对客户的吸引力？ 如何预先发现和避免企业运作过程中不易察觉的商业风险？数据仓库应运而生 数据仓库的出现和发展是数据库和OLTP技术发展、数据库应用深化的产物； 目的是把数据库中的大量数据转化为有用信息，为企业更好地

4、进行决策服务。讨论话题一 数据仓库产生的源动力是什么？数据仓库系统是数据驱动还是需求驱动的?“我们花了我们花了20多年的时间将数据放入数据多年的时间将数据放入数据库，如今是该将它们拿出来的时候了。库，如今是该将它们拿出来的时候了。” -著名的数据仓库专家著名的数据仓库专家Ralph Kimball市场需求是技术发展的源动力1.2数据仓库定义及基本特性 1.2.1数据仓库定义 1.2.2数据仓库基本特性1.2.1数据仓库定义数据仓库（Data Warehouse）是一个 面向主题的（Subject Oriented） 集成的（Integrate） 相对稳定的（Non-Volatile） 反映历史

5、变化（Time Variant）的数据集合，用于支持管理决策。1.2数据仓库定义 数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。数据仓库之父数据仓库之父-Bill InmonBill Inmon1.2数据仓库基本特性l面向主题性l数据集成性l数据的时变性l数据的非易失性面向主题性 面向主题性表示了数据仓库中数据组织的基本原则，数据仓库中的所有数据都是围绕着某一主题组织的。 确定主题以后，需要确定主题应该包含的数据。 不同的主题之间可能会出现相互重叠的信息。 主题在数据仓库中可以用多维数据库方式进行存储。 主题的划分中，必须保证每一个主题的独立性。 数据集成性

6、 根据决策分析的要求，将分散于各处的源数据进行抽取、筛选、清理、综合等工作，最终集成到数据仓库中。 业务数据库1业务数据库2业务数据库n数据仓库数据仓库抽取转换清洗加载抽取转换清洗加载数据的时变性 数据应该随着时间的推移而发生变化，不断地生成主题的新快照。存量数据T1时点增量数据Tn时点增量数据数据仓库数据仓库抽取转换清洗加载抽取转换清洗加载初始主题数据T1时点主题数据Tn时点主题数据数据的非易失性 数据的相对稳定性。 数据仓库中的数据只进行刷新，从不进行更新处理。 反映历史变化。存量数据T1时点增量数据Tn时点增量数据数据仓库数据仓库抽取转换清洗加载抽取转换清洗加载初始主题数据T1时点主题数

7、据Tn时点主题数据时间戳锁定数据讨论话题二 数据库和数据仓库有什么不同？数据库与数据仓库的对比对比内容对比内容数据库数据仓库数据内容当前值历史的、存档的、归纳的、计算的数据数据目标面向业务操作程序、重复处理面向主题域、管理决策分析应用数据特性动态变化、按字段更新静态、不能直接更新、只定时添加数据结构高度结构化、复杂、适合操作计算简单、适合分析使用频率高中到低数据访问量每个事务只访问少量记录有的事务可能要访问大量记录对响应时间的要求以秒为单位计量以秒、分钟、甚至小时为计量单位1.3数据仓库与决策支持系统 决策支持系统的发展阶段 初始阶段（DSS阶段） 与专家系统结合阶段（IDSS阶段） 基于数据

8、仓库技术阶段（BI阶段） 基于数据仓库的决策支持系统DSS的先天不足DSS的先天不足 决策所需信息不足，难以满足决策支持系统的需要。 模型库提供的分析能力有限 人机接口部件占整个DSS开发工作量的一半 ，成为DSS实施中的一个瓶颈。基于数据仓库的DSS基于数据仓库的DSS 数据仓库为DSS的发展开辟了新途径 目前DSS的开发模式（BI解决方案） 以数据仓库技术为基础 以联机分析、数据挖掘工具为手段1.4数据仓库体系结构接口数据仓库数据仓库管理管理环境环境细节级数据数据集市1数据集市2数据集市nETL逻辑逻辑 数据仓库组织与管理数据仓库组织与管理 数据利用数据利用元数据元数据(MetaData)

9、数据集市数据集市x主题数据主题数据主题数据业务数据业务数据系统系统市场调查信息市场调查信息数据源数据源外部数据外部数据OLAPDataMiningForecasting应用环境应用环境专家经验数据专家经验数据1.4.1数据仓库的概念结构 从数据仓库的概念结构看，应该包含：数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具。数据集市/知识挖掘库业务系统外部数据源数据准备区数据仓库数据库应用工具管理工具应用工具数据集市/知识挖掘库1.4.2 虚拟数据仓库结构 虚拟数据仓库利用描述了业务系统中数据位置和抽取数据算法的元数据直接从业务系统中抽取查询的数据进行概括、聚合操

10、作后，将最终结果提供给用户。 用户图1.2 虚拟数据仓库结构数据仓库查询管理服务器业务系统数据库1.4.3数据集市结构 数据集市结构或称为主题结构的数据仓库是按照主题进行构思所形成的数据仓库，没有一个独立的数据仓库。系统的数据不存储在同一数据仓库中，每个主题有自己的物理存储区。 数据仓库查询管理服务器业务系统数据库主题1主题21.4.4单一数据仓库结构 将所有的主题都集中到一个大型数据库中的体系结构。数据源中数据被按照同一标准抽取到独立的数据仓库中，用户在使用时再根据主题将数据仓库中的数据发布到数据集市中。 数据仓库查询管理服务器业务系统数据库数据仓库数据集市1数据集市21.4.5分布式数据仓

11、库结构 在企业各个分公司具有相当大的独立性时，企业总部设置一个全局数据仓库，各个分公司设置各自的局部数据仓库。局部数据仓库主要存储各自的未经转换的细节数据，全局数据仓库中主要存储经过转换的综合数据。 站点A 站点B 总部 站点C 站点D 站点C 站点D全局数据仓库局部数据仓库局部数据仓库局部数据仓库局部数据仓库讨论话题三 数据仓库、数据集市、分析主题的关系是什么？ 在数据集市间如何保证数据的一致性？1.5数据仓库相关概念 BI(商务智能) ETL（抽取、转换、加载） META DATA（元数据） DATA MART(数据集市) SUBJECT(主题) DIMENSION(维度)商务智能 简单定

12、义 综合企业所有沉淀下来的信息，用科学的分析方法，为企业领导提供科学决策信息的过程。 完整定义 基于数据仓库技术的决策支持系统(DSS)。它 以数据仓库（DW）技术为基础，通过抽取、转换和清洗将分散在企业各处的数据整合在一起，转化为信息；进而以联机分析处理（OLAP）工具、数据挖掘（DM）工具、报表工具为手段将信息提升为知识；最后运用可视化技术以快捷直观的方式将探察分析结果呈现给最终用户，为管理决策层提供量化依据的过程。ETL抽取、转换、加载（ETL） 数据抽取（Extract）、转换Transform）、清洗（Cleansing）、装载（Load）的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。元数据元数据（Meta Data）关于数据仓库的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息，所有这些信息都应当妥善保存，并很好地管理。为数据仓库的发展和使用提供方便。数据集市数据集市（Data mart）即”小数据仓库”。如果说数据仓库是建立在企业级的数据模型之上的话。那么数据集市就是企业级数据仓库的一个子集