我爱学习大三下商务分析与r dss

决策支持系统商学院信息管理与信息系统教研室2017-2018学年第二学期2023/5/1625数据仓库和OLAP5.1数据仓库5.2数据仓库的体系结构5.3数据仓库的开发5.4联机分析处理OLAP5.5数据操作传统DSS的数据问题20世纪80年代以前DSS多采用整合型数据库结构。90年代以后出现了分离型数据库结构的DSS。分离型数据库结构灵活性好但缺乏整合性，出现了“数据孤岛”、“数据蛛网”。解决这一问题的方法之一是通过中间件对现有的数据进行转换。2023/5/1645.1数据仓库数据处理的多层次操作型处理对数据库联机的日常操作，为特定的企业应用服务注重响应时间、数据的安全性和完整性TPS,狭义的MIS应用“联机事务处理”（OnLineTransactionProcessing,OLTP）分析型处理决策分析经常访问大量数据DSS“联机分析处理”（OnLineAnalysisProcessing,OLAP）2023/5/1655.1数据仓库特征事务处理需要决策支持需要易变性动态静态通用性当前的历史的时间维不明示明确、可见粒度原始的、详细的详细的、可导出的汇总更新连续的，非计划的定期的，计划的任务可重复的不可预期的灵活性低高性能要求高通常可接收低性能2023/5/1665.1数据仓库事务处理环境不适合DSS的原因：事务处理和分析处理的特性不同数据集成问题“蜘蛛网”问题、处理分散、数据不一致等数据动态集成问题历史数据问题综合数据问题操作型数据环境和分析型数据环境的分离5.1数据仓库数据仓库（DataWarehouse,DW）是一种数据资源架构。在一个数据仓库中通常具有多个不同的数据源，来自各个数据源的数据经过系统的整理和分类后，存储到一个统一的数据存储中心（Repository）中，并根据决策者的要求提供检索和显示服务2023/5/1685.1数据仓库W.H.Inmon：BuildingtheDataWarehouse“数据仓库是九十年代信息技术构架的新焦点，它提供集成化的和历史化的数据，集成种类不同的应用系统，从事物发展和历史的角度来组织和存贮数据，以供信息化和分析处理之用”。他将数据仓库定义为：

“一个面向主题的、集成的、稳定的、不同时间的数据集合，用以支持经营管理中的决策制定过程”。2023/5/1695.1数据仓库“我们花了20多年的时间将数据放入数据库，如今是该将它们拿出来的时候了。”

----著名的数据仓库专家RalphKimballKimball第一本书“TheDataWarehouseToolkit”（《数据仓库工具箱》，与Inmon的“BuildingtheDataWarehouse”主张不同Inmon：建立数据仓库时采用自上而下（DWDM）方式，以第3范式进行数据仓库模型设计Kimball：主张自下而上（DMDW）的方式，力推数据集市建设Inmon后又推出新的BI架构CIF（Corporationinformationfactory），包括Kimball的数据集市2023/5/16105.1数据仓库

——主要特征面向主题的subjectoriented按主题整理和存储数据，每个主题对应一个分析领域主题领域以一组相关的表来具体实现一个主题领域的表来源于多个操作型应用（如：客户主题，来源于：定单处理；应收帐目；应付帐目；…）相关的表通过公共的键码联系起来每个键码都有时间元素主题内数据可以存储在不同介质上（综合级，细节级）2023/5/16115.1数据仓库

——主要特征整合的integrated多来源的数据经过提取、净化、转换、装载，形成集成、一致的形式ETL，Extraction,Transform,Load时间性的timevariant数据有时间属性，“时间维”稳定的nonvolatile批处理增加，仓库已经存在的数据不会改变进入的数据只能读取，不能更新2023/5/16125.1数据仓库

——数据建模数据仓库的数据模型对现实数据的规范化表示服务于查询和决策分析商业意义：表示特定商业活动中所涉及的业务时提及相互关系技术意义：代表一组可能的查询以及相应的数据表连接方式星型模型主题和维度事实表和维表（图5-3）2023/5/16135.1数据仓库

——数据建模一个星型数据模型由主题和维组成主题也称为事实，是该数据模型要表示的主要内容，通常是数值型数据，如数量、销售额等维是与主题相关的某种性质，例如品名、类型、分店名、时间、地点等。用户的数据操作要通过这些维来进行一个星型模型通过用一组数据表来描述它们的相互关系事实表：事实变量是用户所关心的客观事件维表：一个维度的对象的性质和特征事实表与维表用key链接2023/5/16142023/5/1615数据仓库收集了整个组织的主题信息，是企业范围的。数据集市(datamart)是数据仓库的一个部门子集。聚焦在选定的主题上，是部门范围的规模较小，成本较低，针对性更强从属的数据集市vs.独立的数据集市前者，数据从DW获得，DM可看作是DW子集，整合性好后者，数据从应用系统获得，针对性强5.1数据仓库

——数据集市2023/5/16165.1数据仓库

——数据集市2023/5/1617一个典型的企业数据仓库系统通常包含数据源、数据存储与管理、OLAP服务器以及前端工具与应用四个部分。5.2数据仓库的体系结构2023/5/1618数据源：是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息内部信息包括存放于企业操作型数据库中的各种业务数据和办公自动化（OA）系统包含的各类文档数据外部信息包括各类法律法规、市场信息、竞争对手的信息以及各类外部统计数据及各类文档等5.2数据仓库的体系结构2023/5/1619数据的存储与管理：是整个数据仓库系统的核心。对业务系统的数据进行抽取、清理，并有效集成，按照主题进行重新组织，最终确定数据仓库的物理存储结构组织存储数据仓库元数据（具体包括数据仓库的数据字典、记录系统定义、数据转换规则、数据加载频率以及业务规则等信息）按照数据的覆盖范围，数据仓库存储可以分为企业级数据仓库和部门级数据仓库（通常称为“数据集市”，DataMart）数据仓库的管理包括数据的安全、归档、备份、维护、恢复等工作5.2数据仓库的体系结构2023/5/1620OLAP服务器对分析需要的数据按照多维数据模型进行再次重组，以支持用户多角度、多层次的分析，发现数据趋势。前端工具与应用前端工具主要包括各种数据分析工具、报表工具、查询工具、数据挖掘工具以及各种基于数据仓库或数据集市开发的应用。其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具既针对数据仓库，同时也针对OLAP服务器。5.2数据仓库的体系结构5.2数据仓库的体系结构ETCL功能/ETL工具数据抽取（Extract）：按决策分析需要数据清洗（Clean）：去噪、过滤数据转换（Transform）：转换、聚合数据加载（Load）：更新范围和方式数据分类：分类存储，提高效率数据编辑：加时间戳数据完备化：完备性、一致性2023/5/1621数据仓库中的数据存储是一个层次化的逻辑结构2023/5/16225.2数据仓库的体系结构

——数据存储层次数据源描述数据模型描述转换映射应用型元数据5.4联机分析处理OLAP2023/5/1623决策者可以根据自己关心的事项（称为主题）将事务性数据整合起来，用多维数据库的存储机制来保存，并在其上进行有关的数据操作。这样的机制称为联机分析处理（OLAP）2023/5/16245.4联机分析处理OLAP2023/5/16255.4联机分析处理OLAPOLTPOLAP使用目的业务处理决策支持面向用户事务人员，DBA管理人员，知识工作者主要功能处理日常业务数据产生决策所需信息数据时间性当前的历史的抽象程度详细的、分散的汇总的、整合的视图关系表多维数据立方体处理方式增删改、查询、排序切片、切块、上卷、下钻基本操作读/写只读性能度量事务吞吐量查询吞吐量2023/5/16265.5数据操作数据模型业务角度看，表示了一个特定业务活动中所涉及的所有数据实体技术意义看，表示一组查询和相应的数据表连接方式星型模型主题：该模型要表示的主要内容，对应“事实表”维：与主题相关的某种性质，对应“维表”5.5数据操作基本的OLAP操作切片slice切块dice旋转rotate上卷rollup下钻drilldown2023/5/16272023/5/1628Chicago数据源NY数据源Vancouver数据源Toronto数据源数据仓库清理变换集成装入查询和分析工具用户用户5.5数据操作2023/5/1629通过提供多维数据视图和汇总数据的预计算，数据仓库非常适合联机分析处理（OLAP）。OLAP操作使用数据