数据仓库理论学习笔记

数据仓库理论学习笔记2024/3/11数据仓库理论学习笔记数据库处理的两大应用联机事务处理（OLTP）决策支持系统（DSS）数据仓库理论学习笔记数据库处理的两大应用联机事务处理（OLTP）操作型处理，为企业的特定应用服务是对数据库的联机的日常操作，通常是对一个或一组记录的查询和修改人们关心的是响应时间、数据的安全性和完整性决策支持系统（DSS）数据仓库理论学习笔记数据仓库的特点面向主题集成的数据仓库的数据是从原有的分散数据库数据中抽取来的消除数据表述的不一致性（数据的清洗）数据的综合数据不可更改随时间变化的数据仓库理论学习笔记数据仓库的特点——集成数据仓库理论学习笔记数据仓库的特点面向主题集成的数据不可更改数据仓库的主要数据操作是查询、分析不进行一般意义上的数据更新（过期数据可能被删除）数据仓库强化查询、淡化并发控制和完整性保护等技术随时间变化的数据仓库理论学习笔记数据仓库的特点——数据不可更改数据仓库理论学习笔记数据仓库的特点面向主题集成的数据不可更改随时间变化的不断增加新的数据内容不断删除旧的数据内容定时综合数据仓库中数据表的键码都包含时间项，以标明数据的历史时期数据仓库理论学习笔记数据仓库的特点——随时间变化数据仓库理论学习笔记数据仓库的结构OLTP系统RDBMSSybaseVSAMSAP/ERP5-10年过去详细数据当前详细数据轻度汇总数据高度汇总数据数据集市分析型CRM业务指标分析数据仓库数据仓库/决策分析系统EXCEL数据仓库理论学习笔记数据仓库的结构数据由操作型环境（综合）导入数据仓库数据具有不同的细节级早期细节级（过期数据）当前细节级轻度综合数据级（数据集市）高度综合数据级数据仓库理论学习笔记数据仓库建立的过程数据仓库理论学习笔记粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别粒度级越小，细节程度越高，综合程度越低，回答查询的种类越多粒度影响数据仓库中数据量的大小粒度问题是设计数据仓库的一个重要方面双重粒度在数据仓库的细节级上创建两种粒度短期储存的低粒度（真实档案），满足细节查询具有综合的高粒度（轻度综合），做分析数据仓库理论学习笔记数据仓库理论学习笔记数据仓库理论学习笔记分割是指把数据分散到各自的物理单元中去，以便能分别独立处理，提高数据处理效率是粒度之后的第二个主要设计问题两个层次的分割系统层：DBMS，一种定义应用层：开发者，多种定义多种分割的标准日期：最常用的地理位置组织单位…...数据仓库理论学习笔记数据仓库理论学习笔记数据仓库中的数据组织形式简单堆积轮转综合数据按一定的格式进行轮转的累加简化直接按一定的时间间隔，对数据进行提取，是操作型数据的一个快照连续把新的快照追加到以前的连续数据上去数据仓库理论学习笔记数据仓库中的数据组织形式简单堆积每日由数据库中提取并加工的数据逐天积累堆积数据仓库理论学习笔记数据仓库中的数据组织形式轮转综合数据按一定的格式进行轮转的累加数据仓库理论学习笔记数据仓库中的数据组织形式简单堆积与轮转综合的比较数据仓库理论学习笔记数据仓库中的数据组织形式简化直接按一定的时间间隔，对数据进行提取，是操作型数据的一个快照数据仓库理论学习笔记数据仓库中的数据组织形式连续把新的快照追加到以前的连续数据上去数据仓库理论学习笔记数据仓库的数据追加数据追加数据仓库的数据初装完成以后，再向数据仓库输入数据的过程称为数据追加变化数据的捕获时标法：加标识DELTA法：对更新作记录前后映象法：两次快照的对比日志法：利用DBMS的日志，需改进数据仓库理论学习笔记数据库的体系化环境是在一个企业或组织内部，由各面向应用的OLTP数据库及各级面向主题的数据仓库所组成的完整的数据环境操作型环境、分析型环境四层体系化环境操作型环境——OLTP全局级——数据仓库部门级——局部仓库个人级——个人仓库，用于启发式的分析数据集市（DataMart）特定的、面向部门的小型数据仓库是为满足用户特定需求而创建的数据仓库是数据仓库的子集数据仓库理论学习笔记数据库的体系化环境数据仓库理论学习笔记数据库的体系化环境数据仓库理论学习笔记数据仓库的开发生命周期数据仓库理论学习笔记数据仓库的基本数据模式星型模式(StarSchema)事实表(facttable)，存放基本数据，相关主题的数据主体（BCNF）维(dimension)，影响、分析主体数据的因素量(measure)，事实表中的数据属性维表(dimensiontable)，表示维的各种表维是量的取值条件，维用外键表示以事实表为中心，加上若干维表，组成星型数据模式例：产品-商店-销售额数据仓库理论学习笔记数据仓库的基本数据模式CustSalesLocationSalesProdSalesTimeSalesSalestimeid<pk,fk>productid<pk,fk>locationid<pk,fk>customerid<pk,fk>salesrevenueunitssoldProductproductid<pk>makemodelTimetimeid<pk>dateyearquartermonthweekLocationlocationid<pk>regiondistrictstoreCustomercustomerid<pk>categorygroupSalesfactSalesmeasuresTimedimensionAttributesofthe

timedimension数据仓库理论学习笔记数据仓库的基本数据模式雪花模式(SnowflakeSchema)维一般是由若干层次组成把维按其层次结构表示成若干个表规范化、节省存储空间但需多做连接操作数据仓库理论学习笔记数据仓库的解决方案通用的关系数据库系统专门的数据仓库服务器数据仓库理论学习笔记数据仓库系统的体系结构数据仓库层数据仓库工具层最终用户数据仓库理论学习笔记数据仓库系统数据仓库居系统的核心地位是信息挖掘的基础数据仓库管理系统是整个系统的引擎负责管理整个系统的运转数据仓库工具一般的查询工具、功能强大的分析工具是整个系统发挥作用的关键数据仓库理论学习笔记数据仓库系统一个集成化的产品集数据仓库理论学习笔记数据仓库系统DesignWarehouseArchitectManageSybaseASIQIntegrateInformaticaEnterpriseConnectReplicationServerPowerMartVisualizeBrioCognosAdministerWarehouseControlCenterWarehouseControlCentre数据仓库理论学习笔记数据分析模型早期静态数据值的相互比较需求从多个不同的数据源中综合数据从不同的角度观察数据多变的主题、多维数据E-R不能完全支持数据仓库理论学习笔记四种分析模型（Codd）绝对模型静态数据分析只能对历史数据进行值的比较，描述基本事实用户交互少解释模型思考模型公式模型数据仓库理论学习笔记四种分析模型（Codd）绝对模型解释模型静态数据分析在当前多维视图的基础上找出事件发生的原因思考模型公式模型数据仓库理论学习笔记四种分析模型（Codd）绝对模型解释模型思考模型动态数据分析多维分析在决策者的参与下，找出关键变量需要高级数据分析人员的介入公式模型数据仓库理论学习笔记四种分析模型（Codd）绝对模型解释模型思考模型公式模型动态性最高的一类自动完成变量的引入工作数据仓库理论学习笔记数据仓库系统的工具层查询工具主要是对分析结果的查询很少有对记录级数据的查询验证型工具多维分析工具用户首先提出假设，然后利用各种工具通过反复、递归的检索查询以验证或否定假设发掘型工具从大量数据中发现数据模式预测趋势和行为数据仓库理论学习笔记联机分析处理——OLAP是针对特定问题的联机访问和分析。通过对信息的很多种可能的观察形式进行快速、稳定一致和交互性的存取，允许分析人员对数据进行深入观察数据仓库理论学习笔记一些概念变量是数据的实际意义，描述数据是什么维是人们观察数据的特定角度维的层次是维在不同细节程度的描述维成员是维的一个取值多层次维的维成员是各层次取值的组合对应一个数据项，维成员是该数据项在该维中位置的描述多维数组可以表示为（维1,维2,……,变量），如（地区,时间,销售渠道,销售额）多维数组的取值称为数据单元（单元格）可以理解为交叉表的数据格数据仓库理论学习笔记一些基本操作在多维数组的某一维选定一个维成员的动作称为切片。舍弃一些观察角度在多维数组的某一维上选定某一区间的维成员切块多个切片的叠加旋转是改变一个报告或页面显示的维方向以用户容易理解的角度来观察数据数据仓库理论学习笔记基于多维数据库的OLAP——MOLAP以多维方式组织数据（综合数据）以多维方式显示（观察）数据多维数据库的形式类似于交叉表，可直观地表述一对多、多对多的关系如：产品、地区、销售额关系多维多维数据库由许多经压缩的、类似于数组的对象构成，带有高度压缩的索引及指针结构以关系数据库存放细节数据、以多维数据库存放综合数据数据仓库理论学习笔记基于关系数据库的OLAP——ROLAP以二维表与多维联系来表达多维数据（综合数据）星型结构事实表，存储事实的量及各维的码值（BCNF）维表，对每一个维，至少有一个表用来保存该维的元数据（多层次、冗余）事实表通过外键与每个维表相联系雪花、星座、雪暴模拟多维方式显示（观察）数据数据仓库理论学习笔记MOLAP与ROLAPMOLAP计算速度较快支持的数据容量较小缺乏细节数据的OLAPROLAP结构较复杂以关系模拟多维支持适当细节的OLAP较成熟HOLAP是以上两种的综合数据仓库理论学习笔记桌面级工具BrioQuery(ROLAP)BusinessObjects(ROLAP)CognosImpromptu(ROLAP)CognosPowerPlay(MOLAP)服务器级OLAPArborSoftwareEssbase(MOLAP)MicroStrategyDSSAgent(ROLAP)Oracle’sExpress(hybridMOLAP/ROLAP)数据仓库理论学习笔记SQL3对聚集的扩展(在GroupBy中扩展)SP(S#,P#,QTY)S# P# QTYS1 P1 300S1 P2 200S2 P1 300S2 P2 400S3 P2 200S4 P2 200Select sum(QTY)asTOTQTYFrom SP;Select S#,Sum(QTY)asTOTQTYFrom SPGroupByS#;…...数据仓库理论学习笔记SQL3对聚集的扩展(在GroupBy中扩展)GroupingSets：支持多个分组同时运算SelectS#,P#,SUN(QTY)asTOTQTYFromSPGroupByGroupingSets((S#),(P#))S# P# TOTQTYS1 Null 500S2 Null 700S3 Null 200S4 Null 200Null P1 600Null P2 1000数据仓库理论学习笔记SQL3对聚集的扩展(在GroupBy中扩展)Rollup：上卷SelectS#,P#,SUN(QTY)asTOTQTYFromSPGroupByRollup(S#,P#)等同于GroupByGroupingSets((S#,P#),(S#),())S# P# TOTQTYS1 P1 300S1 P2 200S2 P1 300S2 P2 400S3 P2 200S4 P2 200S1 Null 500S2 Null 700S3 Null 200S4 Null 200Null Null 1600数据仓库理论学习笔记SQL3对聚集的扩展(在GroupBy中扩展)Cube：立方体（交叉表）SelectS#,P#, SUN(QTY)asTOTQTYFromSPGroupByCube(S#,P#)等同于GroupByGroupingSets((S#,P#),(S#),(P#),())S# P# TOTQTYS1 P1 300S1 P2 200S2 P1 300S2 P2 400S3 P2 200S4 P2 200S1 Null 500S2 Null 700S3 Null 200S4 Null 200Null P1 600Null P2 1000Null Null 1600数据仓库理论学习笔记数据挖掘（DataM