多维数据分析基础与方法..-共66页课件

1、第2章 多维数据分析基础与方法 2.1多维数据分析基础 2.2多维数据分析方法 2.3维度表与事实表的连接 2.4多维数据的存储方式 2.5常用的服务器端分析工具 2.6常用的客户端分析工具 2.7 各种工具的准备和安装 小结12.1 多维数据分析基础多维数据分析（OLAP）概念：以海量数据为基础的复杂数据分析技术，侧重决策支持。与OLTP的区别面向对象不同操作不同22.1 多维数据分析基础 多维数据集（Cube）概念是一个数据集合，通常从数据仓库的子集构造，并组织和汇总成一个由一组维度和度量值定义的多维结构。特性多维，也称作立方体（Cube）提供一种便于使用的查询数据的机制。342.1 多维

2、数据分析基础2.1 多维数据分析基础度量值（Measure）度量值是一组值，是客户发生事件或动作的事实记录。如：客户打电话，记录次数和费用等；超市客户销售，记录销售数量、金额等等。度量值所在的表称为事实数据表，常规多维数据集的结构中只能有一个事实数据表。52.1 多维数据分析基础维度（Dimension）维度（也简称为维）是人们观察数据的角度。例如，时间维，地区维等。 包含维度信息的表是维度表，维度表包含描述事实数据表中的事实记录的特性。描述维度的字段称为维度属性 62.1 多维数据分析基础维度成员（Dimension Member）维的一个取值称为该维的一个维度成员（简称维成员）。例如，考虑

3、时间维具有日、月、年这3个级别，分别在日、月、年上各取一个值组合起来，就得到了时间维的一个维成员，即“某年某月某日”。 72.1 多维数据分析基础维度的层次结构定义层次结构是维度中成员的集合以及这些成员之间的相对位置。如，地址维：洲、国家、城市、区、街道、门牌号类型均衡层次结构层次结构的所有分支都降至同一级别，每个成员的逻辑父代就是其上级成员。不均衡层次结构层次结构的所有分支都降至不同级别，每个成员的逻辑父代就是其上级成员。如CEO/部门经理（/员工）、执行秘书不规则层次结构 82.1 多维数据分析基础维的级别（Dimension Level）人们观察数据的某个特定角度（即某个维）还可以存在不

4、同的细节程度，我们称这些维度的不同的细节程度为维的级别。一个维往往具有多个级别.例如描述时间维时（“月、季度、年”为层次结构），则月、季度、年为3个级别，可从不同级别来描述。92.1 多维数据分析基础102.2 多维数据分析方法 多维分析方法方法上卷下钻切片切块旋转目的从多个角度、多个侧面观察数据库中的数据。 112.2 多维数据分析方法上卷（Roll-Up）在数据立方体中执行聚集操作，通过在维级别中上升来观察更概括的数据。 沿着时间维上卷，由“季度”上升到半年 122.2 多维数据分析方法上卷通过消除一个或多个维来观察更加概况的数据。 消除“经济性质”维度 132.2 多维数据分析方法 下钻

5、（drill-down）通过在维级别中下降或通过引入某个或某些维来更细致的观察数据。 沿时间维下钻 142.2 多维数据分析方法切片（slice）在给定的数据立方体的一个维上进行的选择操作。切片的结果是得到了一个二维的平面数据。 “时间1季度” 152.2 多维数据分析方法 切块（dice）在给定的数据立方体的两个或多个维上进行的选择操作。切块的结果是得到了一个子立方体。 (度量值“正常” or “次级”）And （时间“1季度” or “2季度”） 162.2 多维数据分析方法转轴（pivot or rotate）转轴就是改变维的方向。 交换“时间”和“经济性质”轴172.3 维度表与事实表

6、的连接 维度表和事实表的联系纬度表包含某维度信息的表；维度由主键和维属性构成。维属性是维表里的列。事实表包含度量值（事实）的表特征记录数量多事实表除了度量外，其他字段都是同维表或者中间表的关键字。如果事实相关的维度很多，则事实表的字段数也会很多。182.3 维度表与事实表的连接 维度表和事实表的联系联系相互独立，又互相关联并构成一个统一的架构。事实表处在架构的中央。构建多维数据集时常用的架构：星型架构雪花型架构星型雪花架构192.3 维度表与事实表的连接 星型架构星型架构是以事实表为核心，其他的维度表围绕这个核心表呈星型状分布。每个维度表中的主码都只能是单列的，同时该主码被放置在事实数据表中，

7、作为事实数据表与维表连接的外码。维度表只与事实表关联，维度表彼此之间没有任何联系。202.3 维度表与事实表的连接星型架构示意图212.3 维度表与事实表的连接雪花型架构 (Snow Schema)以事实数据表为核心；某个维度表不与事实表直接关联，而是与另一个维表关联维度表和与其相关联的维度表通过外码关联；可以进一步细化查看数据的粒度。 222.3 维度表与事实表的连接雪花型架构示意图232.3 维度表与事实表的连接星型雪花架构(Star-Snow Schema)将星型架构和雪花式架构合并在一起使用，而成为星型雪花架构。 242.4 多维数据的存储方式 SQL Server 的Analysis

8、 三种多维数据存储方式:MOLAP（多维OLAP，Multidimensional OLAP）ROLAP（关系OLAP，Relational OLAP）HOLAP（混合OLAP，Hybrid OLAP） 252.4 多维数据的存储方式ROLAP ROLAP的数据与计算结果直接由原来的关系数据库取得。ROLAP将支撑多维数据的原始数据、多维数据集数据、汇总数据和维度数据都存储在现有的关系数据库中，并用独立的关系表来存放聚集数据。不存储源数据副本，占用的磁盘空间最少，但存取速度也比较低。 262.4 多维数据的存储方式MOLAP MOLAP使用多维数组存储数据，它是一种高性能的多维数据存储格式。多

9、维数据在存储中将形成“立方体”的结构。MOLAP存储模式将数据与计算结果都存储在立方体结构中，并存储在分析服务器上。该结构在处理维度时创建。存取速度最快，查询性能最好，但占用磁盘空间较多。 272.4 多维数据的存储方式HOLAP ROLAP与MOLAP存储方式的结合。原始数据和ROLAP一样存储在原来的关系数据库中，而聚合数据则以多维的形式存储分析服务器。优点：既能与关系数据库建立连接，同时又利用了多维数据库的性能优势。缺点是在ROLAP和MOLAP系统之间的切换会影响它的效率。 282.4 多维数据的存储方式内容MOLAPROLAPHOLAP源数据的副本有无无占用分析服务器存储空间大小小使

10、用多维数据集小较大大数据查询快慢慢聚合数据的查询快慢快使用查询频度经常不经常经常 三种存储方式的比较2930/382.5常用的服务器端分析工具SQL Server 2019Management Studio(数据管理)Analysis Services（分析服务）IBM公司的DB2 OLAP Server（OLAP服务器）。 31/382.5.1 SQL Server Analysis Services组件SQL Server Integration Services(SSIS)SQL Server Analysis Services(SSAS)SQL Server Reporting Ser

11、vices(SSRS)平台Business Intelligence Development Studio 32/382.5.1 SQL Server Analysis Services组件的结构33/382.5.1 SQL Server Analysis Services启动34/382.5.1 SQL Server Analysis ServicesSQL Server Business Intelligence Development Studio35/382.5.1 SQL Server Analysis ServicesSSIS、SSAS、SSRS文件-项目36/382.5.1 SQ

12、L Server Analysis ServicesSQL Server Management Studio37/382.5.1 SQL Server Analysis Services连接服务38/382.5.1 SQL Server Analysis Services分析服务的特点易用性；灵活的数据存储模型；伸缩性；集成；支持大量的API和函数；分布式处理能力； 服务器端结构的高速缓存。39/382.5.1 SQL Server Analysis Services 分析服务的体系结构40/381.服务器端 体系结构2.5.1 SQL Server Analysis Services41/3

13、82.5.1 SQL Server Analysis Services 2. 客户端体系结构42/382.6常用的客户端分析工具 ExcelCrystal Analysis 43/382.6常用的客户端分析工具Excel可以连接到分析服务器的功能可以脱机方式分析数据。Excel可以使用数据透视表服务连接任何的ODBC数据源，然后产生一个多维数据集文件，模拟OLAP服务的多维数据分析。还可以帮助用户绘制统计图表，从而更直观地展示多维数据分析的结果。 44/382.6常用的客户端分析工具Excel选择数据源45/382.6常用的客户端分析工具Excel连接数据库服务器46/382.6常用的客户端分

14、析工具Excel选择数据库和表47/382.6常用的客户端分析工具Excel设置保存数据文件48/382.6常用的客户端分析工具Excel设置显示方式49/382.6常用的客户端分析工具Excel浏览数据的初始界面50/382.6常用的客户端分析工具Excel浏览数据51/382.6常用的客户端分析工具Crystal AnalysisBusiness Objects 公司在报表系列产品中的一种。侧重于多维数据分析。结构化的多维报表。全面的分析和格式功能针对Web设计 52/382.6常用的客户端分析工具Crystal Analysis启动53/382.6常用的客户端分析工具Crystal An

15、alysis启动54/382.6常用的客户端分析工具Crystal Analysis连接数据源55/382.6常用的客户端分析工具Crystal Analysis连接数据源成功显示56/382.6常用的客户端分析工具Crystal Analysis连接数据源成功显示选择数据源：华兴商业银行贷款分析点击“open”按钮57/382.6常用的客户端分析工具Crystal Analysis选择模板选择模板-点击“ok”582.6常用的客户端分析工具Crystal Analysis浏览数据界面修改维添加图表显示维度59/382.7 各种工具的准备和安装 各工具需要的软硬件环境 SQL Server A

16、nalysis Services DB2 OLAP Server 8.2 Crystal Analysis 10 60/382.7.1 SQL Server Analysis Services硬件/软件要 求计算机处理器越快越好内存 (RAM)1G以上磁盘驱动器CD-ROM 驱动器硬盘空间 C盘2G，安装盘2G操作系统评估版：XP,Vista网络软件Windows 2000、Windows NT 4.0、Windows 98 或 Windows 95 内置网络软件，以及 TCP/IP（包含在 Windows 中）。 联机产品文档查看器Microsoft Internet Explorer 6.

17、0或更高版本 。访问权限若要安装用于分析服务器的服务，必须用管理员权限登录到该服务器。 61/382.7.2DB2 OLAP Server 8.2硬件/软件服务器平台PC客户机平台OLAP集成服务器平台处理器对Windows NT 或 Windows 2000，至少需要奔腾处理器或者等效处理器对于Spreadsheet Add-in和应用程序管理器，至少需要奔腾处理器或者等效处理器对Windows NT 或 Windows 2000，至少需要奔腾处理器或者等效处理器内存 64MB或更多（对UNIX平台，需128MB或更多）对Spreadsheet Add-in和应用程序管理器，至少需16MB或

18、更多；对Windows NT 或Windows 2000，需32MB或更多64MB或更多硬盘空间 对于服务器或样本程序，需要35至50MB；对于SQL Interface 软件和样本，需要15至20MB对于Spreadsheet Add-in和应用程序管理器，至少需要24MB或更多；对于集成服务桌面环境，至少需要45MB对服务器，需要32MB；对于元数据目录和样本程序，需要50MB操作系统Windows NT 4.0 或 Windows 2000；Solaris操作环境；RS/6000 AIX 版 UNIX操作系统 Windows 95；Windows 98；Windows NT 4.0 ；Windows 2000Windows NT 4.0 或 Windows 2000；Solaris操作环境2.6或2.7；AIX 4.3.3或更高网络软件TCP/IP 或命名管道TCP/IP 或命名管道TCP/IP 或命名管道62/382.7.3 Crystal Analysis 10硬件/软件完全安装客户端安装处理器Intel 或兼容机（Pentium II - 450 MHz 或更高）Intel 或兼容机（Pentium I