13 资源环境信息系统(GIS07).ppt

2020 2 25 1 组件技术应用Web技术应用 中间件技术应用 代理技术应用网络安全技术应用数据仓库与联机分析处理技术 2 8环境GIS实用技术 2020 2 25 2 数据仓库是一个面向主题的 集成的 非易失的 不可修改 且随时间变化的数据集合 用来支持管理人员的决策 是为了进行在线分析以及获取决策支持而采取的一种收集和储存数据的新模式 2020 2 25 3 数据仓库的特点面向主题主题是在较高层次上对数据抽象面向主题的数据组织分为两步骤抽取主题确定每个主题所包含的数据内容每个主题都是由一组关系表实现的集成的数据不可更改随时间变化的 2020 2 25 4 数据仓库的特点 面向主题 2020 2 25 5 数据仓库的特点面向主题集成的数据仓库的数据是从原有的分散数据库数据中抽取来的消除数据表述的不一致性 数据的清洗 数据的综合数据不可更改随时间变化的 2020 2 25 6 数据仓库的特点 集成 2020 2 25 7 数据仓库的特点面向主题集成的数据不可更改数据仓库的主要数据操作是查询 分析不进行一般意义上的数据更新 过期数据可能被删除 数据仓库强化查询 淡化并发控制和完整性保护等技术随时间变化的 2020 2 25 8 数据仓库的特点 数据不可更改 2020 2 25 9 数据仓库的特点面向主题集成的数据不可更改随时间变化的不断增加新的数据内容不断删除旧的数据内容定时综合数据仓库中数据表的键码都包含时间项 以标明数据的历史时期 2020 2 25 10 数据仓库的特点 随时间变化 2020 2 25 11 OLAP介绍 发展背景什么是OLAP 相关基本概念OLAP特性OLAP多维数据结构OLAP多维数据分析OLAP分类及体系结构 OnlineAnalyticalProcessing ONLINEANALYTICALPROCESSING 联机分析处理 2020 2 25 12 一 发展背景 60年代 关系数据库之父E F Codd提出了关系模型 促进了联机事务处理 OLTP 的发展 数据以表格的形式而非文件方式存储 1993年 E F Codd提出了OLAP概念 认为OLTP已不能满足终端用户对数据库查询分析的需要 SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求 用户的决策分析需要对关系数据库进行大量计算才能得到结果 而查询的结果并不能满足决策者提出的需求 因此 E F Codd提出了多维数据库和多维分析的概念 即OLAP 2020 2 25 13 OLTP数据OLAP数据原始数据导出数据细节性数据综合性和提炼性数当前值数据历史数据可更新不可更新 但周期性刷新一次处理的数据量小一次处理的数据量大面向应用 事务驱动面向分析 分析驱动面向操作人员 支持日常面向决策人员 支持操作管理需要 2020 2 25 14 OLAP和OLTP的区别 联机分析处理和传统的联机事务处理 OnLineTransactionProcessing OLTP 是两种性质不同的数据处理方式 OLTP主要用来完成基础业务数据的增 删 改等操作 如民航订票系统 银行储蓄系统等等 对响应时间要求比较高 强调的是密集数据更新处理的性能和系统的可靠性及效率 而OLAP应用是对用户当前及历史数据进行分析 辅助领导决策 主要通过多维数据的查询 旋转 钻取和切片等关键技术对数据进行分析和报表 2020 2 25 15 二 什么是OLAP 定义1 OLAP 联机分析处理 是针对特定问题的联机数据访问和分析 通过对信息 维数据 的多种可能的观察形式进行快速 稳定一致和交互性的存取 允许管理决策人员对数据进行深入观察 定义2 OLAP 联机分析处理 是使分析人员 管理人员或执行人员能够从多种角度对从原始数据中转化出来的 能够真正为用户所理解的 并真实反映企业维特性的信息进行快速 一致 交互地存取 从而获得对数据的更深入了解的一类软件技术 OLAP委员会的定义 OLAP的目标是满足决策支持或多维环境特定的查询和报表需求 它的技术核心是 维 这个概念 因此OLAP也可以说是多维数据分析工具的集合 2020 2 25 16 三 相关基本概念 1 维 是人们观察数据的特定角度 是考虑问题时的一类属性 属性集合构成一个维 时间维 地理维等 2 维的层次 人们观察数据的某个特定角度 即某个维 还可以存在细节程度不同的各个描述方面 时间维 日期 月份 季度 年 3 维的成员 维的一个取值 是数据项在某维中位置的描述 某年某月某日 是在时间维上位置的描述 4 多维数组 维和变量的组合表示 一个多维数组可以表示为 维1 维2 维n 变量 时间 地区 产品 销售额 5 数据单元 单元格 多维数组的取值 2000年1月 上海 笔记本电脑 100000 2020 2 25 17 四 OLAP特性 1 快速性 用户对OLAP的快速反应能力有很高的要求 系统应能在5秒内对用户的大部分分析要求做出反应 2 可分析性 OLAP系统应能处理与应用有关的任何逻辑分析和统计分析 3 多维性 多维性是OLAP的关键属性 系统必须提供对数据的多维视图和分析 包括对层次维和多重层次维的完全支持 4 信息性 不论数据量有多大 也不管数据存储在何处 OLAP系统应能及时获得信息 并且管理大容量信息 有许多因素需要考虑 如数据的可复制性 可利用的磁盘空间 产品的性能及与数据仓库的结合度等 2020 2 25 18 五 OLAP多维数据结构 1 超立方结构 Hypercube 超立方结构指用三维或更多的维数来描述一个对象 每个维彼此垂直 数据的测量值发生在维的交叉点上 数据空间的各个部分都有相同的维属性 收缩超立方结构 这种结构的数据密度更大 数据的维数更少 并可加入额外的分析维 2 多立方结构 Multicube 即将超立方结构变为子立方结构 面向某一特定应用对维进行分割 它具有很强的灵活性 提高了数据 特别是稀疏数据 的分析效率 2020 2 25 19 OLAP的基本操作是指对以多维形式组织起来的数据采取切片 切块 旋转等各种分析动作 以求剖析数据 使最终用户能从多个角度 多侧面地观察数据仓库中的数据 从而深入地了解包含在数据中的信息和内涵 六OLAP的基本操作与分析 2020 2 25 20 1 切片和切块 SliceandDice 在多维数据结构中 按二维进行切片 按三维进行切块 可得到所需要的数据 如在 城市 产品 时间 三维立方体中进行切块和切片 可得到各城市 各产品的销售情况 切片的目的是使人们能够更好地了解多维数据集 通过切片的操作可以降低多维数据集的维度 可使人们将注意力集中在较少的维度下进行观察 2020 2 25 21 切片 在多维数组的某一维选定一个维成员的动作称为 舍弃一些观察角度切块 在多维数组的某一维上选定某一区间的维成员多个切片的叠加 2020 2 25 22 OLAP的分析方法 切片 切块 2020 2 25 23 2 钻取 Drill 钻取包含向下钻取 Drill down 和向上钻取 Drill up 上卷 Roll up 操作 钻取的深度与维所划分的层次相对应 3 旋转 Rotate 转轴 Pivot 通过旋转可以得到不同视角的数据 2020 2 25 24 OLAP的分析方法 钻取 按时间维向下钻取 按时间维向上钻取 60 2020 2 25 25 OLAP的分析方法 旋转 旋转是改变一个报告或页面显示的维方向 以用户容易理解的角度来观察数据 2020 2 25 26 OLAP分类 OLAP按数据存储格式可以分为三种类型 关系OLAP RelationalOLAP ROLAP 多维OLAP MultidimensionalOLAP MOLAP 混合型OLAP HybridOLAP HOLAP 2020 2 25 28 MOLAP与ROLAPMOLAP计算速度较快支持的数据容量较小缺乏细节数据的OLAPROLAP结构较复杂以关系模拟多维支持适当细节的OLAP较成熟HOLAP是以上两种的综合 2020 2 25 29 OLTP ROLAP与MOLAP模式 1 ROLAP将分析用的多维数据存储在关系数据库中并根据应用的需要有选择的定义一批实视图作为表也存储在关系数据库中 不必要将每一个sql查询都作为实视图保存 只定义那些应用频率比较高 计算工作量比较大的查询作为实视图 对每个针对olap服务器的查询 优先利用已经计算好的实视图来生成查询结果以提高查询效率 同时用作rolap存储器的rdbms也针对olap作相应的优化 比如并行存储 并行查询 并行数据管理 基于成本的查询优化 位图索引 sql的olap扩展 cube rollup 等等 2020 2 25 31 基于关系数据库的OLAP ROLAP以二维表与多维联系来表达多维数据 综合数据 星型结构事实表 存储事实的量及各维的码值维表 对每一个维 至少有一个表用来保存该维的元数据 多层次 冗余 事实表通过外键与每个维表相联系雪花 星座 雪暴模拟多维方式显示 观察 数据 2020 2 25 32 ROLAP开始的设计和设置是按技术数据库设计的方式来驱动的 遵循以下步骤 1 利用星型模式 雪花模式 混合模式等技术来构造维模型 2 添加适当的聚集和概括数据 3 把大的数据库分解成可管理的部分以提高效率 4 添加生成的索引或位模式索引增强功能 5 生成并存储元数据 ROLAP的设计步骤 2 MOLAPMOLAP将olap分析所用到的多维数据物理上存储为多维数组的形式 形成 立方体 的结构 维的属性值被映射成多维数组的下标值或下标的范围 而总结数据作为多维数组的值存储在数组的单元中 由于molap采用了新的存储结构 从物理层实现起 因此又称为物理olap physicalolap 而rolap主要通过一些软件工具或中间软件实现 物理层仍采用关系数据库的存储结构 因此称为虚拟olap virtualolap 2020 2 25 34 基于多维数据库的OLAP MOLAP以多维方式组织数据 综合数据 以多维方式显示 观察 数据多维数据库的形式类似于交叉表 可直观地表述一对多 多对多的关系如 产品 地区 销售额关系多维多维数据库由许多经压缩的 类似于数组的对象构成 带有高度压缩的索引及指针结构以关系数据库存放细节数据 以多维数据库存放综合数据 2020 2 25 35 MOLAP的设计步骤 当由逻辑设计或信息模型驱动时 MOLAP设计和设置的基本步骤如下 1 功能选择 2 指明数字信息 3 确定维以及每一维的粒度 4 定义逻辑模型并装载多维数据存储 这可以直接从数据源中获得 也可以过滤并匹配数据仓库数据 由于molap和rolap有着各自的优点和缺点 如下表所示 且它们的结构迥然不同 这给分析人员设计olap结构提出了难题 为此一个新的olap结构 混合型olap holap 被提出 它能把molap和rolap两种结构的优点结合起来 迄今为止 对holap还没有一个正式的定义 但很明显 holap结构不应该是molap与rolap结构的简单组合 而是这两种结构技术优点的有机结合 能满足用户各种复杂的分析请求 3 HOLAP 2020 2 25 37 ROLAP的星型模式 StarSchema 事实表 用来存储事实的度量值和各个维的码值 维表 用来存放维的元数据 维的层次 成员类别等描述信息 Budget 2020 2 25 38 MOLAP的多维立方体 Multicube 2020 2 25 39 数据组织形式 RDB数据组织 MDDB数据组织 关系表中综合数据的存放多维数据库中综合数据的存放 2020 2 25 40 ROLAP与MOLAP比较 ROLAP优势没有大小限制现有的关系数据库的技术可以沿用 可以通过SQL实现详细数据与概要数据的存储现有关系型数据库已经对OLAP做了很多优化 包括并行存储 并行查询 并行数据管理 基于成本的查询优化 位图索引 SQL的OLAP扩展 cube rollup 等大大提高ROALP的速度 MOLAP优势性能好 响应速度快专为OLAP所设计支持高性能的决策支持计算复杂的跨维计算多用户的读写操作行级的计算 2020 2 25 41 ROLAP与MOLAP比较 ROLAP缺点一般比MDD响应速度慢不支持有关预计算的读写操作SQL无法完成部分计算无法完成多行的计算无法完成维之间的计算 MOLAP缺点增加系统复杂度 增加系统培训与维护费用受操作系统平台中文件大小的限制 难以达到TB级 只能10 20G 需要进行预计算 可能导致数据爆炸无法支持维的动态变化缺乏数据模型和数据访问的标准 2020 2 25 42 八 OLAP体系结构 ROLAPArchitectureMOLAPArchitecture DatabaseServer DBMS 2020 2 25 43 八 HOLAP体系结构 HOLAPArchitecture ResultSetOR SQLQuery SQL ResultSet Info Request ResultSet Load Front endTool HybridArchitecture 2020 2 25 44 九 OLAP评价准则 准则1OLAP模型必须提供多维概念模型准则2透明性准则准则3存取能力准则准则4稳定的报表性能准则5客户 服务器体系结构准则6维的等同性准则准则7动态稀疏矩阵处理准则准则8多用户支持能力准则准则9非受限的跨维操作准则10直观的数据处理准则11灵活的报表生成准则12非受限的维与维的层次 2020 2 25 45 流行的OLAP工具介绍 OLAP产品HyperionEssbaseOracleExpressIBMDB2OLAPServerSybasePowerdimensionInformixMetacubeMicrosoftPlatoBrioCognosBusinessObjectMicroStrategy OLAP产品涉及的业务操作由外部或内部数据源批量装入数据由业务系统增量装入数据沿数据层次汇总数据对基于业务模型的新数据进行计算时间序列分析高复杂的查询沿数据层次细化分析随机查询多个联机会话 多用户同时访问 2020 2 25 46 流行的OLAP工具 HyperionEssbase以服务器为中心的分布式体系结构有超过100个的应用程序有300多个用Essbase作为平台的开发商具有几百个计算公式 支持多种计算用户可自己构件复杂的查询 快速的响应时间 支持多用户同时读写有30多个前端工具可供选择支持多种财务标准能与ERP或其他数据源集成全球用户超过1500家 OracleExpressOracleDW支持GB TB数量级采用类似数组的结构 避免了连接操作 提高分析性能提供一组存储过程语言来支持对数据的抽取用户可通过Web和电子表格使用灵活的数据组织方式 数据可以存放在ExpressServer内 也可直接在RDB上使用有内建的分析函数和4GL用户自己定制查询全球超过3000家 2020 2 25 47 流行的OLAP工具介绍 IBMDB2OLAPServer把HyperionEssbase的OLAP引擎和DB2的关系数据库集成在一起 与EssbaseAPI完全兼容数据用星型模型存放在关系数据库DB2中InformixMetacube采用metacube技术 通过OLE和ODBC对外开放 采用中间表技术实现多维分析引擎 提高响应时间和分析能力开放的体系结构可以方便地与其他数据库及前台工具进行集成 SybasePowerdimension数据垂直分割 按 列 存储 采用了突破性的数据存取方法 bit wise索引技术在数据压缩和并行处理方面有多到之处提供有效的预连接 Pro Jion 技术 2020 2 25 48 十一 OLAP发展 应用领域市场和销售分析 MarketingandSalesanalysis 电子商务分析 Clickstreamanalysis 基于历史数据的营销 Databasemarketing 预算 Budgeting 财务报告与整合 Financialreportingandconsolidation 管理报告 Managementreporting 利益率分析 Profitabilityanalysis 质量分析 Qualityanalysis OLAP标准APB 1 AQT AnalyticalQueryTime作为统计指标 2020 2 25 49 从联机分析处理到联机分析挖掘 OLAM OLAP挖掘 将联机分析处理