中文les12_传输_装载仓库数据 数据仓库教学课件 中文oracle99版

Copyright Oracle Corporation, 1999. All rights reserved. 1212 传输: 装载仓库数据 12-12-2 2Copyright Oracle Corporation, 1999. All rights reserved. 概述 项目管理 (方法学,保持元数据) 定义 DW 概念 全部过程自动化 初始装载移动大量数据 随后的更新移动小量数据 业务决定装载周期 提取提取 转换转换 可操作 系统 传输传输 ( (装载装载) ) 数据 活动区 仓库 12-12-5 5Copyright Oracle Corporation, 1999. All rights reserved. 提取过程环境 每一段时间间隔后, 建立一个新的数据库 执行查询 T1T1T2T2T3T3 可操作数据库可操作数据库 12-12-6 6Copyright Oracle Corporation, 1999. All rights reserved. 仓库过程环境 建立一个新的数据库 每一段时间间隔后, 对数据库进行变更 归档或清除历史数据 执行查询 T1T1T2T2T3T3 可操作可操作 数据库数据库 12-12-7 7Copyright Oracle Corporation, 1999. All rights reserved. 初始装载 单一事件将历史数据移入数据库 涉及大量数据 采用不同的 ETL作业 装载后涉及大量的数据加工 T1T1T2T2T3T3 可操作可操作 数据库数据库 12-12-8 8Copyright Oracle Corporation, 1999. All rights reserved. 刷 新 根据事务周期执行 较简单的任务 数据装载比初始化装载量少 较低 的ETL复杂度 少量的装载后处理任务 T1T1T2T2T3T3 可操作可操作 数据库数据库 12-12-9 9Copyright Oracle Corporation, 1999. All rights reserved. 建立传输过程 详细的计划书 技术和工具 文件变换方法 装载窗口 其它作业的时间窗口 初始装载以及之后的刷新量 刷新周期的频率 连通带宽 12-12-1010Copyright Oracle Corporation, 1999. All rights reserved. 建立传输过程 测试被推荐的技术 文档化被推荐的装载技术 取得一致的过程 监测 复审 修正 12-12-1111Copyright Oracle Corporation, 1999. All rights reserved. 粒度 重要的设计和可 操作问题 所需空间 存储 备份 恢复 分区 装载 低级别粒度 昂贵,高级别处理、多磁 盘,细节 高级别粒度 便宜,少处理,少磁盘,少细 节 12-12-1212Copyright Oracle Corporation, 1999. All rights reserved. 传输技术 工具 Utilities and 3GL 网关 定制复制程序 回复 FTP 手册 12-12-1313Copyright Oracle Corporation, 1999. All rights reserved. 传输技术需考虑的问题 工具是综合的，但费用昂贵 数据移动设施很快而且功能强大 网关并不总是最快的方法: 访问其它数据库 提供依赖的数据集市 支持分布式环境 如果需要将提供实时访问 12-12-1414Copyright Oracle Corporation, 1999. All rights reserved. 利用 SQL*Loader 装载数据 SQL*Loader 控制文件 输入文件 坏文件日志文件 丢弃文件 最快装载机制 直接路径 并行而且不可回收 直接-装载 INSERT (Oracle8) 直接-路径 装载 API (Oracle8i) 12-12-1515Copyright Oracle Corporation, 1999. All rights reserved. 直接-路径 装载 API in Oracle8i Load utility 允许 ETTL和其它工具有效的装载 Oracle 数据库 允许装载行为被定制化 授予 直接-路径 装载行为 对所有使用OCI 的直接-装载功能提 供完全访问权限 12-12-1616Copyright Oracle Corporation, 1999. All rights reserved. 传输技术需考虑的其它问题 使用定制程序作为最后手段 复制受限于数据传输率 12-12-1717Copyright Oracle Corporation, 1999. All rights reserved. 装载数据的后期加工 Browser: http:/ HollywoodHollywood X X + + Customers: a recorof as X X + + Customers: Browser: http:/ HollywoodHollywood Browser: http:/ HollywoodHollywood X X + + 提取提取转换转换传输传输 装载 数据 装载数据的后期加工装载数据的后期加工 生成 索引 产生 关键字 概括（综合）筛选 12-12-1818Copyright Oracle Corporation, 1999. All rights reserved. 索引数据 装载前: 快速索引 装载期间: 为装载窗口添加时间 装载后:为装载窗口添加时间 索引 可操作可操作 数据库数据库 活动活动 文件文件 仓库仓库 数据库数据库 12-12-1919Copyright Oracle Corporation, 1999. All rights reserved. 唯一索引 使装载时的约束失效 使生成索引时有约束 装载装载 数据数据 使约束失效使约束失效授予授予 约束约束 生成生成 索引索引 捕获捕获 错误错误重重处理处理 12-12-2020Copyright Oracle Corporation, 1999. All rights reserved. 生成人工键 利用无特点或源键 保证每行记录的唯一性 利用一个管理进程去分配键 用数字连接可操作键: 容易维护 冗余的键 对于检索无干纯净的数值 1099081099080101 12-12-2121Copyright Oracle Corporation, 1999. All rights reserved. 为档案创建唯一键 从列表中分配一个数字: 没有语义意义 提取操作必须参考表去分配数字 更新元数据 裁决 1099081 12-12-2222Copyright Oracle Corporation, 1999. All rights reserved. 生成概要表 CTAS pCTAS 概要表概要表 12-12-2323Copyright Oracle Corporation, 1999. All rights reserved. 过滤数据 从仓库到数据集市 CTAS pCTAS 概要数据概要数据 仓库仓库 数据集市数据集市 12-12-2424Copyright Oracle Corporation, 1999. All rights reserved. 检验数据完整性 将数据装载到中间文件 比较装载前的总量与目标 总量 装载装载 文件 1 文件 2 总量 数和量 中间中间 文件文件 = = !=!= 文件 2 文件 1 装载装载 仓库仓库保存保存, , 检查检查, , 整理整理, , 装载装载 12-12-2525Copyright Oracle Corporation, 1999. All rights reserved. 检验数据完整性的步骤 源文件 控制 提取 SQL*Loader .bad 1 2 3 4 5 6 7 .log 12-12-2626Copyright Oracle Corporation, 1999. All rights reserved. 标准质量担保检查 装载状态 处理完成 数据完成 数据调整 违反 再处理 比较数和量 113+ = 12-12-2727Copyright Oracle Corporation, 199