数据整理--ETL入门.ppt

1、,融合拓展，创新云端 ,商务智能与ETL,ETL定义,目录,ETL模式,ETL过程,面向对象,提供解决方案,商务智能,数据处理,银行、券商、保险,对数据、信息处理，提供决策,BI,数据整理、挖掘、分析、建模,金融工程应用简介,企业决策层,OLAP,数据挖掘,目标数据库,提取、清洗、转换,业务系统,数据仓库,BI,Business Intelligence,ETL,商务智能与ETL,ETL定义,目录,ETL模式,ETL过程,数据优化。 以最小代价(包括对日常操作的影响和对技能的要求) 将针对日常业务操作的数据转化为针对数据仓库而存储的决策支持型数据。,数据的抽取(Extract)、转换(Tran

2、sform)、装载(Load)的过程,ETL定义,ETL目标,ETL过程,数据抽取，清洗、转换，加载,ETL过程就是数据流动的过程，从不同的数据源流向不同的目标数据。,图示,复杂的源数据环境,繁重的的开发任务,有限的加载时间,多种多样的数据源平台,参差不齐的数据质量,繁多的数据种类,巨大的加载数据量,错综复杂的数据关系,?,ETL所面临的挑战,ETL前提,ETL工具,通过对目标表信息的收集，确定ETL的范围,考虑资金 运行的平台、对源和目标的支持程度、可编程的灵活性、对源数据变化的监测、数据处理时间的控制、管理和调度功能、对异常情况的处理,ETL遵循原则,应尽量利用数据中转区对运营数据进行预处

3、理。保证数据的安全性、集成与加载的高效性,ETL的过程应是主动“拉取”，而不是从内部“推送”，其可控性将大为增强,流程化的配置管理和标准协议,数据质量的保证： 正确性、一致性、完整性、有效性、可获取性,商务智能与ETL,ETL定义,目录,ETL模式,ETL过程,ETL架构模式,同构,异构,模式比较,特点,环境,ETL模式-同构,ETL模式-异构,两种模式的比较-特点,两种模式的比较-环境,商务智能与ETL,ETL定义,目录,ETL模式,ETL过程,字段映射（销售额）,类似于关键字搜索,ETL过程,数据抽取,数据来源,抽取方式,抽取策略,文件系统，业务系统,全量抽取，增量抽取,抽取时间、频率,数

4、据清洗,清洗规则,数据补缺,数据替换,格式规范化,主外键约束,对空数据、缺失数据进行数据补缺操作，无法处理的作标记,对无效数据进行数据的替换,将源数据抽取的数据格式转换成为便于进入仓库处理的目标数据格式,通过建立主外键约束，对非法数据进行替换或导出到错误文件重新处理,转换规则,数据验证：lookup,sum,count,在ETL引擎中进行 （SQL无法实现的）,在ETL引擎中进行在数据库中进行 （SQL可以实现的）,实现方式,去除重复记录,排序/修改序号,行列互换,数据拆分,数据合并,ETL的实现三种方法,借助ETL工具，如Oracle的OWB，SQL Server2000的DTS，SQL Server 2005的SSIS等,SQL方式实现,ETL工具与SQL相结合,简单、快速. 大部分的ETL工具含有整合的元数据资料库，用于从源系统、目标系统和其他BI产品中获取元数据. 大部分ETL工具都能够取得好的性能，甚至是大数据量的情况下. ETL工具包含了预建立的Connect，连接大部分的源系统和目标系统. 大部分的ETL工具包含了统一的调度平台. ETL 工具的文档和后期维护更加的便捷.,可以更加自由的控制元数据 可以使用常见的编程语言完成开