2023学年完整公开课版数据的抽取

数据的抽取学习目标2知识目标●ETL简介●数据抽取能力目标●了解ETL●熟知数据抽取方式学习任务3了解ETL概念初步探索ETL简介初步探索全量抽取掌握增量抽取ETL简介数据抽取4目录ETL简介5ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)作为BI/DW（BusinessIntelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计，而ETL规则设计和实施则是工作量最大的，约占整个项目的60%～80%，这是国内外从众多实践中得到的普遍共识。6ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。ETL简介7ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。ETL一词较常出现在数据仓库，但其对象并不局限于数据仓库。ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库，数据仓库技术没有严格的数学理论基础，它更面向实际工程应用。所以从工程应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行一些系列处理，处理过程与经验直接相关，同时这部分的工作直接关系数据仓库中数据的质量，从而影响到联机分析处理和数据挖掘的结果的质量。ETL概念8数据抽取数据抽取是从数据源中抽取数据的过程，实际应用中数据源较多采用的是关系数据库。从数据库中抽取数据一般有一下几种方式：1.全量抽取全量抽取类似于数据迁移或数据复制，它将数据源中的表或者视图的数据原封不动的从数据库中抽取出来，并装换成自己的ETL工具可以识别的格式。相对而言全量抽取比较简单。9面对大数据时代严峻复杂的安全问题，需采取针对性的手段措施，构建大数据安全保障体系，为大数据产业健康发展保驾护航。2.增量抽取增量抽取只抽取自上次抽取以来数据库中药抽取的表中新增或修改的数据。在ETL使用过程中，增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到；性能，不能对业务系统造成太大的压力，影响现有业务。目前增量数据抽取中常用的捕获变化数据的方法有：数据抽取10（1）触发器方式（又称快照方式）在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当原表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。数据抽取11（2）时间戳方式它是一种基于快照比较的变化数据捕获方式，在原表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。当进行数据抽取时，通过比较上次抽取时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新，即表的其他字段的数据发生改变时，自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新，这就要求业务系统在更新业务数据时，手工更新时间戳字段。数据抽取12（3）全表删除插入方式每次ETL操作均删除目标数据，由ETL全新加载数据。数据抽取（4）全表对比方式全表比对的方式是RTL工具事先为要抽取的表简历一个结构类似地临时表，改临时表记录原表主键以及根据所有字段的数据计算出来，每次进行数据抽取时，对原表和临时表进行的比对，如有不同，进行Update操作，如目标表没有存在改主键值，表示该记录还没有，即进行Insert操作。1