大数据ETL技术介绍

1、大数据ETL技术介绍ETL工具数据抽取方法介绍掌握ETL工具的部署学习完本课程，您应该能够：21. ETL工具数据抽取方法介绍2. ETL工具部署目录3大数据平台DataEngine技术架构ETL介绍ETL工具数据源数据抽取DataEngine MPP数据导入Hbase结构化数据ORA、SQL、Mysql 非结构化数据文本数据、图片、LOG、音视频、压缩文件DataEngineSqoopKettleFlumeDataEngine HDPHDFSHiveKafkaES 结构化数据导入MPP方法ETL工具结构化数据数据抽取dispatch数据加载工具MPP方法一：数据导入方法二：数据导出Oracl

2、eSql ServerMysqlOracle数据库可以通过oratompp导出为TXT文件OratomppKettleKettle结构化数据导入MPP注意事项数据源OracleSql ServerMysql生产系统前置机MPP数据源访问方式Kettle直连生产库增加前置机谁实施？提供只读用户数据信息调研数据量数据增量表结构表数量访问安全数据是否需要脱敏数据是否需要清洗Oratompp工具使用运行oratompp命令的机器需要安装oracle客户端和访问oracle服务器权限ETL工具OratomppKettle表对表迁移步骤？结构化数据导入MPP数据类型区别数据源OracleMPP将ORACL

3、E的表迁移到MPP的表过程中涉及到的ORACLE标准数据类型如何映射到MPP数据库表中共包含四大类数据类型：二进制数据类型BFILE、BLOB、RAW(size)、LONGRAW字符数据类型CLOB、LONG、NCHAR、NCLOB、CHAR、varchar2、NVARCHAR2数字数据类型BINARY_DOUBLE、BINARY_FLOAT、NUMBER(p,s)、DECIMAL(p,s)、INT、 INTEGER日期时间数据类型TIMESTAMP、DATEH3C DataEngine MPP SQL参考手册表对标迁移结构化数据导入HDPETL工具结构化数据数据抽取数据导入OracleSql

4、 ServerMysqlDataEngine HDPHbaseHDFSHiveKettleSqoop不需要清洗需要清洗非结构化数据导入HDPETL工具非结构化数据数据抽取数据导入文本数据、图片、LOG、音视频、压缩文件DataEngine HDPHbaseHDFSHiveFlumeKettleftpHUEKafkaES图片、视频等二进制文件日志文件1. ETL工具数据抽取方法介绍2. ETL工具部署目录11ETL工具部署在何处？数据分发服务器IRF业务交换机HDP集群MPP集群管理网交换机数据源OracleSql ServerMysql生产系统前置机操作台H3C DataEngineFlume部署在何处？IRF业务交换机HDP集群管理网交换机数据源文本数据、图片、LOG、音视频、压缩文件数据前置机操作台H3C DataEngin