Kettle基本知识培训

Kettle基本知识培训Kettle基本知识培训Kettle培训内容Kettle功能Kettle控件介绍Kettle案例演示2Kettle培训内容Kettle功能2Kettle介绍Kettle是一款开源的、元数据驱动的ETL工具集，是开源ETL工具里功能比较强大的一个。Kettle是”KettleE.T.T.L.Envirnonment”只取首字母的缩写，这意味着它被设计用来帮助你实现你的ETL需要：抽取、转换、装入和加载数据；翻译成中文名称应该叫水壶，名字的起源正如该项目的主程序员MATT在一个论坛里说的哪样：希望把各种数据放到一个壶里然后以一种指定的格式流出。3Kettle介绍Kettle是一款开源的、元数据驱动的ETKettle家族Kettle5.0家族目前包括几个产品：Spoon—转换(transform)设计工具(GUI方式)Pan—转换(transform)执行器(命令行方式)Kitchen—工作(job)执行器(命令行方式)

4Kettle家族Kettle5.0家族目前包括几个产品：Kettle的安装要运行此工具你必须安装Sun公司的JAVA运行环境1.4或者更高版本，相关资源你可以到网络上搜索JDK进行下载绿色免安装，解压即可用。在不同的平台上运行Spoon所支持的脚本：Spoon.bat:在windows平台运行Spoon。Spoon.sh:在Linux、AppleOSX、Solaris平台运行Spoon。5Kettle的安装要运行此工具你必须安装Sun公司的JAKettle转化功能介绍1Kettle中有两种脚本文件，transformation(.ktr)和job(.kjb)，transformation完成针对数据的基础转换，job则完成整个工作流的控制。所有功能支持控件化，使用简单支持多样化数据源类型：基本的文本文件Access、Excel、XML、Property文件格式MDX查询语言、Cube文件、StreamingXML数据流自动产生空记录或者行从XBase类型文件(DBF)读取数据关系型数据库获取系统信息如文件名称、系统时间等6Kettle转化功能介绍1Kettle中有两种脚本文件，Kettle转化功能介绍2特殊目标数据源支持把数据写入到Cube把数据写入XML支持多种查询调用数据库存储过程基本的数据库查询判断表以和列、操作系统文件是否存在从URL接收查询使用Web服务查询信息使用数据流中的值作为参数来执行一个数据库查询流查询：从转换中其他流里查询值转换功能值映射、分组、去重、拆分字段、行列转换复制行7Kettle转化功能介绍2特殊目标数据源支持7Kettle转化功能介绍３支持的脚本JS脚本SQL脚本正则表达式支持渐变维度更新批量加载：GreenplumBulkLoaderOracleBulkLoaderMSSQLBulkLoaderMYSQLBulkLoaderPostgreSQLBulkLoader支持分区表和集群8Kettle转化功能介绍３支持的脚本8Kettle作业功能介绍1可以执行操作系统命令和操作：Ping主机写日志发送邮件从POPServer获取邮件并保存在本地比较文件夹、文件创建、复制、移动、删除、压缩文件从HTTP获取或者上传文件操作延迟等待9Kettle作业功能介绍1可以执行操作系统命令和操作：9Kettle作业功能介绍2判断文件是否存在执行JavaScript、SQL、Shell脚本支持安全FTP获取、上传文件删除远程文件支持SSH2上传下载10Kettle作业功能介绍2判断文件是否存在10数据库连接类型和访问类型支持的数据库连接类型，截图如下，有些数据库类型需要完善jar包，以确保数据库能够正确连接11数据库连接类型和访问类型支持的数据库连接类型，截图如下，11访问类型数据库访问类型支持如下几种：JDBCOCIODBCJNDI12访问类型数据库访问类型支持如下几种：12Kettle实施步骤双击运行kettle文件夹下的Kettle

文件，出现kettle欢迎界面。创建资料库(可省略)创建数据库连接创建转换创建Jobs，进行流程化控制13Kettle实施步骤双击运行kettle文件夹下的KeKettle案例案例描述：从oracle数据库中导出数据到文本文件中14Kettle案例案例描述：14创建转换选择”文件”,选择”新建”---->”转换”15创建转换选择”文件”,选择”新建”---->”转换”15从左侧输入栏目中选择”表输入”控件和”文本文件输出”控件，拖拽到右侧工作空间中16从左侧输入栏目中选择”表输入”控件和”文本文件输出”控件，拖选中两个控件，在其中一个控件上右击，选择”新建节点连接”17选中两个控件，在其中一个控件上右击，选择”新建节点连接”17选择”起始步骤”18选择”起始步骤”18双击”表输入”控件，进行编辑在SQL中输入：SELECT*FROMEMPWHEREENAME='${ENAME}‘其中${ENAME}是参数。19双击”表输入”控件，进行编辑19数据库连接点击”新建”，并测试连接。点击确认保存改步骤。20数据库连接点击”新建”，并测试连接。点击确认保存改步骤。20双击”文本文件输出”控件，进行编辑。浏览选择文件存储的位置。21双击”文本文件输出”控件，进行编辑。浏览选择文件存储的位置。选择”内容”编辑文本的输出格式22选择”内容”编辑文本的输出格式22点击”字段”选择需要输出的内容。点击”获取字段”，自动生成字段。点击”确定”，保存。23点击”字段”选择需要输出的内容。23添加参数鼠标点击右键,选择”转换设置”。在”命名参数”填写参数:ENAME24添加参数24测试转换点击”运行”按钮,填写参数内容,并点击”启动”25测试转换25查看测试结果26查看测试结果26查看导出的数据文件27查看导出的数据文件27Kettle调用利用Pan工具实现转换的调用pan-fileC:\TEST.ktr-levelBasic-logfileC:\TEST.log"-param:ENAME=ADAMS"28Kettle调用利用Pan工具实现转换的调用28Kettle调用利用Kitchen工具实现作业的调用Kitchen-fileC:\TEST.kjb-levelDetailed-logfileC:\TEST_JOB.log"-param:EN