ETL技术报告kettle简介以及使用Kettle建立一个简单的数据仓库

1、开源ETL工具kettle1/23主要内容Kettle介绍Kettle下载与安装简单示例2/23Kettle介绍Kettle是一款国外开源ETL工具，纯java编写，能够在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定 。它允许你管理来自不一样数据库数据，经过提供一个图形化用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件:transformation和job，前者完成针对数据基础转换 ，后者则完成整个工作流控制。 3/23Kettle下载与安装能够去Kettle官网上去下载/我下载是pdi-ce-4.1.0-stable.zipkettle不需

2、要安装，直接解压，运行spoon.bat即能看到kettle欢迎界面。需要注意是，计算机上必须装有JDK，不然kettle无法运行。 4/23简单示例说明：经过下面这个示例简单介绍了kettle一个种脚本：transformation 。假设：在销售水果时候需要统计水果一些信息。其中水果产地之类信息存在一个数据库中。价格和销售情况信息存放在另一个数据库中。这些信息能够使用不一样数据库，存放在不一样计算机上。因为计算机硬软件限制，我试验只能在一台计算机上使用同一个数据库来完成。5/23数据库建立本试验使用了mysql数据库。在mysql数据库中新建了三个数据库：test1，test2，test3

3、。test1：包含一个表t_fruit，统计了水果价格，以下：6/23数据库建立test3：包含一个表t_fruit_info，主要统计水果产地。7/23数据库建立test2：作为数据仓库用数据库，包含一个表total。8/23建立数据仓库进入spoon：解压从官网下载软件，双击Spoon.bat，等候几秒就会进入spoon主界面：9/23创建transformation文件 双击左边转换将创建一个新transformation(也能够经过菜单里面文件-新建-转换方式新建文件)，点击另存为，保留到当地路径 。10/23保留到当地之后：11/23连接DB在“DB连接”上点击右键选择“新建”，出来

4、以下对话框。12/23连接DB在上述对话框中依次填入Connection Name 、Host Name、Database、Username、Password。然后点击”Test”按钮测试连接是否成功，假如成功后，点击OK按钮。按照上述步骤为要处理三个数据库各自建一个DB连接。13/23连接DB成功14/23抽取、转换、装载过程在example页面下，点击左侧“关键对象”，点击“输入”，选中“表输入”，拖动到主窗口释放鼠标。双击“表输入”，在出现对话框中填入相关信息。分别为test1和test2建立表输入。15/2316/23表连接点击左侧“关键对象”，点击“连接”，选中”Merge Join

5、“，拖动到主窗口释放鼠标。然后，点击表输入，按住shift键，再拖动鼠标到Merge Join，这时就实现了在两个组件之间连线。 17/23表连接双击“Merge Join ”，进行以下列图设置18/23插入/更新 点击左侧“关键对象”，点击“输出”，选中“插入/更新” ，拖动到主窗口释放鼠标。将它与Merge Join进行连线。双击”插入/更新”图标，进入编辑窗口。填写以下列图所表示信息。19/2320/23说明数据库连接选择数据仓库数据库，目标表选择对应taotal表，在查询关键字里，表字段写info_name(表示仓库表里字段)，流里字段1里写入fruit_info_name。比较符用”=”号。点击Edit mapping按钮，将表字段，与流利字段进行对应，即流里字段里值输入到表里哪个字段里去。21/23执行transformation 这么，我们transformation就创建完成了，这时，我们能够点击运行，测试创建transformation是否