Kettle32配置使用文档说明--亲自测试编写,

1、Kettle配置使用文档说明一、安装配置Kettle系统环境1.安装前准备JAVA安装文件下载地址：1.Windows下安装JDK1.6，并配置环境变量#下载Jdk1.6.exe直接执行安装程序2.Linux下配置JDK1.6，并配置环境变量#下载JDK1.6到目录/usr/java/#更改JDK可执行权限chmod +x jdk1.6.xx.bin#执行安装./jdk1.6.xx.bin#配置JAVA环境变量vi /etc/profile# java 1.6 setupJAVA_HOME=/usr/java/jdk1.6.0_38PATH=$JAVA_HOME/bin:$PATHCLASSP

2、ATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport JAVA_HOME PATH CLASSPATH#应用环境变量source /etc/profile#查看JAVA版本信息java -version2.Kettle下载解压到指定目录,下载kettle标准版工具包:解压到目录: D:data-integration (目录可根据实际情况自定义)二、Kettle基本操作过程数据库操作说明:生产数据库: 10.176.0.221 DB : e2tms4 用户名: e2tms4 密码:1234567本地文本文件: D:Db_fileoutfile.txtKet

3、tle数据仓库: 10.176.0.221 DB : kettledb用户名: kettle 密码:12345671.启动Kettlet应用程序,打开D:data-integration下面的Kettle.exe或Spoon.bat，出现Kettle的欢迎界面：之后出现用户登录界面,先不加载配置,点击”没有资源库”,打开程序主界面,2.kettle界面显示3.Kettle配置说明新建transformation文件,双击左边转换将创建一个新的transformation(也可以通过菜单里面的文件-新建-转换方式新建文件)，点击另存为，保存到本地路径，例如保存到D:/etltest下，保存文件名

4、为EtltestTrans，kettle默认transformation，文件保存后后缀名为ktr。4.创建数据库连接池.在transformation页面下，点击左边的”主对象树”，右键”DB连接”选择”新建”， 配置数据库连接,配置写成后点击”Test”查看数据库连接情况,如下提示表示正常,点击OK确认保存配置.使用以上方式,创建以下数据连接池.生产数据库master-data1: 10.176.0.221 DB : data1 用户名: data1 密码:1234567生产数据库master-data2: 10.176.0.221 DB : data2 用户名: data2 密码:123

5、4567Kettle数据仓库 kettledb: 10.176.0.221 DB : kettledb用户名: kettle 密码:1234567配置完成后显示以下列表:5.导入测试数据,(现实数据库中不需要以下操作)生产数据库1: 10.176.0.221 DB : data1 用户名: data1 密码:1234567USE data1;CREATE TABLE userInfo ( id int(11) NOT NULL, name varchar(20) DEFAULT NULL, age int(11) NOT NULL, address varchar(20) DEFAULT NU

6、LL, PRIMARY KEY (id) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;INSERT INTO userInfo(id,NAME,age,address) VALUES(1,'aaa',22,'成都市二环路');INSERT INTO userInfo(id,NAME,age,address) VALUES(2,'东方红',25,'中国北京');INSERT INTO userInfo(id,NAME,age,address) VALUES(3,'123',19,'

7、;广州白云区');生产数据库2: 10.176.0.221 DB : data2 用户名: data2 密码:1234567Use data2;CREATE TABLE login ( id int(11) NOT NULL, realname varchar(20) DEFAULT NULL, username varchar(20) DEFAULT NULL, password varchar(20) NOT NULL, active int(11) DEFAULT '0', PRIMARY KEY (id), UNIQUE KEY realname (realna

8、me), UNIQUE KEY username (username) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;insert into login values(1,'aaa','admin','admin',0);insert into login values(2,'东方红','test','test',1);insert into login values(3,'123','xxx123','123456',1)

9、;本地文本文件: D:Db_filedbfile.txt 文件内容:sid; sname; teacher34; 123;徐老师78;aaa ;李老师152; 东方红;Mr Wu三、使用Kettle抽取、转换、装载数据1.表输入: 在EtltestTrans页面下，点击左侧的【核心对象】，点击【输入】，选中【表输入】，拖动到主窗口释放鼠标。双击工作区中【表输入】图标，数据库连接选择刚刚创建好的连接名为Oracle的数据库连接，在主窗口写入对应的查询语句：SELECT ID, NAME, AGE, ADDRESSFROM userInfoORDER BY NAME同上所述,将master-dat

10、a2生产数据库2也加入到表输入界面中.SELECT Id, realname, username, password, activeFROM login ORDER BY realname2.表连接查询在EtltestTrans页面下，点击左侧的【核心对象】，点击【连接】，选中【Merge Join】，拖动到主窗口释放鼠标：点击表输入，按住shift键，再拖动鼠标到Merge Join，这时就实现了在两个组建之间的连线。如图：3.第一次连接查询双击工作区中的Merge Join，在出现的窗口里：步骤名称命名为：表连接查询第一个步骤选择：master-data1表输入第二个步骤选择：master

11、-data1表输入连接类型选择：FULL OUTER在连接字段里，第一个步骤写：NAME，第二个步骤写：realname(或者自动获得连接字段后将多余字段删除)4.文本文件输入数据在EtltestTrans页面下，点击左侧的【核心对象】，点击【输入】，选中【文本文件输入】，拖动到主窗口释放鼠标。双击这个图标，进入编辑窗口：在文件或目录中选择输入的文件,点击增加.打开字段选项,点击获取字段,显示出文本文件中所有字段信息,删除多余空白字段,点击预览记录,显示文本文件中取数据条数信息后显示出文本文件数据内容.5.第二次连接查询再次拖入一个表连接查询图标，将上次的查询结果与文本文件相连，再进行一次表连

12、接查询。6.插入/更新在EtltestTrans页面下，点击左侧的【核心对象】，点击【输出】，选中【插入/更新】，拖动到主窗口释放鼠标。将它与第三次表连接查询进行连线。7.将数据导入指定kettledb数据仓库双击”插入/更新”图标，进入编辑窗口。数据库连接选择数据仓库的kettledb数据库，目标表选择对应的datatable表，在查询关键字里，表字段写name(表示仓库表里的字段)，流里的字段1里写入NAME(即上一个步骤输入的内容里的NAME)。比较符用”=”号。第一次向数据仓库导入数据时,点击SQL选项,查看创建表语句结构,点击Execute执行创建.8.执行工作流,进行数据导出导入.

13、点击运行，测试创建的transformation是否成功。点击这个按钮，就会执行ETL过程，这时我们可以查看数据仓库的表，如果有数据，并符合我们的要求，那么说明我们的transformation成功了。四、创建job工作流过程,Job就是把一个或多个transformation按照一定的顺序组合起来，形成一个流程。1.创建job文件,通过菜单里的“文件-新建-作业”就可以创建一个job文件，点击另存为D:etltestjobtest.kjb。2.创建工作作业流程拖入图标并连线,在EtlscriptJob页面，点击【核心对象】，点击【通用】，选中【START】拖动到主窗口释放鼠标，再选中一个【T

14、ransformation】，拖动到主窗口释放鼠标，建立【START】与【Transformation】之间的连接。3. 编辑”开始”流程双击”START”图标，就进入编辑窗口,可根据实际需求更改定时时间操作。4. 编辑transformation流程双击”transformation”图标，就进入编辑窗口。输入job名称：如Etl-testpro，点击转换文件名后面的按钮，浏览我们我们要转换的文件，并选中。其他的选项可以根据实际需要再进行配置。点击确定按钮，退出编辑窗口。图中各选项,根据实际情况进行选择使用.5.运行JOB工作流点击按钮，就可以运行这个job,运行情况会在界面下显示,job跟

15、上面的转换其实是完成了同样的工作，job可以把多个transformation放在一起组成一个流程，什么时候用job或transformation，是根据需要来定的，比如只有一个transformation时，就可以直接用transformation,但如果这个转换需要定时，那么就必须用job了。多个transformation需要组成一个流程时也必须用job。备注:命令行执行命令行运行ktr和kjb在上面的过程中，我们都是在IDE工具中，直接点击按钮进行运行文件的，但在实际中，我们需要脱离IDE，进行单独的运行，这时就必须用到命令行来运行文件了。1.cmd方式运行1.ktr的运行：运行transformation文件是通过Pan.bat来运行的。打开cmd命令行窗口，转到Pan.bat所在的目录，如d:data-integration,然后执行文件的命令为：pan /file D:etltestEtl-testpro.ktr2.kjb的运行：运行job文件是通过kitchen.bat来运行的。打开cmd命令行窗口，转到Pan.bat所在的目录，如d:data-integration,然后执行文件的命令为：kitchen /file D:etltestTestj