KETTLE安装以及学习笔记

本文格式为Word版，下载可任意编辑——KETTLE安装以及学习笔记文档名称

Windows/linux下的KETTLE安装

1Windows下安装

1.1安装JDK

1.下载JDK82.设置环境变量

JAVA_HOME为C:\\ProgramFiles\\Java\\jdk1.8.0_60在PATH中增加;%JAVA_HOME%\\bin

1.2安装KETTLE

1.官网下载data-integration52.解压到指定目录中3.安装完毕

1.3运行KETTLE

开启data-integration，找到spoon.bat,双击运行，进入kettle可视化界面

2LINUX下安装

2.1安装jdk

2.1.1在/usr/local新建文件夹javamkdir/usr/local/java

把jdk安装文件jdk-8u60-linux-x64.tar.gz传入到/usr/local/java下2.1.2安装jdk

cd/usr/local/java

tar-zxvfjdk-8u60-linux-x64.tar.gz

2.1.3配置环境变量

vi/etc/profile在最末行参与

第1页共10页

文档名称

exportJAVA_HOME=/usr/local/java/jdk1.8.0_60

exportCLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.exportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin然后保存退出

执行source/etc/profile使之环境变量马上生效

2.1.4测试

可以小测一把jdk是否配置好了执行命令java–versionjavaversion\

Java(TM)SERuntimeEnvironment(build1.8.0_60-b27)

JavaHotSpot(TM)64-BitServerVM(build25.60-b23,mixedmode)

出现这个则说明jdk环境变量配置OK

2.1.5删除安装包

rm/usr/local/java/jdk-8u60-linux-x64.tar.gz

2.2Kettle部署

新建文件夹

mkdir–p/usr/local/kettle

将kettle的软件包data-interation.zip上传到/usr/local/kettle文件夹解压

unzipdata-interation.zip

另外将相关kettle程序代码拷贝到/usr/local/scripts目录下[root@ada~]#mkdir.kettle

第2页共10页

文档名称

[root@ada~]#chmod775.kettle[root@ada~]#ll-d.kettle/

drwxrwxr-x2rootroot4096Oct920:24.kettle/

另外把其中的pertiesshared.xml文件拷贝到/root/.kettle目录下[root@ada.kettle]#chmod664*[root@ada.kettle]#lltotal20

-rw-rw-r--1rootroot365Sep1719:58perties-rw-rw-r--1rootroot14854Sep1719:59shared.xml

修改perties文件infilepath=/data/collect_dir/csv/outfilepath=/data/di_dir/csv/shellpath=/usr/local/scripts/

假使文件夹不存在建立

[root@adadata]#mkdir-p/data/collect_dir/csv/[root@adadata]#chmod777-R/data/collect_dir/[root@adadata]#mkdir-p/data/di_dir/csv/[root@adadata]#chmod777-R/data/di_dir

第3页共10页

文档名称

2.3Shell脚本布置

将scripts.zip解压到/usr/local/scriptsChmod775/usr/local/scripts增加可执行权限Cd/usr/local/scripts/Chmoda+x*.sh

3常见问题

3.1新建数据库连接，点击测试报错

默认安装包中不带对应JDBC的连接驱动程序，需要下载对应数据库的连接程序(Oracle/Mysql/PostgreSQL),将驱动库放在在lib文件夹下

Mysql驱动：mysql-connector-java-5.1.32-bin.jarPostgreSQL驱动：postgresql-9.4-1203.jdbc42.jarOracle驱动：ojdbc6_g.jar

3.2相关配置文件说明

windows文件路径：C:\\Users\\[用户名]\\.kettlelinux文件路径:~/.kettle/perties：配置变量shared.xml：配置公共数据库连接

3.2.1perties

infilepath=C:\\\\outfilepath=C:\\\\

3.3增加日志

1.双击空白处-->跳出对话框-->选择日志选项卡-->选择日志通道-->选择日志数据库连接，填入对应的表，点击SQL，然后按确认就可以创立

3.4Kitchen执行说明

Kitchen——作业执行器

是一个作业执行引擎，用来执行作业。这是一个命令行执行工具，没啥

第4页共10页

文档名称

可讲的，就把它的参数说明列一下。

-rep:Repositoryname任务包所在存储名-user:Repositoryusername执行人-pass:Repositorypassword执行人密码

-job:Thenameofthejobtolaunch任务包名称

-dir:Thedirectory(don''tforgettheleading/or\\)-file:Thefilename(JobXML)tolaunch

-level:Thelogginglevel(Basic,Detailed,Debug,Rowlevel,Error,Nothing)指定日志级别

-log:Theloggingfiletowriteto指定日志文件-listdir:Listthedirectoriesintherepository列出指定存储中的目录结构。

-listjobs:Listthejobsinthespecifieddirectory列出指定目录下的所有任务

-listrep:Listthedefinedrepositories列出所有的存储-norep:Don''tlogintotherepository不写日志例如：Linux:

./kitchen.sh-file=/Users/xuyongbo/Documents/kettle/kaoqintongbu/main_kaoqin.kjb-level=Basic-log=/tmp/run_kettle.logWindows

Z:\\shell\\data-integration\\kitchen.bat/file:Z:\\Documents\\kettle\\kaoqintongbu\\main_kaoqin.kjb/level:Basic/log:E:\\run_kettle.log3.5常用内置参数

Internal.Job.Filename.Directory：当前作业程序所在路径

Internal.Transformation.