KETTLE安装以及学习笔记

1、Windows/linux下的KETTLE安装1 Windows下安装1.1 安装JDK1.下载JDK82.设置环境变量JAVA_HOME为C:Program FilesJavajdk1.8.0_60在PATH中增加;%JAVA_HOME%bin1.2 安装KETTLE1.官网下载data-integration52.解压到指定目录中3.安装完毕1.3 运行KETTLE打开data-integration，找到spoon.bat,双击运行，进入kettle可视化界面2 LINUX下安装2.1 安装jdk 2.1.1 在/usr/local新建文件夹 javamkdir /usr/local/j

2、ava把jdk安装文件jdk-8u60-linux-x64.tar.gz传入到/usr/local/java下2.1.2 安装jdkcd /usr/local/javatar -zxvf jdk-8u60-linux-x64.tar.gz2.1.3 配置环境变量vi /etc/profile在最末行加入exportJAVA_HOME=/usr/local/java/jdk1.8.0_60exportCLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.exportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOM

3、E/jre/bin然后保存退出执行source/etc/profile使之环境变量立即生效2.1.4 测试可以小测一把jdk是否配置好了执行命令javaversionjava version 1.8.0_60Java(TM) SE Runtime Environment (build 1.8.0_60-b27)Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)出现这个则说明jdk环境变量配置OK2.1.5 删除安装包rm /usr/local/java/jdk-8u60-linux-x64.tar.gz2.2 Kett

4、le 部署新建文件夹mkdir p /usr/local/kettle将kettle的软件包data-interation.zip上传到/usr/local/kettle文件夹解压unzip data-interation.zip另外将相关kettle程序代码拷贝到/usr/local/scripts目录下rootada # mkdir .kettlerootada # chmod 775 .kettlerootada # ll -d .kettle/drwxrwxr-x 2 root root 4096 Oct 9 20:24 .kettle/另外把其中的perties

5、shared.xml文件拷贝到 /root/.kettle 目录下rootada .kettle# chmod 664 *rootada .kettle# lltotal 20-rw-rw-r- 1 root root 365 Sep 17 19:58 perties-rw-rw-r- 1 root root 14854 Sep 17 19:59 shared.xml修改perties文件infilepath=/data/collect_dir/csv/outfilepath=/data/di_dir/csv/shellpath=/usr/local/s

6、cripts/如果文件夹不存在建立rootada data# mkdir -p /data/collect_dir/csv/rootada data# chmod 777 -R /data/collect_dir/rootada data# mkdir -p /data/di_dir/csv/rootada data# chmod 777 -R /data/di_dir2.3 Shell脚本布置将scripts.zip 解压到/usr/local/scriptsChmod 775 /usr/local/scripts增加可执行权限Cd /usr/local/scripts/Chmod a+x

7、*.sh3 常见问题3.1 新建数据库连接，点击测试报错默认安装包中不带对应JDBC的连接驱动程序，需要下载对应数据库的连接程序(Oracle/Mysql/PostgreSQL),将驱动库放在在lib文件夹下Mysql驱动：mysql-connector-java-5.1.32-bin.jarPostgreSQL驱动：postgresql-9.4-1203.jdbc42.jarOracle驱动：ojdbc6_g.jar3.2 相关配置文件说明windows文件路径：C:Users用户名.kettlelinux文件路径:/.kettle/perties：配置变量shared.

8、xml：配置公共数据库连接3.2.1 pertiesinfilepath=C:outfilepath=C:3.3 增加日志1.双击空白处-跳出对话框-选择日志选项卡-选择日志通道-选择日志数据库连接，填入对应的表，点击SQL，然后按确认就可以创建3.4 Kitchen执行说明Kitchen作业执行器 是一个作业执行引擎，用来执行作业。这是一个命令行执行工具，没啥可讲的，就把它的参数说明列一下。 -rep : Repository name 任务包所在存储名 -user : Repository username 执行人 -pass : Repository password

9、 执行人密码 -job : The name of the job to launch 任务包名称 -dir : The directory (dont forget the leading / or ) -file : The filename (Job XML) to launch -level : The logging level (Basic, Detailed, Debug, Rowlevel, Error, Nothing) 指定日志级别 -log : The logging file to write to 指定日志文件 -listdir : List the director

10、ies in the repository 列出指定存储中的目录结构。 -listjobs : List the jobs in the specified directory 列出指定目录下的所有任务 -listrep : List the defined repositories 列出所有的存储 -norep : Dont log into the repository 不写日志例如：Linux:./kitchen.sh -file=/Users/xuyongbo/Documents/kettle/kaoqintongbu/main_kaoqin.kjb -level=Basic -log

11、=/tmp/run_kettle.logWindowsZ:shelldata-integrationkitchen.bat /file:Z:Documentskettlekaoqintongbumain_kaoqin.kjb /level:Basic /log:E:run_kettle.log3.5 常用内置参数Internal.Job.Filename.Directory：当前作业程序所在路径Internal.Transformation.Filename.Directory：当前转换程序所在路径3.6 如何更改kettle的java虚拟机内存有时kettle程序用到大量排序会报内存溢出错误

12、java.lang.OutOfMemory，可以调整下虚拟内存；建议正式环境下，如果内存充足的情况下，把参数调大写。 Linux下：修改spoon.shif %PENTAHO_DI_JAVA_OPTIONS%= set PENTAHO_DI_JAVA_OPTIONS=-Xmx512m -XX:MaxPermSize=256m windows下：修改spoon.batPENTAHO_DI_JAVA_OPTIONS=-Xmx512m -XX:MaxPermSize=256m其中：-Xmx：java heap最大值，使用的最大内存MaxPermSize指明虚拟机为java永久生成对象（Permana

13、te generation）如，class对象、方法对象这些可反射（reflective）对象分配内存限制，这些内存不包括在Heap（堆内存）区之中最好将其中-Xmx512m加大最好是256的整数倍3.7 Mysql插入速度慢，如何提高?配置数据库连接的时候，在选型中增加以下参数：rewriteBatchedStatements为true：mysql默认关闭了batch处理，通过此参数进行打开，这个参数可以重写向数据库提交的SQL语句useServerPrepStmts为true: 使用com.mysql.jdbc.PreparedStatement进行本地SQL拼装，最后送到db上就是已经替

14、换了?后的最终SQLuseCompression为true：连接压缩以上配置后，速度可以提升10倍以上。3.8 Null与空字符串问题默认情况下null与空字符串是一致的，导致你再转换的时候空设置为空字符串，但是输出到数据库的时候，有变成了null。在perties设置KETTLE_EMPTY_STRING_DIFFERS_FROM_NULL3.9 想学习kettle但不知道从哪里入手比较好？1.网上有kettle入门与实战的视频教程，各个控件与菜单有讲解到，建议看看2.安装目录下，有sample文件夹，里面有大量的控件例子，多多浏览下，对提高很有帮助3.阅读官方文档，里面相应控件及使用说明4 Kettle调用JAVAETL过程中，会遇到一些复制的转换，而这种通过java可以比较容易实现；这里举个例子，如果通过创建一个java类帮助处理数据转换功能。Eclispse创建包，如题代码如下：package ud_calc;public class strca