Kettlex使用步骤带案例超详细版精编版

1、最新资料推荐Kettle使用方法介绍1、Kettle 概念Kettle是一款国外开源的 ETL工具，纯java编写，可以在 Window、Linux、Unix 上运行，绿色无需安装，数据抽取高效稳定。Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里， 然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图 形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job, transformation完成针对数据的 基础转换，job则完成整个工作流的控制。2、下载

2、和部署下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可3、Kettle环境配置1. 安装JDK（略）2. 测试JDK安装成功（略）3运行 KettleWindows 下找到 $KETTLE_HOME/spoon.dat,双击运行 set- pentaho-env. batset- pEnt aho-env.shLiJ Spoon.bat翹;ma nd 霸 spocn.ico 克 cnrinn r)nn大小: 哼改f欢迎界面如下图所示:Pentaho Data IntegrationGeneral Availability Release - Version 5r1.0

3、.02*如MMIGTfi 曲旺ynu M i -=l _m li Bzoliado" and I h -wi v in iiiiLi -» pentako.沪 i."W 曲評斷 *'1時 1*-也 1hKs 會泗*4|址* 审a 巾4 Z"20Unless. MulrW 曲 狛甲主甲疊 ls» 护时吨K4 U49W ill i*MMM VI)B* *%* WUMkwcmoucr WWAwTiEE- O*? GOMDIlTIQm OFAWT iKJIC. Sidwa UfNW DI fnpiM Sh ihh .>»

4、1;* «kM>ha I耳屮上ip-bkte m iRd4、KETTLES件介绍与使用4.1 Kettle 使用Kettle提供了资源库的方式来整合所有的工作，；1） 创建一个新的transformation，点击 保存到本地路径，例如保存到D:/etltest下，保存文件名为Trans， kettle默认transformation文件保存后后缀名为ktr ；2） 创建一个新的job，点击 保存到本地路径，例如保存到D:/etltest下，保存文件名为Job, kettle默认job文件保存后后缀名为kjb ；27> r _ Input4互>入卜Q输出>匕转

5、换JIM卜 L J gifeg炉a脚本rp门连接卩色娠仓库卜a卜a统计i> 匚 Big Data卜厂1 Agile> l_j iOS> 鬥 Palo卜 ra OpenERP卩a作业b t批量加载» H内联> e-实验a L不推荐的4曰历史4.2组件树介绍4.2.仃ransformation的主对象树和核心对象分别如下图:色主號御核疗对鑑训览I® 3-js转换|丿 X db2excelL databaseexcel丿E Steps （步藝）M JavaScriptHi?S JavaScripIftS 2-I Microsoft Excel 输出民 da

6、tasource此銅頂擁息2母设置变星幣设匹屋2-Hops （节点连接）% datasoirce -> Microsoft Excel 聲 获取票统信息-a JavaScriptftR （c JavaScript代码-> 没置吏蚤（disal”拥原密信息 2 -> JavaScriptf »JavaScript代码 2 -> 设誣星 2 （e 冈歆据库井区缸庇胡&刊鸭器|Kettle集群x hmm的Transformation 中的节点介绍如下：Main Tree:菜单列出的是一个 transformation中基本的属性，可以通过各个节点来查看。DB

7、连接：显示当前transformation中的数据库连接，每一个 transformation的数据库连接都 需要单独配置。Steps： 一个transformation中应用到的环节列表Hops： 一个transformation中应用到的节点连接列表核心对象菜单列出的是transformation中可以调用的环节列表，可以通过鼠标拖动的方式对 环节进行添加：Input :输入环节Output :输出环节Lookup：查询环节Transform :转化环节Joins连接环节Scripting脚本环节4.2.2 Job的主对象树和核心对象分别如下图:二担慚2核心赠浏览j 0 db2excel”

8、 & DR连接I db2excel- 柞业项目 START 贺转换n添抑文借慌果文件中 P子籟器JU空皱捌肿核心対繚Uritr巳 General-|f運用 STARTY DUMMYC?作业 w*X转换匕由出牛Q文件管理I，r-脚本Big Data& XWLi-j应用> 资源库* t丈件传输> t立件加密Palo- Q DeprecatedMain Tree菜单列出的是一个 Job中基本的属性，可以通过各个节点来查看。 DB连接：显示当前Job中的数据库连接，每一个Job的数据库连接都需要单独配置。Job entries/作业项目：一个Job中引用的环节列表核心对象

9、菜单列出的是Job中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添 加。每一个环节可以通过鼠标拖动来将环节添加到主窗口中。 并可通过shift+鼠标拖动，实现环节之间的连接。4.3使用举例14.3.1建立转换选中列表中的的“表输入”、“表输出”、“插入/更新”，拖拽到右侧工作区。鼠标选中节 点键盘按shift键，拖拽即可连线。下图是一个转换，有两个动作，一是直接从数据源表同 步数据到目标表，一是检查源表的插入和更新，同步到目标表。LOOK黑色线为生效，灰色线为失效，节点和连接可双击进行编辑。步骤名称datasource数將库连接database2excel编揖新建 Wizard.SQL

10、我取SQL 罰銅SE1ECT * FROM test行1列。允许简易转換替换SQL语句里的变量_执行每一行？ 记录数呈隈制04-Help确走(0)取消(C)可预览数据是否正确。霸预尉鳩 i - 一是埠上血劣舉 datasource 的数溜(5 rowt)#IDNAMEaddress11zhangsanbeijing22Khmngbeijing33lisibeijing44llisishang hai55lishanghaiffl(C)斷日志(L)双击编辑表输出动作。要获取的字段设置如下所示:点击"Enter field mapping/输入字段映射”进行字段选择。选择要用的字段后点确

11、定，注意字段的约束条件。编辑好后点击上面的执行即可。數据湄插X/«新左侧参数暂不说明，执行完成后可以观看下方的日志。X毗贬费、，> II h *凰h皿 镇数据源插人/更新执行结杲瓠厅厉吏J日蛊 rfsui恥匚希 二性能團#母骤名祢复制的记录行数读写输士更新1数据輛C03460002麺出03463480346000巴完炭漲哄12谖、麻矗出4區LkIGO'Sv数猪靈插人更新执行结果Sttp Metrics 0 性能因国撿行历史Q T 3C双击编辑“插入/更新”动作。确走(0)取消(C)SQLa插入硬新。里 西步骤名称insert数据库连接rinysql testr編辑新建W

12、izard.目标戦浏览目辭ehua te浏览舷记100用来查询的关键字：#'表字段比较符流里的字段丄流里的字段2获貶字段1ID=ID宦新字段:1 IDID2 NAMENAMEY須辑映射Y3addressaddressV# ' 表字段 流字段 更新戟取和更新字段：|kj然后点击运行。K 12 : II粘挈鬲怆事吕人too*11& *1 1 -*血人/足軒母血班i吐田|呼人的记录芳史护到目巧匡表刃&u表塚£訪却电氓录讯1> 写 輸扎 Si出.电斷 用t冑桜融话3劇E念DU 轴 班 -UD0D巳叙Z 亜人F更新03'» MB 

13、7;6 lj； ODD匚完讯执行前，在源库里加条新纪录。确定作业执行正常后可以保存作业，如保存路径到本地磁盘地址C:etl2.ktr。4.3.2建立执行的JOB作业建立JOB的前提是有可以完整执行的作业，上面步骤定制的作业进行保存。文件（F1穽审視图执行工具群助转换CTRL N打尸CTRL-0柞业CTRL-ALT-N从UFtLT开文仲数圖库洼接打产最近的配蚩1关闭CTRL-W关阖所有SHlFT<rRL*WCTRL-S另存为另疗为（VF勻+打印霸Spoon - test (有变动)文件(F)编辑视圏执行工具帮助欢迎！| ：忆魏滋> *鸟园風J f 通用G START i'DU

14、MMY- «作业:然转换i>STAR厂"wr文件口脚本|_|批星加载Big D占栢 t F XML从左侧列表拖拽“ STAR” “Success , “转换”，发送邮件”到工作区并连接，如下图。START然后双击“ START动作进行编辑。START转換发送邮件作业定时凋度Bfi：Help昵(0)取;肖(C)然后双击编辑"Transformation ”活动。 转换文件名选择上一步编辑好的.ktr文件g*11-Bp 彳-WSTART转換芨選邸件磁柞业项套称：Jf愛聒畏盪芒 备最说巨E3志|位芝辱蚓弗咅尊皱|焙糟换文US：Eicivrrktnle jobfes

15、t krr* 因進过目录与容枸胎區转斑L咽:在3二|用脈宦苗舷性New usn? formation* Help和龙Q)匪治IG双击发送邮件，参数设置如下:I1"n岌送邛件如人i也址:r®件対哋axom令$回复地址4联系电丢令岷 Help确走9.恥肖QI发送邮件由旳牛作业名称:发送删牛型眼务器邮件消息附件邮件服务器SMTP服务器：smtp.sinaxorri端口寻：25用户验证孑厨用户名囲安全碗F宏全连辱型SSL编辑完成后直接点击运行即可。g一二一一罔"-|3 NSTART 塑应邮件应功.=国木地咸畫远程轴亍0本地执行鬥远程#1行bi倍4-机|n导出的文件发送到远

16、輙务器上使用安全厭| Expanc remote jobI_ Gather performance metrics日3回访曰朋(yyyy/MM/dd -4H:mm：5s)starting point of job命名養散交昱* “菲名鞋数宜默认值#变呈Value11仁蚤参蜒1事直*101202303运行后查看日志。®-(ST "同八 0START转换超部件执行结累闿历史力日志 ff fPiliMS M Metrics y賀20H/1 Ml Ofl 斗7:55 - Spoon Spoon?0 n/1 3/21 oa 1 R:1 q spoon S poor2CH/1 Ofl

17、SOzfi Spoon Spoon20H/1Q/2108.5(X52 Spoon Spoon20H/10/2108 539 - Spoun - If在幵站任報“20H/1D/21 Q£5玄却-test -幵1甘怖任势201/10/210乩5农鹑-test -开綁玮楼201<1/10/21 03.3:39 玮程-Loddiny trdnsfurrridtiLiri hum XML file E ACT VLI kt* t Lie& Lkti j2011/10/21叽5妙g - teM *为了需禳解降卜丁幵雄tebt2014710/21 O3.iJ:59 - ddtuutp

18、ut.O - Connected Lu ddtdbdse jnysqLleslJ (comniit 100C) 2U1-1/1 J/Jl OiJ 13:4-ddLduurLc.O - Finished reddin(j query, closing tunntitiuri.21)14/1/21 Od b3;42 - ddtdsource.O -换处遲 Q O-Q. K -0, W U-0, t-02U14/10/21 L)a bJ;42 - dataodtput J -i>(J, U-b, K-L.讥-5. U=G L-(J2U14/1J/21 Od 5J:42 -1就t -汗站简攻删牛

19、I2014/13/21 Od 5J;4J - t«t -幵始遍成規112014/10/21 08:533 - t«t -越作並项傩功| (堵奥=true)2014/10/21 0出53:吧-T - 应件泄帧唆3件幣-肿刽)2014/10/21 08:53:45 - Zt -亢成倒E45|转换t第果二true)2014/10/21 O8：53a4J - test -住务执右无卑2014/10/21 08:53:43 - Spoon -任务已M结冲L当任务执行以后可以查看相对应的日志，也可自行配置日志。丸i逾* ftiit v m 击 j! fElltS 'iMiUld

20、l目lensId 吉91!imiJ01 购IS ILSTART开旨20140/210.STARTD2014/1Q/21Q_fFStS5tU54±SFoi骨ed 澄蛊押弐曲SfcTVirrUtPTtie jobt 曲匕“2014/10/210-M幣卿寸总空L疋 rvrhfcetEt |0b1!eU.I1014/10/210FoBcfwerl Imt ifte* iticce .2014/10/210.檜诗as杵时師枢1?014/10/?10_FdIdwkI link tffter 芳uccri201 VW" 0-1zoavwsio-殴;E14.4使用举例2本例是完成读取目录下

21、的log文件，找出其中包含错误代码的行，并统计个数4.4.1 新建 Transformation本例所用到的步骤和组件如下图所示: Spoor - count404 version2文你F）绸审视圏执行工具帮助茴由H 口主对象開y核心对象日欢迎！latestpess1® 0k il tt >冒j X count404_verion2a de趣鼻已Steps C歩骤）X Jaw Script代码撷球宙操作生文本文件输入E丈本文件抽出2男聚合记录* 山¥6 Script代码 2%字符厚操作2卫文本文件输入2Q文本文样输出2 2J获取文件名2思聚令己录2-a Hops（节恿

22、接）字符串操作-> JavaScript码(disat4丈本文件输入字符生操作（disable4获取丈件名-> 文本文件输入（disabk执行结果聚合i己录-> 文本文件轲出2 （disable4执? 丁 tZj史日志J的占女ript代码- %聚台记录（disable*获取文件名2 ->文本文件输入2 （erag y X *卢! icr* J T *文本文件输入2->子符串操作2 （mrk2014/10/2017:10:52-*-字符吊操作2 > j£wScipt代码2 （e2014/10/20 17:11:01* Jaw Script 代码 2

23、-> 聚台记录 2 (ena2014/10/2017:11:242014/10/20 17:11:264緊合记录2->文本交件輸出2 2 （ena2014/10/2017:11:31已数据库分区5匸血m菇2014/10/20 17:12:07a子服务器2014/10/2017:15:53KettleMchemas2014/10/20 17:15:56M ta tB tBI IBBl连接图如下所示:訂-丈本立创人丄AC宇裸吃 Javdtci iptJ 黑刍记貝2 交亞丈1=输出丄/a）获取文件名设置如下:其中已选择的文件名称的变量都需要手写输入，可以点击显示文件名和预览记录检查是否配

24、置正确。-C逊阳忤母显kg呼）“阪笑迅录旧吹削Qb）文本文件输入设置如下:丄立不兗件期立昨 冏各倍爲煜以時壬£其帼ft出字段憎F £门叭*止则皿式脾絢+文嗨讀 通歸 ii彌散町 W亀會子目或酉否执上一步薰我咤件窑肚帖细=15幅文样迄J 航丄甫的彌吨丁段名£jtf 'ff'VteMUSN'D 辰啦立斗E2当托茁诣uh,vftpg» Help询言（Oj|换空宜矣单消&文本文件输入选项中选择从上一步骤获取文件名，其中在输入里的字段被当做文件名一栏 输入uri,步骤读取的文件名来自填写获取文件名2内容选项卡的设置如下：文件类型选择

25、CSV分隔符自己定义，格式为mixed，编码方式选择 UTF-8字段选项可设置如下：L吗二二二 連亠* '期"S我 也 恆 廈 ffir&affi! di« 节 Null rl MUl M室科因为瓦 亡1 «tr Siring不去 S90fi5需要手写输入str名称，设置类型为Stringc）获取字符串设置如下：魅?宕7立质文也趁 2工习比曲咋卫_代洛 L 罢苣忑少 丈睜女科晞出2 2礼 SuingSte p namefipIdSitQ pnx51*济 S tPtrn fir IdOut s tream £“IHrritn IjrprLo

26、wef/VpefPdPfld LerigtH加此却1価rwnon电nom# INohe2wne-nwend电SMoi*pp*Enonenoo?nwsMo咤4t仰nenenoocnone5None5eEiwsKxiTOWviooe"W电SHone百u«iOMnow茸Hone7rcwtiirinorwsiixwnon#:Marw8tlriiooen«iefcru?冷1 *H邯G»t Old*1 一_ f蹿心d）测试脚本设置如下其中可以点击获取变量和测试脚本来测试脚本的正确性Jmm Bmpl1 iMB"Ja« irrl- Traftcfci

27、rvi 'Efdpic IrarKtivn 匸测Hants.飾如世荀FgaZl fawwi-ir.etSarmfC： ihMl.NmnK-gftSEriHc* ip訥弊6用哼o* tflj*供帥啊町 <e»閃九平tBxl呂anQ剳卸血儿其唉咲鼻殆 钿4*低护曲出村町 鸟 和!町金"bkgEBoEwrCl lUrGtmoiliAAIiW钗片宾In严：|* menMn 啊WIrqO wtgeSLrifftgQ呼.tjirtSlr"raO1#0* OurtputfiHcfc "hm财 5也她；刚* Mmc .fiierhiRW Mf¥d

28、hi«i 卜 0lFi>elVkjPHWi* 如总5皿* sw m »* iMw1rt*n3fa輒呦S &HfE 1 L tan" sl_: _ -L_t_y.em<| LbcWJirC"!»«VHga :» r : u-&«tr pat tr-SiQ j I 1 n: k ,: f |, J hi-d-Itr i5lrin«n L«iHCiKta«UI I' I EEKiEeT"a±.xkaciin. mil JijBKWWii

29、iCr * TBahr * T* Etcdfll" IKfi BBti <E.DCtoL-li«noiH /LndtasOi11 KTrnda. sndmrD I" 1130(1" tMl | |mi_» xdazi 11' DL-SIQ*1 b >! |ni_uidB . : :I |lFrll « rHi«v !l'(+|3l l -*1 E|*Tn"FM> f 'r h' ' < B9iN(a，i |wirFw|i - '-pi j ”町

30、打屮” j f ”4$ | IbFFW哥事!HitMEfitli1CftphT143JtAgpnIfindEbrrq* )4Jwiin£rrma 75 s|w5十/&encodeSWiinfl-fi«sa：«眄口点击测试脚本界面如下:NUvQr >H劣團昱称«« test rmra «号辛 «= TEST DATA « 門託军 IDfSertiwu rigts ；h“tch2sWLlHendimeJptch4W*5INlliUbthiaaen7蹴曲加Heafiteable9lasDTiQCihedii

31、me10scze11exteiislofi12iufl/11.PgUirl14tr/6«1 valu e Id value-le&l vlur teit vaIlhi-vfllue I:nt waIlk-.e&l valu e> Ce&C vaIlk-W&l 讹3 怯戏 vllueVre»l 许3 mt 站*V血 1 v«lw id wlurVfcrst v«Ivp mt vtluK-Vtest 他Id e* EcE value-Vtie-it vdluE- tett value- te-5.t vLie- tes-

32、t value*te-t vdlue- tes-t vaime te-5-t vilije- tetl teM v-ilue te-vlth-L 4*诞t«-t ulup tet1 2応 tr»t Zur trvl 心wr t«t vilue tetitr-st vlur- tei-t 心 咤St 轨V ，广 fils 虻 e,SUM &M I SM *i5W f an L me tteirt v.alur trit valiue teul v-.alur te&C valLie te-sl v-alur te&ETeiI value t&

33、#187;G v.ahjiw teil v-alue tE&K. v-bIuw t£ll *诞 teiEteit vdue Tefti 皿ue teif翊昨畑訥皿ur tnt M'llykr tpit 汕it* tnt value text wAue殍巴事履亦吕舌(L)String Siring 5 fering5 firing String弹丘冏 2【pt£4G >jwuni_脚本代码由JavaScript编写S Scnpl 1 ： ：' Ik-SBrip hereiZ CCVOLt B ft ； iffBlj.vtiStfuivO.;:C&

34、#39;C) bQH¥日工 beg 口 tt- - Ze P.( = tr get Sil rius ( j ir ' - '' (" j )mf -nd* iB*tStricg(jiC"11) v-ar j5CT5fLT- t r a - i bsgiu .CTd-*J J«r|/("七 jeoontr *' >*)T-ar dettc口dsy&口 i-sg CTj±eiKvnado -i - C il-IWr JQlIvrnato i和3l3如T “山 Ibfi皿?E ('01

35、-9 Wv> Hl I lumlff * -I - r 01-5-00II i|setcdOs-iiatasQt (*5Zim=l| lerrcodfebsxQI("52D6ri>> = D| larrccds indEisni(T52Z1 ')>=<I lerrcode. iritew?：C52?5i,n=temmff&x-口t-str-"1qudLOe) 聚合记录聚合记录就是将上一步的结果进行聚合，这里的名称字段是点击获取字段获取的，而不是自己输入的，new name 一列是制定新名字，可以自己输入填写，f）文本文件输出文本

36、文件的输出设置如下，菌th怡連坯erdci 创砂目录 白加工创云烂 从扌阳申貢取如茗？-之 B耳知言刁毎骼？ 瓷许呂甲网含帕酊区寻？ _ 如E更确日翩V TZEnnn ' P亍口朗厂咱式己示力 兴一.|*Help其中字段属性的设置名称字段是点击获取字段自动获取的，不是输入的，设置如下 HrJolfrlBT»瑞疋旧舰酒G，g）运行日志显示如下:3执行历迂V冃击ff侍骑庭星席圏MetricIS Preview delta 14 -l-fWB WM-taiW j<Xi !< F*JJi 衬 专I 9 < 4 W i- f F V W W W W3014A0/2O

37、16:06:25 - JavaScript/ 2.0 - ?5 3400000 2G14A0/2C 16:06:25 -至色记录 2.0 -记录行数 3400000 2014/10/20 16108:28 -立本立彳牺入 2.0 * lincnr 3450000 2014/10/20 16:00:38- JavaScript代有2.0 -3450000 ?014/10/20-喪兴i己灵 2门-远录行料 3450000?014/1 0/2X1 朋:刊-立本立件備入 2 0 - linenr 500000 2014/10/20 16:08:31 - JavaScript 2.0 -再吕 35000

38、00 2014/10/20 16:Ci'S:31 -窪巻I己录 2.0 -亡那我 3500000 2014/10/20 15.05:33 -立本处件撞 A. 2.0 - lineni 5550000 2014/10/30 16:08:33 - JavaScript代码 2.0 -行号 3 550000 2014/10/20 16卅三“层己录2 0 _记录缺 3 55OOTO 2014/10/20 16:08:3 -文本文件输入 2 0 - linenr 托00000 2014/10/20 16:08:36 - JavaScriptKfi 2.0 -行号 3600000 2014/10/

39、20 16:08:36 -灭舍记录 2.0 -记录$强 3600000 2(JL4/1U/J<J lb:M9 -文車文祥输人 20 - linenr 50000 2U14/10/20 lf>:O8:dy - Javabcriptft 2.0 -36500002111/luu lo u>:：y-i三示厅克：u川?ni4nn/5n ir-d-41 寺龙&(比检 人 7 n linnnr =i7nnnm014/10/20 16:0S:5e - JavaScript代码 2,0 - 4000000014/10/20 L6：0B;56 -聚台记录 2.0 -记录行数 40000

40、0D014/10/2016；0&5B “ 站文件46人 2.0 -芜成处理(1-4Q29564,0=0,尺=儿 W-4029564, U-l< E=0 014/10/2016;讯:死”却串操作 2.0 -完成处理(1=0, O=0( R=40295W, W=4Q29564( U=0f E=0 014/10/20 16:08:58-JawflScript代蛊 20 完亚处理 Q二Q 0=0” R=40295G4. W=4029564, U=0F E=Q 014/10/20 16:08:5& -駅台记录 2 0 -完薩处哩(【. 0-0, R-4029564, W-1, U=0. E-0014/10/20 16:0858 文丟立仁输出 2 Z0 jfehEftlH(1-0,0-lr R*=L W=l, U-0, L-0014/10/20 16:08:5B Spoon 转搂主曲【014/10/20 17:10:42 - Spoon - Spoon014/10/20 17:10:52 - Spoon - Spoon014/10/20 17:11:01 Spoon - Spoon014/10/20 17:11: