oraclelongraw字段处理方法.doc

DB Team 内部文件：输入文件名和版本号Oracle long raw字段处理方法作者：耿雷雨时间：2015.11.3第 6 页 共 7 页目 录&文件版本说明2&参考资料2&手册目的2&声明2&名词定义和缩略语说明21问题描述32解决办法32.1SQL方式32.2Kettle方式3& 文件版本说明表 1 版本说明版本发布时间修订章节作者12015.114初稿耿雷雨& 参考资料无& 手册目的记录日常工作中的问题，互相交流学习。& 声明无& 名词定义和缩略语说明表 2 名词定义及缩略语说明序号缩写说明121 问题描述Long raw类型是oracle数据库的一个老的数据类型，属于不推荐使用的类型，这种类型的数据很难使用SQL进行操作。在ETL过程中通过如果源库中存在long raw字段，通过一般存储过程或者抽取工具无法处理这种数据。2 解决办法针对long raw类型，一种方法可以在源库将这个字段转换成blob字段，这个需要我们能操作源库，一般没有这个权限。另一种方法可以通过java脚本查询出数据后，将数据存储到blob字段中，这种方式一般的代码是单条处理，效率比较慢，而且独立于ETL工具和脚本。可以将代码嵌入到ETL流程中，利用工具本身多线程并行特性加快执行效率。2.1 SQL方式新建一张表列为blob类型，使用to_lob函数进行数据转换。Insert into table2(id,zp) select id,to_lob(zp) from table1;2.2 Kettle方式一般情况下，只有源库查询权限。通过dblink无法查询lob字段，第一种方式无法实现。通过写java脚本结合kettle工具可以解决这个问题。整体处理流程如下：表输入正常查询源表数据，预览数据时发现long raw字段列为一个很长的16进制字符串。（最初时不清楚该字符串是什么编码，也不知如何将该字符串转成照片。想到kettle是java编写的，通过编写简单java类模拟表输入查询，确定了kettle内部使用的是哪个方法转换的long raw字段。后续结合百度的内容，多次尝试确定字符串为一个16进制的数据。）将该字符串转换成二进制即可将数据存储为照片。16进制转换二进制就由后面的java代码块来处理。代码块代码如下：/*此处代码为kettle java代码块组件的模版生成，点击code snippits-common use-main会自动生成代码框架，在此框架上增加自己业务代码即可。*/import java.io.*;String zpStreamField;/在此定义全局变量public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleExceptionObject r = getRow();if (r = null) setOutputDone(); return false;if (first) /* zpStreamField为java代码块参数设置的参数 */zpStreamField = getParameter(zpStreamField);first=false;/ It is always safest to call createOutputRow() to ensure that your output rows Object is large / enough to handle any new fields you are creating in this step./ Object outputRow = createOutputRow(r, data.outputRowMeta.size();/获取输入的照片字段的值，存入zpstr变量中String zpstr = get(Fields.In, ZP).getString(r);/ Set the value in the output field/调用函数将16进制转换为二进制的bytebyte zpStream = hexStringToBytes(zpstr);/将zpStream添加到输出流中get(Fields.Out, zpStreamField).setValue(outputRow, zpStream); / putRow will send the row on to the default output hop./ putRow(data.outputRowMeta, outputRow);return true;private byte charToByte(char c) return (byte) 0123456789ABCDEF.indexOf(c); /进制转换方法public byte hexStringToBytes(String hexString) if (hexString = null | hexString.equals() return null; int length = hexString.length() / 2; char hexChars = hexString.toCharArray(); byte d = new bytelength; for (int i = 0; i length; i+) int pos = i * 2; di = (byte) (charToByte(hex