自定义表生成函数 精品获奖

自定义表生成函数表生成函数概述自定义表生成函数使用自定义表生成函数01

表生成函数概述表生成函数概述UDTF，是UserDefinedTable-GeneratingFunctions，一眼看上去，貌似是用户自定义生成表函数，这个生成表不应该理解为生成了一个HQLTable，貌似更应该理解为生成了类似关系表的二维行数据集。

什么是UDTF表生成函数概述继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF。实现initialize,process,close三个方法如何实现UDTFUDTF首先会调用initialize方法，此方法返回UDTF的返回行的信息（返回个数，类型）。初始化完成后，会调用process方法，对传入的参数进行处理，可以通过forword()方法把结果返回。最后close()方法调用，对需要清理的方法进行清理。02

自定义表生成函数自定义表生成函数实现代码：public

class

ExplodeMap

extends

GenericUDTF

{//进行清理

@Override

public

void

close()

throws

HiveException

{

//

TODO

Auto-generated

method

stub

}

//initialize,process方法｝

自定义表生成函数

@Override

public

StructObjectInspector

initialize(ObjectInspector[]

args)

throws

UDFArgumentException

{

if

(args.length

!=

1)

{

throw

new

UDFArgumentLengthException("ExplodeMap

takes

only

one

argument");

}

if

(args[0].getCategory()

!=

ObjectInspector.Category.PRIMITIVE)

{

throw

new

UDFArgumentException("ExplodeMap

takes

string

as

a

parameter");

}

自定义表生成函数

ArrayList<String>

fieldNames

=

new

ArrayList<String>();

ArrayList<ObjectInspector>

fieldOIs

=

new

ArrayList<ObjectInspector>();

fieldNames.add("col1");

fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

fieldNames.add("col2");

fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

return

ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames,

fieldOIs);

}

自定义表生成函数

public

void

process(Object[]

args)

throws

HiveException

{

String

input

=

args[0].toString();

String[]

test

=

input.split(";");

for

(int

i

=

0;

i

<

test.length;

i++)

{

try

{

String[]

result

=

test[i].split(":");

forward(result);

}

catch

(Exception

e)

{

continue;

}

}

}

03

使用自定义表生成函数使用UDTF函数1、在select中使用UDTF：select

explode_map(properties)

as

(col1,col2)

from

my_table

不可以添加其他字段使用：selecta,explode_map(properties)as(col1,col2)frommy_table不可以嵌套调用：selectexplode_map(explode_map(properties))frommy_table不可以和groupby/clusterby/distributeby/sortby一起使用：selectexplode_map(properties)as(col1,col2)fromsrcgroupbycol1,col2使用UDTF函数2、结合lateralview使用select

src.id,

mytable.col1,

mytable.col2

from

src

lateral

view

e