2023学年完整公开课版表生成函数_第1页
2023学年完整公开课版表生成函数_第2页
2023学年完整公开课版表生成函数_第3页
2023学年完整公开课版表生成函数_第4页
2023学年完整公开课版表生成函数_第5页
已阅读5页，还剩8页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

表生成函数表生成函数概述表生成函数的应用01

表生成函数概述表生成函数Hive中的表分析函数接受零个或多个输入，然后产生多列或多行输出。表生成函数：

表生成函数

explode(map_col)as(may_key_col,may_value_col)

explode函数：

1.explode(array)2.用于map类型数据时explode函数以array类型数据输入，然后对数组中的数据进行迭代，返回多行结果，一行一个数组元素值。

由于map是key-value结构的，所以它在转换的时候会转换成两列，一列是key转换而成的，一列是value转换而成的。表生成函数3.局限性不能关联原有的表中的其他字段。不能与groupby、clusterby、distributeby、sortby联用。不能进行UDTF嵌套.explode函数:表生成函数4.想要解决UDTF问题可以使用lateralviewfrom子句后面也可以跟多个lateralview语句，使用空格间隔就可以了lateralview表示将UDTF分裂的字段放在虚拟表中,然后和主表table_origin进行关联。UDTF(expression)：复合逻辑规则的UDTF函

数，最常用的explodetable_view:对应的虚拟表的表名new_col:虚拟表里存放的有效字段02

表生成函数案例explode函数案例1：hive(jimdb)>SELECTexplode(array(1,2,3))ASelement;OKelement123Timetaken:0.327seconds,Fetched:3row(s)。explode函数案例2：创建一张测试表单；hive(default)>select*fromtest1;--表数据test1.phonenumber'bingliu''xiaozhang''xiaoli''qiangdongliu'createtabletest1(namestring,phonenumberstring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t';explode函数需求：过滤掉该表中，电话号码中0-9的某个数字，在电话号码中出现6次及以上的号码，然后将正常的号码返回。hive(jimdb)>SELECT,c.phonenumber

>FROM

>(SELECT,dd.phonenumber,MAX()

>FROM(SELECT,d.phonenumber,d.m,COUNT(*)cn

>FROM(SELECTname,phonenumber,mFROMtest1LATERALVIEWexplode(split(phonenumber,''))nASm)d

>GROUPBY,d.phonenumber,d.m)dd

>GROUPBY,dd.phonenumberHAVINGMAX()<=5)c;执行语句如下：结果：c.phonen

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论