16分组和连接Group运算符_第1页
16分组和连接Group运算符_第2页
16分组和连接Group运算符_第3页
16分组和连接Group运算符_第4页
16分组和连接Group运算符_第5页
已阅读5页,还剩6页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

分组和连接Group运算符2学习任务ApachePig分组和连接分组运算符用于在一个或多个关系中对数据进行分组,它收集具有相同key的数据。Group运算符Cogroup运算符3ApachePigGroup运算符GROUP运算符用于在一个或多个关系中对数据进行分组,它收集具有相同key的数据。语法grunt>Group_data=GROUPRelation_nameBYage;4例假设在HDFS目录/pig_data/中有一个名为student_details.txt的文件,如下所示。001,Rajiv,Reddy,21,9848022337,Hyderabad002,siddarth,Battacharya,22,9848022338,Kolkata003,Rajesh,Khanna,22,9848022339,Delhi004,Preethi,Agarwal,21,9848022330,Pune005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar006,Archana,Mishra,23,9848022335,Chennai007,Komal,Nayak,24,9848022334,trivendram008,Bharathi,Nambiayar,24,9848022333,Chennai5例将这个文件加载到ApachePig中,关系名称为student_details,如下所示。grunt>student_details=LOAD'hdfs://localhost:9000/pig_data/student_details.txt'USINGPigStorage(',')as(id:int,firstname:chararray,lastname:chararray,age:int,phone:chararray,city:chararray);使用DUMP运算符验证关系group_data,如下所示。grunt>group_data=GROUPstudent_detailsbyage;现在,让我们按照年龄关系中的记录/元组进行分组,如下所示。grunt>Dumpgroup_data;6输出将获得显示名为group_data关系的内容的输出,如下所示。在这里你可以观察到结果模式有两列:一个是age,通过它我们将关系分组。另一个是bag,其中包含一组元组,有各自年龄的学生记录。7输出在使用describe命令分组数据后,可以看到表的模式,如下所示。以同样的方式,可以使用illustrate命令获取模式的示例说明,如下所示。$Illustrategroup_data;grunt>Describegroup_data;8按多列分组让我们按年龄和城市对关系进行分组,如下所示。可以使用Dump运算符验证名为group_multiple的关系的内容,如下所示。grunt>Dumpgroup_multiple;grunt>group_multiple=GROUPstudent_detailsby(age,city);9GroupAll你可以按所有的列对关系进行分组,如下所示。现在,请验证关系group_all的内容,如下所示。grunt>Dumpgroup_all;grunt>group_all=GROUPstudent_detailsAll;10知识点小结通过本课的学习,我们了解了分组语句将数据是如

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论