e4 33pig数据分析平台1课件74_第1页
e4 33pig数据分析平台1课件74_第2页
e4 33pig数据分析平台1课件74_第3页
e4 33pig数据分析平台1课件74_第4页
e4 33pig数据分析平台1课件74_第5页
已阅读5页，还剩8页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、Greenplum Hadoop 讲师：迪伦（北风网版权所有) Pig数据分析平台数据分析平台(1) Pig简介 安装Pig 使用Pig 课程目标课程目标 PigPig简介简介 Pig是一个用来处理大规模数据集的平台，有Yahoo！贡献给 Apache Pig可以简化MapReduce任务的开发 Pig可以看做hadoop的客户端软件，可以连接到hadoop集群进 行数据分析工作 Pig方便不熟悉java的用户，使用一种较为简便的类似于SQL的 面向数据流的语言pig Latin进行数据处理 Pig Latin可以进行排序、过滤、求和、分组、关联等常用操 作，还可以自定义函数，这是一种面向数据

2、分析处理的轻量级 脚本语言 Pig可以看做是Pig Latin到MapReduce的映射器 Pig可以自动对集群进行分配和回收，并且自动地对MapReduce 程序进行优化 PigPig的使用的使用 Pig有两种工作模式：本地模式和MapReduce模式（默认） 本地模式下，所有的文件和执行过程都在本地进行 输入“pig -x local”命令就可以进入本地模式 MapReduce模式是用Pig进行实际工作的模式 安装安装PigPig 下载： http:/ 解压 安装安装PigPig 配置JAVA以及PIG环境变量 使变量生效 验证安装验证安装 通过pig命令验证 PigPig的的MapRed

3、uceMapReduce模式模式 要使Pig工作在MapReduce模式下，必须要正确的配置Hadoop集 群，并且Pig能够读取到hadoop的配置文件(conf目录下) 配置PIG_CLASSPATH 添加如下内容并使之生效 验证连接 PigPig的配置文件的配置文件 Pig把日志文件保存在当前目录，不利于日志分析和管理。可 通过修改perties文件进行调整 创建日志目录 修改pig.logfile参数 使用使用PigPig 本地模式和MapReduce模式都有三种运行方式：Grunt shell方 式、脚本方式和嵌入式方式 Grunt shellGrunt shell方式方式 本地模式 $ pig -x local MapReduce模式 $ pig -x mapreduce $ pig 用户可以在Grunt shell里输入Pig Latin语句和Pig命令 PigPig命令命令 通过Pig命令可以方便地操作HDFS中的文件和管理MapReduce作 业 Pig命令和Linux命令很相似，例如：ls、copyFromLocal、 kill、cp、mkdir、rm、mv、cd、describe等。 脚本方式脚本方式 脚本方式本质上是Grunt shell方式中命令的集合，用脚本文 件存储命令序列 一个Pi

人人文库> 全部分类> 应用文书

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论