it18掌010.hadoop配置-独立与伪分布式模式_第1页
it18掌010.hadoop配置-独立与伪分布式模式_第2页
it18掌010.hadoop配置-独立与伪分布式模式_第3页
it18掌010.hadoop配置-独立与伪分布式模式_第4页
it18掌010.hadoop配置-独立与伪分布式模式_第5页
已阅读5页，还剩13页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、Hadoop配置徐培成独立模式伪分布式完全分布式Hadoop配置独立模式没有运行的守护程序，所有程序运行在一个JVM中。适合开发期间运行MapReduce程序，源于他的易于测试和调试。Hadoop配置伪分布式模式 守护程序运行在本地主机，模拟一个小规 模集群。完全分布式模式 守护程序运行在多个主机的集群上。Hadoop配置独立模式Nothing!local FileSystem和local MR job runnerHadoop配置伪分布式模式core-site.xmlHadoop配置fs.defaultFShdfs:/localhost/伪分布式模式hdfs-site.xmlHadoop配置

2、dfs.replication1伪分布式模式mapred-site.xmlHadoop配置yarn伪分布式模式yarn-site.xmlHadoop配置yarn.resourcemanager.hostnamelocalhostyarn.nodemanager.aux-servicesmapreduce_shuffle伪分布式模式SSH登陆远程主机，无口令提示$sudo apt-get install ssh$ssh-keygen -t rsa -P -f /.ssh/id_rsa$cat id_rsa.pub /.ssh/authorized_

3、keys$ssh localhost/第一次yes$exit$ssh localhost/第二次不需要口令Hadoop配置伪分布式模式 格式化文件系统 $hadoop namenode -format指定配置目录 a.HADOOP_CONF_DIR/环境变量 b.-conf /配置参数Hadoop配置伪分布式模式启动守护程序 $start-dfs.sh $start-yarn.sh $mr-jobhistory-daemon.sh start historyserverHadoop配置伪分布式模式停止守护程序 $stop-dfs.sh $stop-yarn.sh $mr-jobhistory-

4、daemon.sh stop historyserverHadoop配置伪分布式模式守护进程 1个namenode1个secondary namenode1个datanode(HDFS)1个resourcemanger(RM)1个nodemanager(NM)1个historyserver(MapReduce)Hadoop配置伪分布式模式通过web页面查看nn rm hs 通过java的jps命令查看jps -lvHadoop配置伪分布式模式创建用户目录hadoop fs -mkdir /user/ubuntuHadoop配置完全分布式模式同伪分布式模式core-site.xmlhdfs-site.xmlmapred-site.xmly

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论