![Hadoop伪分布式安装与配置_第1页](http://file4.renrendoc.com/view/8a86e5aae537ec8d6293b9a8c1e3c2ac/8a86e5aae537ec8d6293b9a8c1e3c2ac1.gif)
![Hadoop伪分布式安装与配置_第2页](http://file4.renrendoc.com/view/8a86e5aae537ec8d6293b9a8c1e3c2ac/8a86e5aae537ec8d6293b9a8c1e3c2ac2.gif)
![Hadoop伪分布式安装与配置_第3页](http://file4.renrendoc.com/view/8a86e5aae537ec8d6293b9a8c1e3c2ac/8a86e5aae537ec8d6293b9a8c1e3c2ac3.gif)
![Hadoop伪分布式安装与配置_第4页](http://file4.renrendoc.com/view/8a86e5aae537ec8d6293b9a8c1e3c2ac/8a86e5aae537ec8d6293b9a8c1e3c2ac4.gif)
![Hadoop伪分布式安装与配置_第5页](http://file4.renrendoc.com/view/8a86e5aae537ec8d6293b9a8c1e3c2ac/8a86e5aae537ec8d6293b9a8c1e3c2ac5.gif)
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
郑美容01目录Hadoop伪分布式安装02Hadoop伪分布式安装特点Hadoop伪分布式安装与配置1Hadoop伪分布式安装伪分布式安装原理Hadoop在单节点上以伪分布式的方式运行,Hadoop进程以分离的java进程来运行,节点既作为NameNode也作为DataNode,同时,读取的是HDFS中的文件。Hadoop伪分布式安装1.修改主机名vim/etc/sysconfig/network命令,主机名例如master,示例代码如下:vim/etc/sysconfig/network2.打开虚拟机软件操作系统界面,右击打开终端,输入vim/etc/hosts命令,然后按Enter键,进入vim界面。vim/etc/hosts3.配置SSH免密码登陆,SSH免密码登陆需要在服务器执行以下命令,生成公钥和私钥对。在#后输入cd~/.ssh命令,ssh-keygen-trsa,然后按3次Enter键。示例代码如下:cd~/.sshssh-keygen-trsa4.输入cpid_rsa.pubauthorized_keys命令,然后按Enter键。示例代码如下:cpid_rsa.pubauthorized_keysHadoop伪分布式安装5.下面首先来创建两个目录,用于存放安装程序及数据。示例代码如下:mkdir/appsmkdir/data两个目录的作用分别为:/apps目录用来存放安装的框架,/data目录用来存放临时数据、HDFS数据、程序代码或脚本。6.创建/data/hadoop1目录,用来存放相关安装工具,hadoop安装包hadoop-2.6.0-cdh5.4.5.tar.gz。示例代码如下:mkdir-p/data/hadoop1使用CRT将已下载好的Hadoop安装包移至/data/hadoop1目录中。由于我们之前已经安装好了jdk,此时我们只需要使用source命令即可。命令如下:source/etc/profileHadoop伪分布式安装7.下面安装hadoop,切换到/data/hadoop1目录下,将hadoop-2.6.0-cdh5.4.5.tar.gz解压缩到/apps目录下。cd/data/hadoop1tar-xzvf/data/hadoop1/hadoop-2.6.0-cdh5.4.5.tar.gz-C/apps/为了便于操作,我们也将hadoop-2.6.0-cdh5.4.5重命名为hadoop。mv/apps/hadoop-2.6.0-cdh5.4.5//apps/hadoop8.修改用户环境变量,将hadoop的路径添加到path中。先打开用户环境变量文件。vim/etc/profile将以下内容追加到环境变量中:#hadoopexportHADOOP_HOME=/apps/hadoopexportPATH=$HADOOP_HOME/bin:$PATH让环境变量生效。source/etc/profileHadoop伪分布式安装9.下面来修改hadoop本身相关的配置。首先切换到hadoop配置目录下。cd/apps/hadoop/etc/hadoop/10.输入vimhadoop-env.sh,打开hadoop-env.sh配置文件。vimhadoop-env.sh将下面JAVA_HOME追加到hadoop-env.sh文件中:exportJAVA_HOME=/apps/java11.输入vimcore-site.xml,打开core-site.xml配置文件。添加下面配置到<configuration>与</configuration>标签之间,如下图所示:Hadoop伪分布式安装12.输入vimhdfs-site.xml,打开hdfs-site.xml配置文件。添加下面配置到<configuration>与</configuration>标签之间,如下图所示:13.重命名mapred-site.xml.template文件,示例代码如下:mvmapred-site.xml.templatemapred-site.xml14.输入vimmapred-site.xml,打开mapred-site.xml配置文件。将mapreduce相关配置,添加到<configuration>与</configuration>标签之间,如下图所示:Hadoop伪分布式安装15.输入vimyarn-site.xml,打开yarn-site.xml配置文件。将yarn相关配置,添加到<configuration>与</configuration>标签之间,如下图所示:16.下面来启动计算层面相关进程,切换到hadoop启动目录。cd/apps/hadoop/sbin/17.执行命令启动相关进程。./start-all.shHadoop伪分布式安装特点这种运行模式是在单台服务器上模拟Hadoop的完全分布模式,单机上的分布式并不是真正的分布式,而是使用线程模拟的分布式。在这个模式中,所有守护进程(NameNode,DataNode,ResourceManager,NodeManager,SecondaryNameNode)都在同一台机器上运行。因为伪分布运行模式的Ha
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 七年级数学上册数学 5.3 展开与折叠(三大题型)(解析版)
- 结构力学优化算法:形状优化:形状优化中的模拟退火算法
- 结构力学优化算法:禁忌搜索(TS):结构力学优化案例分析
- 结构力学数值方法:矩阵位移法与结构健康监测技术教程
- 教材资源之课程教案:项目四任务二影响跨境客户忠诚的驱动因素
- 2020年河南省南阳市邓州市水务公司考试《公共基础知识》试题及解析
- 葡萄图考核与应用
- 极限存在准则两个重要极限公式
- 第10课《三峡》 统编版语文八年级上册
- 伤口造口护理小组
- 基于项目式学习的初中数学“综合与实践”教学研究
- 设计采购施工EPC总承包合同(2024版)
- 2024湖南邵阳大圳灌区管理局和所属事业单位招聘历年(高频重点提升专题训练)共500题附带答案详解
- 超聚变FCIA考试附有答案
- 出生缺陷(遗传代谢病)救助回执单
- 2024年重庆水投原水资源管理限公司社会招聘【重点基础提升】模拟试题(共500题)附带答案详解
- T-WSJD 51-2024 医疗机构消毒供应中心用水卫生要求
- 《矿产资源“三率”指标要求 第15部分:地热、矿泉水》(报批稿)
- 医院食堂服务方案设计
- 近视激光手术的护理
- 2023年度建筑施工行业安全生产事故统计分析
评论
0/150
提交评论