Hadoop伪分布式安装与配置

郑美容01目录Hadoop伪分布式安装02Hadoop伪分布式安装特点Hadoop伪分布式安装与配置1Hadoop伪分布式安装伪分布式安装原理Hadoop在单节点上以伪分布式的方式运行，Hadoop进程以分离的java进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。Hadoop伪分布式安装1.修改主机名vim/etc/sysconfig/network命令，主机名例如master，示例代码如下：vim/etc/sysconfig/network2.打开虚拟机软件操作系统界面，右击打开终端，输入vim/etc/hosts命令，然后按Enter键，进入vim界面。vim/etc/hosts3.配置SSH免密码登陆，SSH免密码登陆需要在服务器执行以下命令，生成公钥和私钥对。在#后输入cd~/.ssh命令，ssh-keygen-trsa，然后按3次Enter键。示例代码如下：cd~/.sshssh-keygen-trsa4.输入cpid_rsa.pubauthorized_keys命令，然后按Enter键。示例代码如下：cpid_rsa.pubauthorized_keysHadoop伪分布式安装5.下面首先来创建两个目录，用于存放安装程序及数据。示例代码如下：mkdir/appsmkdir/data两个目录的作用分别为：/apps目录用来存放安装的框架，/data目录用来存放临时数据、HDFS数据、程序代码或脚本。6.创建/data/hadoop1目录，用来存放相关安装工具，hadoop安装包hadoop-2.6.0-cdh5.4.5.tar.gz。示例代码如下：mkdir-p/data/hadoop1使用CRT将已下载好的Hadoop安装包移至/data/hadoop1目录中。由于我们之前已经安装好了jdk，此时我们只需要使用source命令即可。命令如下：source/etc/profileHadoop伪分布式安装7.下面安装hadoop，切换到/data/hadoop1目录下，将hadoop-2.6.0-cdh5.4.5.tar.gz解压缩到/apps目录下。cd/data/hadoop1tar-xzvf/data/hadoop1/hadoop-2.6.0-cdh5.4.5.tar.gz-C/apps/为了便于操作，我们也将hadoop-2.6.0-cdh5.4.5重命名为hadoop。mv/apps/hadoop-2.6.0-cdh5.4.5//apps/hadoop8.修改用户环境变量，将hadoop的路径添加到path中。先打开用户环境变量文件。vim/etc/profile将以下内容追加到环境变量中：#hadoopexportHADOOP_HOME=/apps/hadoopexportPATH=$HADOOP_HOME/bin:$PATH让环境变量生效。source/etc/profileHadoop伪分布式安装9.下面来修改hadoop本身相关的配置。首先切换到hadoop配置目录下。cd/apps/hadoop/etc/hadoop/10.输入vimhadoop-env.sh，打开hadoop-env.sh配置文件。vimhadoop-env.sh将下面JAVA_HOME追加到hadoop-env.sh文件中：exportJAVA_HOME=/apps/java11.输入vimcore-site.xml，打开core-site.xml配置文件。添加下面配置到<configuration>与</configuration>标签之间，如下图所示：Hadoop伪分布式安装12.输入vimhdfs-site.xml，打开hdfs-site.xml配置文件。添加下面配置到<configuration>与</configuration>标签之间，如下图所示：13.重命名mapred-site.xml.template文件，示例代码如下：mvmapred-site.xml.templatemapred-site.xml14.输入vimmapred-site.xml，打开mapred-site.xml配置文件。将mapreduce相关配置，添加到<configuration>与</configuration>标签之间，如下图所示：Hadoop伪分布式安装15.输入vimyarn-site.xml，打开yarn-site.xml配置文件。将yarn相关配置，添加到<configuration>与</configuration>标签之间，如下图所示：16.下面来启动计算层面相关进程，切换到hadoop启动目录。cd/apps/hadoop/sbin/17.执行命令启动相关进程。./start-all.shHadoop伪分布式安装特点这种运行模式是在单台服务器上模拟Hadoop的完全分布模式，单机上的分布式并不是真正的分布式，而是使用线程模拟的分布式。在这个模式中，所有守护进程(NameNode，DataNode，ResourceManager，NodeManager，SecondaryNameNode)都在同一台机器上运行。因为伪分布运行模式的Ha