educoder平台hadoop开发环境搭建

1、一配置开发环境 - JavaJDK的配置mkdir /app回车cd /opt回车ll回车tar -zxvf jdk-8u171-linux-x64.tar.gz回车mv jdk1.8.0_171/ /app回车vim /etc/profile在最低下按i复制粘贴下面代码JAVA_HOME=/app/jdk1.8.0_171CLASSPATH=.:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME CLASSPATH PATH退出wqsource /etc/profile回车java -version测评*二配置开

2、发环境 - Hadoop安装与伪分布式集群搭建cd /opt回车ls回车echo $JAVA_HOME回车ls /app回车ls回车mkdir /app回车cp * /app回车cd /app回车ls回车tar -zxvf hadoop-3.1.0.tar.gz回车lstar -zxvf jdk-8u171-linux-x64.tar.gz回车ls回车mv hadoop-3.1.0 hadoop3.1回车cd jdk1.8.0_171/回车pwd回车vim /etc/profile最底下按i复制export JAVA_HOME=/app/jdk1.8.0_171export HADOOP_HO

3、ME=/app/hadoop3.1export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH退出wqsource /etc/profile回车java -version回车cd /app回车ssh-keygen -t rsa -P 按回车cat /.ssh/id_rsa.pub /.ssh/authorized_keys回车chmod 600 /.ssh/authorized_keys回车vim /etc/ssh/sshd_config找到#AuthorizedKeysFile %h/.ssh/authorized

4、_keys把#删除退出wqcd /app/hadoop3.1/etc/hadoop/回车vim hadoop-env.sh找到# JAVA_HOME=/usr/java/testing hdfs dfs -ls这一行按i在最后面回车，添加下面代码：export JAVA_HOME=/app/jdk1.8.0_171退出wqvim yarn-env.sh最底下按i回车export JAVA_HOME=/app/jdk1.8.0_171退出wq1vim core-site.xml找到然后按i在中间回车 hdfs:/localhost:9000 HDFS的URI，文件

5、系统:/namenode标识:端口号 hadoop.tmp.dir /usr/hadoop/tmp namenode上本地的hadoop临时文件夹 然后:wq2vim hdfs-site.xml找到然后按i在中间回车 .dir /usr/hadoop/hdfs/name namenode上存储hdfs名字空间元数据 dfs.data.dir /usr/hadoop/hdfs/data datanode上数据块的物理存储位置 dfs.replication 1 然后:wq3vim mapred-site.xml找到然后按i在中间回车 mapreduce.framework.nam

6、e yarn然后:wq4vim yarn-site.xml找到然后按i在中间回车 yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.webapp.address 0:8099 这个地址是mr管理界面的 然后:wqcd /usr/hadoop回车mkdir /usr回车cd /usr回车ls回车mkdir hadoop回车cd .回车mkdir /usr/hadoop/tmp回车mkdir /usr/hadoop/hdfs回车mkdir /usr/hadoop/hdfs/data回车mk

7、dir /usr/hadoop/hdfs/name回车hadoop namenode -format回车start-dfs.sh回车cd /app/hadoop3.1/sbin回车1vim start-dfs.sh在#!/usr/bin/env bash后面按i回城HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root：wq2vim stop-dfs.sh在#!/usr/bin/env bash后面按i回车HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root：wq3vim start-yarn.sh在#!/usr/bin/env bash后面按i回车YARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root：wq4vim stop-yarn.sh在#!/usr/bin/env bash后面按i回车YARN_RESOURCEMANAGER_U