《Hadoop技术原理》课件-2.Hadoop环境设置

Hadoop技术原理Hadoop环境设置安装模式01三种安装模式01三种安装模式和特点模式概念特点用途单机模式Hadoop默认模式1.没有分布式文件系统HDFS2.MapReduce处理的是本地Linux的文件数据一般仅用于本地MapReduce程序的调试伪分布模式是在单机上，模拟一个分布式的环境具备Hadoop的主要功能常用于调试程序完全分布式模式也叫集群模式，是将Hadoop运行在多台机器上，各个机器按照相关配置运行相应的hadoop守护进程在多台机器上运行，是真正的分布式环境常用于生产三种安装模式02三种安装模式的配置差异单机模式配置项三种安装模式03三种安装模式的配置差异伪分布模式配置项三种安装模式04三种安装模式的配置差异完全分布模式配置项Hadoop安装02Hadoop安装01单机模式安装特点：没有HDFS、只能测试MapReduce程序MapReduce处理的是本地Linux的文件数据安装前的准备工作01Linux安装LinuxCentos7x6402防火墙关闭防火墙03JDK安装JDK04ssh-server安装ssh-servcer05安装包（1）获取安装包（2）解压（3）配置环境变量Hadoop安装02单机模式安装安装配置过程及测试01修改配置hadoop-env.sh02测试MapReduce

使用：hadoop-mapreduce-examples-2.7.3.jarHadoop安装03伪分布模式安装特点：是在单机上，模拟一个分布式的环境具备Hadoop的主要功能启动的进程：HDFS:NamenodeDatanodeSecondaryNamenodeYarn:ResourcemanagerNodemanagerHadoop安装04伪分布模式安装安装前的准备01Linux安装Linux02防火墙关闭防火墙03JDK安装JDK04ssh-server安装ssh-servcer05安装包（1）获取安装包（2）解压（3）配置环境变量06其他配置主机名设置免登录Hadoop安装05SSH免密登录原理非对称加密算法：公钥加密（给别人）、私钥解密给自己serverAserverB1.首先生成一对密钥ssh-keygen-t.....2.将公钥copy给serverB追加为authorized_keysssh-copy-id-i......3.serverA向serverB发送一个连接请求，信息包括用户名、IP等4.查找authorized_keys中，如有相应的用户名和IP，serverB会随机生成一个字符串:asdf5.serverB将使用公钥对字符串asdf进行加密，然后发送给serverA6.得到serverB发来的消息后，会使用私钥进行解密，然后将解密后的字符串发送给serverB7.接受到解密后的字符串会跟先前生成的字符串进行对比，若一致，就允许免登录公钥私钥公钥(authorized_keys)Hadoop安装0601修改配置参考文档02格式化hdfsnamenode-format03启动/停止start-all.shstop-all.sh04测试看进程通过Web界面：HDFS：50070Yarn：8088伪分布模式安装安装配置过程及测试Hadoop安装07伪分布模式安装访问HDFS打开Chrome浏览器，地址栏中输入：主机名:50070Hadoop安装08伪分布模式安装访问Yarn打开Chrome浏览器，地址栏中输入：主机名:8088Hadoop安装09完全分布模式安装特点：用在正式的分布式环境，用于生产安装规划NamenodeDatanodeDatanodeIP:192.168.1.51主机名：node1IP:192.168.1.52主机名：node2IP:192.168.1.53主机名：node3Hadoop安装10完全分布模式安装安装前的准备工作01Linux安装Linux02防火墙关闭防火墙03JDK安装JDK04ssh-server安装ssh-servcer05安装包（1）获取安装包（2）解压（3）配置环境变量06其他(1)设置主机名(2)安装NTP网络时间服务(3）任两台机器免密码登录Hadoop安装11完全分布模式安装安装配置过程及测试01修改配置参考配置文档02拷贝配置将配置复制到其