基于hadoop部署与实施

LET'SMAKESTUDYLET'SMAKESTUDYINTRESTINGRICHAND基于Hadoop的部署与实施基于Hadoop郭Hadoop的伪分布模式部Hadoop的伪分布模式部Hadoop的集群部在Linux上安装与配置Hadoop系Hadoop的启动停止及其注意事一二三四九 1234熟练部署各种场景的Hadoop 1234熟练部署各种场景的Hadoop平台熟悉如何在Windows和Linux上部署数据分析平台熟悉企业级大规模Hadoop集群的部署与管理熟悉Hadoop的启动和停止过程Hadoop的伪分布模式部Hadoop的伪分布模式部Hadoop的集群部在Linux上安装与配置Hadoop系Hadoop的启动停止及其注意事一二三四九 •– •––––在单节点上以伪分布模式运使用线程模拟分布 ……JobTrackerMaster ……JobTrackerMasterSecondaryNameNodeMasterNameNode一二三Hadoop的伪分布模一二三Hadoop的伪分布模式部Hadoop的集群部在Linux上安装与配置Hadoop系Hadoop的启动停止及其注意事四九 •– •–––––以非分布式模式运行的一个独立Java进在这种默认模式下所有3个XML文件均为当配置文件为空时，Hadoop会完全运行在本 TaskTrackerJobTracker TaskTrackerJobTrackerMasterSecondaryNameNodeMasterNameNode一二三Hadoop的伪分布模一二三Hadoop的伪分布模式部Hadoop的集群部在Linux上安装与配置Hadoop系Hadoop的启动停止及其注意事四九 •• ••–––––真正有意义的集由一个NameNode个SecondaryNameNode和多个DataNode组成 Slave-Slave-Slave- Slave-Slave-Slave-一二三Hadoop的伪分布模一二三Hadoop的伪分布模式部Hadoop的集群部在Linux上安装与配置Hadoop系Hadoop的启动停止及其注意事四九 •– •–––••••••••在ESXi上创建Linux在OpenStack环境下创建Linux在Windows的VMwareWorkStation上创建Linux虚拟机 ••在OpenStack环境下创建1台CentOS ••在OpenStack环境下创建1台CentOS6.5Intel(R)Xeon(R)CPUE5-26200@cat/proc/cpuinfo|grep"modelcat/proc/meminfo|grepfree-df•• •Hadoop–––––Hadoop的可执行程 •Hadoop–––––Hadoop的可执行程MapReduce的日志文•Hadoop软件相关的文Hadoop数据相关的文文件系统大小用途/安装操作系操作系统的启动分内存交换分用于存放Hadoop的软用于存放Hadoop的数 •直接使用root用户部署Hadoop–––– •直接使用root用户部署Hadoop––––权限最大，可屏蔽关于文件系统权限的问风险较出现问题无法•使用特定的组和用户部署Hadoop––––需要额外规划，并创建新的组和用户，文件系统的权限也需要修有利于审计工•• • ••••••••••••配置Hadoop配置Linux的SSH •–JDK •–JDK•/technetwork/java/javase/downloads/jdk7-–JDK•/technetwork/java/javase/downloads/jdk8-其他版–•/technetwork/java/javase/archive- •使用RPM •使用RPM的方式安使用tar包解压的方式安JDK•––––使用root用户将JDK安装到/usr/local/java7目录并将JAVA_HOME下的bin目录添加到PATH环境变量•解压jdktar-zxf•解压jdktar-zxfjdk-7u79-linux-移动jdkmvjdk1.7.0_79/••echo"exportJAVA_HOME=/usr/local/java7"•echo"exportJAVA_HOME=/usr/local/java7">>echo"exportPATH=\$JAVA_HOME/bin:\$PATH">>重新加载source• •• ••––––lvcreate-L5120-nlvhadoopmkfs-text4/dev/vg00/lvhadoopmkdir-p/hadoopmount/dev/vg00/lvhadoop•––––lvcreate-L20480-nlvdatamkfs-text4/dev/vg00/lvdatamkdir-p/datamount/dev/vg00/lvdata•–修改/etc/fstab文•–修改/etc/fstab文 •groupadd-g •groupadd-g3000useradd-u3001-gcloudadminchown-Rhadoop:cloudadminchown-Rhadoop:cloudadminls-l/|grep••• • ••配置SSH–––ssh-keygen-tcdcatid_rsa.pub>••将key测试SSH–sshlocalhost •• ••–tar-zxfhadoop- •––––修改 •––––修改hadoop-env.sh文件：添加JAVA_HOME配修改mapred-•–––mkdir-pmkdir-pmkdir-p •conf/hadoop-env.sh •conf/hadoop-env.shHadoopCore配置选HadoopCore配置选 •conf/core-site.xml •conf/hdfs-site.xml •conf/hdfs-site.xmlMapReduce守护进程配MapReduce守护进程配置选 •conf/mapred-site.xml •修改完Hadoop的配置文件后，需要对HDFS •修改完Hadoop的配置文件后，需要对HDFS–bin/hadoopnamenode-•• •使用Hadoop– •使用Hadoop–bin/start-•检查Hadoop–•–bin/hadoopdfsadmin•–bin/hadoopdfsadmin- • • •一二三Hadoop的伪分布模一二三Hadoop的伪分布模式部Hadoop的集群部在Linux上安装与配置Hadoop系Hadoop的启动停止及其注意事四九 •Hadoop系统不能直接在Windows •Hadoop系统不能直接在Windowscygwin软件来在Windows下模拟Linux支持的WindowsWindowsXP、7、2003、2008cygwin：用于在Windows下模拟Linux•••––––安装NetCategory下的openssl•––––安装NetCategory下的openssl的软件Basatg下的s的软件包tsatg•–此处省略……10000231231一二三Hadoop的伪分布模一二三Hadoop的伪分布模式部Hadoop的集群部在Linux上安装与配置Hadoop系Hadoop的启动停止及其注意事四九 • •••••••••••如何选择JDK哪些节点做datanode ••在OpenStack环境下创建4台CentOS ••在OpenStack环境下创建4台CentOS6.5Intel(R)Xeon(R)CPUE5-26200@cat/proc/cpuinfo|grep"modelcat/proc/meminfo|grepfree-df-•• •••• •••••IP地址主机用Hadoop的namenode和Hadoop的datanode和 • ••••••••••••配置Hadoop配置Linux的SSH ••• ••••••上面的步骤和前面的配置一致，这里不再重复配置主机名和IP地址对应关配置主机名和IP地址对应关 •–使用root•––––echoechoechoechohm2">>hd001">>/etc/hostshd002">>hd003">>•–cat在集群中配置SSH在集群中配置SSH免密码登 •在集群的master节点上使用hadoop–ssh-keygen-t在集群的namenode•–––––cdcatid_rsa.pub>>scpauthorized_keys3:/home/hadoop/.ssh/scpauthorized_keysscpauthorized_keys•••SSH•SSH •––––– •––––––修改hadoop-env.sh文件：添加JAVA_HOME配修改slave文•–––mkdir-pmkdir-pmkdir-p •conf/hadoop-env.sh •conf/hadoop-env.shHadoopCore配置选HadoopCore配置选 •conf/core-site.xml •conf/hdfs-site.xml •conf/hdfs-site.xmlMapReduce守护进程配MapReduce守护进程配置选 •conf/mapred-site.xml •conf/masters•conf/slaves •conf/masters•conf/slaves •–––scp-rhadoop-1.2.1scp-rhadoop-1.2.1scp-rhadoop-1.2.1 •修改完Hadoop的配置文件后，需要对HDFS •修改完Hadoop的配置文件后，需要对HDFS–bin/hadoopnamenode- •使用Hadoop–bin/start- •使用Hadoop–bin/start-•检查Hadoop–主节点的进从节点的进程 •– •–bin/hadoopdfsadmin-DFSUsedNonDFSDFSUsed%DFS••••• •ddif=/dev/zeroof=/hadoop/test.datbs=1024000上传文件到HDFSbin/hadoopfs-copyFromLocal/hadoop/test.dat检查HDFSbin/hadoopfs-ls••一二三Hadoop的伪分布模一二三Hadoop的伪分布模式部Hadoop的集群部在Linux上安装与配置Hadoop系Hadoop的启动停止及其注意事四九完全分布完全分布式Hadoop系统的实施步 ••••••••••••配置Hadoop配置Linux的SSH企业级大规企业级大规模集群部署的问 •–CPU、内存、磁盘、网络如何构建SSH免密码登陆Hadoop•••• ••Windows下的Active •••再利用NFS将hadoop用户的home目录放在NFS一二三Hadoop的伪分布模一二三Hadoop的伪分布模式部Hadoop的集群部在Linux上安装与配置Hadoop系Hadoop的启动停止及其注意事四九WordCount程序简 •••WordCount程序简 •••它可以称为MapReduce版“Hello•211MapReduce总体过MapReduce总体过 • • •Mapping过 •Mapping过 •Reducing过 •ReducingReducing过 •Reducing •–––echo •–––echo"thisisatestfile">>echo"hadoopissoeasy">>echo"testhadoopprogram">>•上传测试文件到HDFSbin/hadoopfs-mkdirbin/hadoopfs-copyFromLocal/hadoop/*.txt运行wordcountbin/hadoopjarhadoop-examples-1.2.1.jarwordcountin查看wordcountbin/hadoopfs-ls••Reduce的执行过程Reduce的执行过程过程数据统计信息 •• •••使用ls指令查看wordcount使用cat指令查看wordcount一二三Hadoop的伪分布模一二三Hadoop的伪分布模式部Hadoop的集群部在Linux上安装与配置Hado