传智播客-培训课程1orientation

1、高级软件人才实作培训专家!Hadoop深入浅出讲师:吴超博客：QQ:3774 86624北京传智播客教育 高级软件人才实作培训专家!答疑解惑就业前景学习hadoop有什么基础hadoop会影响javaEE工作吗hadoop会像塞班一样，热一阵子吗hadoop学习起来容易还是困难课堂上的学习方法(所有试验必须按照要求做、重原理、重实践)通过本课程能学到什么高级软件人才实作培训专家!课程简介l 以真实的电信详单分析程序为主线，讲解Hadoop,Hbase,Hive在大数据处理的应用场景与过程。l 通过此课程，你能1. 掌握Hadoop基本知识，

2、进行Hadoop的HDFS和MapReduce应用开发，搭建Hadoop集群。2. 掌握Hbase基本知识，搭建Hbase集群，Hbase的基本操作3.高级软件人才实作培训专家!7天课程体系Day1 搭建伪分布实验环境Day2 介绍HDFS体系结构及shell、java操作方式Day3 介绍MapReduce体系结构及各种算法(1) Day4 介绍MapReduce体系结构及各种算法(2) Day5 介绍Hadoop集群、zookeeper操作Day6 介绍HBase体系结构及基本操作Day7 介绍Hive、sqoop体系结构及基本操作和最后项机遇高级软件人才实作培训专家!机遇高级软件人才实作

3、培训专家!机遇高级软件人才实作培训专家!高级软件人才实作培训专家!第一天 课程安排l Hadoop项目简介*l 搭建Hadoop的伪分布环境*l 使用eclipse查看hadoop源码*高级软件人才实作培训专家!高级软件人才实作培训专家!高级软件人才实作培训专家!Hadoop是什么?适合大数据的分布式存储与计算平台l 作者：Doug Cuttingl 受Google三篇论文的启发高级软件人才实作培训专家!版本l Apache官方版本(1.1.2)l Cloudera使用下载最多的版本，稳定，有商业支持，在Apache的基础上打上了一些patch。推荐使用。l YahooYahoo内部使用的版本

4、，发布过两次，已有的版本都放到了Apache上，后续不在继续发布，而是集中在Apache的版本上。高级软件人才实作培训专家!Hadoop核心项目l HDFS: Hadoop Distributed File System 分布式文件系统l MapReduce：并行计算框架高级软件人才实作培训专家!HDFS的架构l 主从结构 主节点，只有一个: namenode 从节点，有很多个: datanodesl namenode负责： 接收用户操作请求 维护文件系统的目录结构 管理文件与block之间关系，block与datanode之间关系l datanode负责： 存储文件 文件被分成block存储

5、在磁盘上 为保证数据安全，文件会有多个副本高级软件人才实作培训专家!MapReduce的架构l 主从结构 主节点，只有一个: JobTracker 从节点，有很多个: TaskTrackersl JobTracker负责： 接收客户提交的计算任务 把计算任务分给TaskTrackers执行 监控TaskTracker的执行情况l TaskTrackers负责： 执行JobTracker分配的计算任务高级软件人才实作培训专家!Hadoop的特点扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。成本低（Economical）：可以通过普通机器组成的服务器群来

6、分发以及处理数据。这些服务器群总计可达数千个节点。高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们， 这使得处理非常的快速。可靠性（Reliable）：hadoop能自动地维护数据的多份副本，并且在任务失败后能自动地重新部署（redeploy）计算任务。llll16高级软件人才实作培训专家!Hadoop集群的物理分布高级软件人才实作培训专家!单节点物理结构高级软件人才实作培训专家!l 本地模式l 伪分布模式l 集群模式Hadoop部署方式高级软件人才实作培训专家!l VitualVoxl rhel-server-6.3-i386-

7、dvd.isol jdk-6u24-linux-xxx.binl hadoop-1.1.2.tar.gz安装前准备软件高级软件人才实作培训专家!l 关闭l 修改ipl 修改hostnamel 设置ssh自动登录l 安装jdkl 安装hadoop伪分布模式安装步骤高级软件人才实作培训专家!1.hadoop-env.shexport JAVA_HOME=/usr/local/jdk/2.hdfs:/hadoop0:9000change your own hostnamehadoop.tmp.dir/usr/local/hadoop/tmp修改

8、hadoop配置文件3.hdfs-site.xmldfs.replication1dfs.permissionsfalse4.mapred-site.xmlmapred.job.trackerhadoop0:9001change your own hostname高级软件人才实作培训专家!高级软件人才实作培训专家!再执行start-all.sh启动hadoop高级软件人才实作培训专家!浏览hadoop高级软件人才实作培训专家!高级软件人才实作培训专家!练习：搭建伪分布环境高级软件人才实作培训专家!思考题l 培养目标是什么l hadoop是什么l hadoop的核心组成是什么，分别解释一下l 安

9、装伪分布模式的步骤l hadoop的目录包括哪些，分别解释一下l 如何运行jar包中的hadoop程序28高级软件人才实作培训专家!解压缩文件tar xzvf xxx常用linux命令修改passwd xxx查看磁盘空间df -ah查看进程ps -ef |grep杀掉进程kill -9修改环境变量vi /etc/profile修改主机名vi /etc/sysconfig/networkvi /etc/hosts修改ip地址vi /etc/sysconfig/network- scripts/ifcfg-eth0service iptables stopchkconfig iptables off关闭setenforce permissive修改/etc/selinux/config关闭s