Hadoop技术培训大纲

1、附录：Hadoop技术培训大纲（4天）课程模块课程主题主要内容案例和演示模块一Hadoop简介和生态系统介绍?传统大规模数据分析存在的问题?Hadoop概述?Hadoop与分布式乂件系统?Hadoop生态系统?Hadoop的行业应用案例分析?Hadoop在与计算和大数据的位置和关系?Hadoop版本介绍?Hadoop与GoogleFS的关系?Hadoop在国内的使用情况和未来?Hadoop在推存领域的使用案例介绍模块二Hadoop安装和主要配置文件介绍?Hadoop安装所需软件介绍?Hadoop单机安装?Hadoop伪分布式安装?Hadoop完全分布式安装?Hadoop三个节点安装的配置介绍?

2、Hahoop多节点ssh配置?Hadoop格式化详解?Hadoop核心配置文件介绍?核心配置文件core-site.xml?HDFSS已置文件hdfs-site.xml?Mapreduce配置文件mapred-site.xml?master文件配置详解?slave文件配置详解?Hadoop启动和停止方率-start-all.sh详解一stop-all.sh详解?Hadoop的启动和停止方法二hadoop-deamon.sh详解?Hadoop安装的常见错误介绍和解决方案?使用自带的wordcount和pi测试集群安装是否成功?使用Streaming来测试集群安装是否成功?Hadoop单机演示?H

3、adoop伪分伸式?Hadoop元全分体式演不?Hadoop两种启动方式的演示?Hadoop安装常见错误的介绍和演示?Hadoop自带的wordcount和pi演示?HadoopStreaming的案例演小模块三Hadoop组件介绍?HadoopNameNode介绍?HadoopSecondaryNameNode介绍?HadoopDataNode介绍?HadoopJobTracker介绍?HadoopTaskTracker介绍模块五Hadoop的HDFS1块?HDF酸构介绍?HDFSM理介绍?NameNod勘能详解?DataNode功能详解?SecondaryNameNode功能详解?HSFD

4、勺fsimage和editslog详解?HDFS勺block详解?HDFS勺block的备份策略?Hadoop的机架感知配置?HDFS勺shell命令介绍?HDFS勺thriftserver服务介绍?HDFS勺API接口介绍?HDFS勺权限详解?Hadoop的客服端接入案例?Hadoop的shell命令演不?Hadoop的API接口演小?Hadoop的客服端接入案例模块六MapReducer入门和高级?Mapreduce原理?MapReduce流程?剖析一个MapReduce程序?Mapper和Reducer抽象类详解?Mapreduce的最小驱动类?MapReduce自带的类型?自定义Wri

5、tables和WritableComparables?Mapreduce的输入InputFormats?MapReduce的输出OutputFormats?自定义InputFormat?自定义InputSPlits?自定义RecorderReader?Combiner详解?Partitioner详解?DistributeFileSystem详解?HadoopTools工具介绍?Counter计数器详解?自定义Counter计数器?MapReduce的优化?Map和Reduce的个数设置?MapReduce实现海事数据比较大小案例?自定义Hadoop类型案例?自定义Partitioner案例?实

6、现在内存随机生成100个数，分成两个Map来比较大小?自定义inputFormat和InputSplit和RecorderReader来实现MapReduce读取Redis里面的数据。?多义件输出和自动定义MapReduce的输出名?MapReduce实现Join算法案例?MapReduce实现海量文档相似度算法?自定义Counter案例实现?MapReduce实现Pangrank算法。?MapReduce单元测试：Map的单元测试测试、reduce单元测试和MapReduce整体的单元测试实战。?某公司使用MapReduce分析日志?Hadoop小文件优化?任务调度?默认的任务调度?公平任务

7、调度?能力任务调度?使用HadoopMapReduceStreaming编程?MapReduce的单元测试案例（10T数据以上）?配置公平调度器案例实战模块七Hive和pig的使用?Hive和Pig基础?Hive、Impala和presto的比较?Hive的作用和原理说明?Hadoop仓库和传统数据仓库的协作关系?Hadoop/Hive仓库数据数据流?Hive部署和安装?HiveCli的基本用法?Hive的server启动?HQ*本语法?Hive的加载数据本地加载和HDFSm载?Hive的partition详解?Hive的存储方式详解?RCFILE、TEXTFILE和SEQUEUEFILE?H

8、ive的UD环口UDAF?Hive的transform详解?Hive的JDBC1接?使用JDBC连接Hive进行查询和分析?使用正则表达式加载数据?编写UDF函数?编写UDAF自定义函数?Partition使用实战?Transform使用实战?某些大型公司使用hive分析日志案例详解和实战。模块八Hbase使用?Hbase原理?Hmaster详解?RegionServer详解?Zookeeper介绍?Hbase安装?Hbase逻辑视图介绍?Hbase物理视图介绍?Hbase的二级索引介绍?Hbase的DDL和DML?Hbase表的设计案例?Hbase的import功能介绍?MapReduce操彳Hbase?Hbase的thriftServer介绍?Hbase的API介绍?Hbase案例分析?Hbase安装实战?MapReduce操彳Hbase实战?Hbase的API实战?Hbase表结构设计实战模块九Hadoop集群配置介绍和维护?Hadoop集群的部署要点?NameNod丽SecondaryNameNode和JobTracker机器的配置要求?dataNode与tasktracker机器的配置要求?Hadoop集群管理的工具介绍?Ganglia和nigo