Hadoop技术培训大纲

1、附录：Hadoop技术培训大纲（4天）课程模块课程主题主要内容案例和演示?传统大规模数据分析存在的问题?Hadoop在推荐领域的使用案例?Hadoop概述?Hadoop与分布式文件系统介绍Hadoop?Hadoop生态系统模块一简介和生?Hadoop的行业应用案例分析态系统介?Hadoop在云计算和大数据的位置和绍关系?Hadoop版本介绍?Hadoop与Google FS 的关系?Hadoop在国内的使用情况和未来?Hadoop安装所需软件介绍?Hadoop单机演示?Hadoop单机安装?Hadoop伪分布式演示?Hadoop伪分布式安装?Hadoop完全分布式演示?Hadoop完全分布式安

2、装?Hadoop两种启动方式的演示?Hadoop三个节点安装的配置介绍?Hadoop安装常见错误的介绍和?Hahoop多节点ssh配置演示Hadoop安装和主?Hadoop格式化详解?Hadoop自带的 wordcount 和模块二要配置文?Hadoop核心配置文件介绍pi演示件介绍?核心配置文件 core-site.xml?Hadoop Stream ing的案例演示?HDFS 配置文件 hdfs-site.xml?Mapreduce 配置文件mapred-site.xml?master文件配置详解?slave文件配置详解?Hadoop 启动和停止方法一start-all.sh 详解stop

3、-all.sh 详解?Hadoop 的启动和停止方法二hadoop-deam on.sh详解?Hadoop 安装的常见错误介绍和解决万案?使用自带的wordcount 和pi测试集群安装是否成功?使用Streaming 来测试集群安装是否成功?Hadoop NameNode介绍?Hadoop Secon daryNameNode介模块三Hadoop组件介绍?绍Hadoop DataNode介绍?Hadoop JobTracker介绍?Hadoop T askTracker 介绍?HDFS架构介绍?Hadoop的shell命令演示?HDFS原理介绍?Hadoop的API接口演示?NameNode

4、 功能详解?Hadoop的客服端接入案例?DataNode 功能详解Hadoop 的 HDFS?Seco ndaryNameNode功能详解模块五?HSFD 的 fsimage 和 editslog 详解HDFS的block详解模块?HDFS的block的备份策略?Hadoop 的机架感知配置?HDFS的shell命令介绍?HDFS 的 thrift server 服务介绍?HDFS的API接口介绍?HDFS的权限详解Hadoop的客服端接入案例?Mapreduce 原理?MapReduce 实现海量数据比较?MapReduce 流程大小案例?剖析一个MapReduce 程序?自定义Hadoo

5、p类型案例?Mapper 和Reducer抽象类详解?自定义Partiti on er案例?Mapreduce 的最小驱动类?实现在内存随机生成 100个数，?MapReduce 自带的类型分成两个Map来比较大小?自定义Writables 和?自定义inputFormat禾口WritableComparablesInputSplit禾口 RecorderReader?Mapreduce 的输入 InputFormats来实现MapReduce 读取Redis?MapReduce 的输出 OutputFormats里面的数据。?自定义 InputFormat?多文件输出和自动定义?自定义 In

6、putSPlitsMapReduce 的输出名?自定义 RecorderReader?MapReduce 实现Join算法案例MapRed?Combi ner 详解?MapReduce 实现海量文档相似模块六ucer入门?Partiti oner详解度算法和高级?DistributeFileSystem详解?自定义Counter案例实现?Hadoop Tools工具介绍?MapReduce 实现 Pangrank 算?Cou nter计数器详解法。?自定义Counter计数器?MapReduce 单元测试：Map的?MapReduce 的优化单元测试测试、reduce单元测试?Map和Redu

7、ce的个数设置和Map Reduce 整体的单元测试?Hadoop 小文件优化实战。?任务调度?某公司使用MapReduce 分析日?默认的任务调度志案例（10T数据以上）?公平任务调度?配置公平调度器案例实战?能力任务调度?使用 Hadoop MapReduceStreami ng 编程?MapReduce 的单元测试?Hive和Pig基础?使用JDBC连接Hive进行查询和?Hive、Impala 和 presto 的比较分析?Hive的作用和原理说明?使用正则表达式加载数据Hive 和?Hadoop仓库和传统数据仓库的协作?编写UDF函数模块七pig的使关系?编写UDAF自定义函数用?H

8、adoop/Hive仓库数据数据流?Partiti on使用实战?Hive部署和安装?Tran sform 使用实战?Hive Cli的基本用法?某些大型公司使用hive分析日志?Hive 的 server 启动案例详解和实战。? HQL基本语法? Hive的加载数据本地加载和HDFS加载? Hive 的 partition 详解? Hive的存储方式详解? RCFILE、TEXTFILE 和 SEQUEUEFILE?Hive 的 UDF 和 UDAF?Hive 的 transform 详解? Hive的JDBC连接模块八Hbase 使用?Hbase原理?Hmaster 详解?Regio nS

9、erver 详解?Zookeeper 介绍?Hbase安装?Hbase逻辑视图介绍?Hbase物理视图介绍?Hbase的二级索引介绍?Hbase 的 DDL 和 DML?Hbase表的设计案例?Hbase的import 功能介绍?MapReduce 操作 Hbase?Hbase 的 thrift Server介绍?Hbase 的API介绍?Hbase案例分析? Hbase安装实战? MapReduce 操作 Hbase 实战? Hbase的API实战? Hbase表结构设计实战模块九Hadoop集群配置介绍和维护? Hadoop集群的部署要点? NameNode 和Secon daryNameNode禾口JobTracker机器的配置要求? dataNode 与 tasktracker 机器的配置 要求? Hadoop 集群管理的工具介绍?Ganglia 和 nigos 监控 Hadoop 集群介绍? Ambr