大数据课程体系

1、Java基础JAVA开发基础知识Ecli pse开发环境 多线程技术Socket网络技术 Regular Exp ressi onJava反射技术 各种实战设计模式 面向对象设计原则详解Java collecti onReflect ionJVM原理与配置、调优Java设计模式Linux 大 纲Linux的介绍与安装VMware Workstation虚拟软件安装ubuntu安装Linux的常用命令Linux系统进程管理常用命令ps、pkill 、top、htop等的使用；Linux启动流程，运行级别详解，chkconfig详解 nano编辑器Linux权限管理：用户、组Linux权限管理：文

2、件权限rwxLinux 网络管理：hosts,hostname,ifconfig 安装JDKHadoopHadoo p介绍，发展史，国内外现状，未来Hadoop核心组成介绍及 hdfs、map reduce体系结构Hadoop的集群结构Hadoop独立模式安装与测试Hadoop启动与停止SSH安装与配置Hadoop伪分布式和完全分布式安装配置HDFS底层工作原理HDFS data node,n ame no de 详解Hdfs shellHdfs java apiInp utS plit和 Out puts plitBlockSize 配置最少副本数配置MRf乍业流程分析编写Mapper程序

3、编写Reducer程序 执行Map reduce过程Hadoop 核心类讲解，RM,NM,NN,DNYARN调度框架事件分发机制Hadoop底层IPC原理和RPCHadoop的底层google ProtoBuf 的协议分析分布式数 据库HbaseHBase简介与RDBM的对比系统架构HBase上 的 Map ReduceHbase核心术语介绍Hbase基本操作HBase Shell以及演示Hbase树形表设计Hbase 一对多和多对多表设计Hbase调优（读、写、设计）数据仓库HiveHive简介Hive集群客户端简介HiveQL介绍与SQL的比较数据类型外部表和分区表ddl与CLI客户端演示

4、 dmi与CLI客户端演示 select与CLI客户端演示Operators 和functions 与CLI客户端演示 Hive server2 与 jdbc用户自定义函数（UDF和UDAF的开发与演示Hive优化数据迁移 工具Sqoo PSqoop简介和配置 Sqoop shell常见命令Sqo op导入与导出Flume 分 布式日志框架flume简介-基础知识flume安装与测试flume部者方式flume source相关配置及测试flume sink相关配置及测试flume selector相关配置与案例分析flume Sink P rocessors相关配置和案例分析flume In

5、 terce ptors相关配置和案例分析flume AVRO Clie nt 开发flume和kafka的整合Zookeeper 开发Zookee per java api开发Zookeeper rmi咼可用分布式集群开发Zookee per redis 咼可用监控实现Netty异步io通信框架Zookeeper实现netty 分布式架构的咼可用kafkakafka是什么 kafka体系结构 kafka配置详解kafka kafka kafka kafkaStormScalascala scala scala scala scala scala scala scala scala scala

6、 scala scala的安装 的存储策略 分区特点 的发布与订阅zookeeper协调管理 java编程操作kafka scala编程操作kafka flume和kafka的整合 Kafka和storm的整合 Storm的基本概念 Storm的应用场景 Storm和Hadoop的对比 Storm集群的安装的linux环境准备 zookeeper集群搭建 Storm集群搭建Storm配置文件配置项讲解 集群搭建常见问题解决Storm 常用组件和编程 API： Topology、Spout、BoltStorm 分组策略（stream groupings） 使用Strom开发一个WordCount

7、例子 Storm程序本地模式debug、Storm程序远程debug Storm事物处理Storm消息可靠性及容错原理Storm结合消息队列 Kafka :消息队列基本概念（P roducer、Co nsume、To pic、 Broker等）、消息队列Kafka使用场景、Storm结合Kafka编程API Storm Tride nt 概念 Tride nt state原理Tride nt开发实例Storm DRPC分布式远程调用）介绍Storm DRPC实战讲解Storm 和 Hadoop 2.x 的整合：Storm on YarnStorm开发实战：Kafka+Storm+Hbase+r

8、edis项目实战，以及多个案例解释器、变量、常用数据类型等 的条件表达式、输入输出、循环等控制结构 的函数、默认参数、变长参数等 的数组、变长数组、多维数组等 的映射、元组等操作 的类，包括bean属性、辅助构造器、主构造器等 的对象、单例对象、伴生对象、扩展类、apply方法等的包、弓I入、继承等概念的特质 的操作符 的高阶函数 的集合scala数据库连接Sp ark大数据处 理Sp ark Stream ing 实时计算Sp arkMLlib _机器学习DockerSpark简介与应用场景RDDTran sformati on Actio n Spark 计算 PageRank Lin e

9、age Spark模型简介Spark缓存策略和容错处理 宽依赖与窄依赖 Spark配置讲解 Spark集群搭建 集群搭建常见问题解决Spark原理核心组件和常用RDD 数据本地性 任务调度DAGScheduler TaskScheduler Spark源码解读 性能调优Spark 和 Hadoop2.x 整合：Spark on Yarn 原理 Spark Streaming :数据源和 DStream 无状态 transformation 与有状态 transformation Streaming Window 的操作 sp arksql编程实战 spark的多语言操作介绍 回归算法 分类算法

10、 第四章推荐系统 第五章聚类Kmea ns 基本介绍 vm docker 对比 docker基本架构介绍 unfs cgro up n ames pace 进程虚拟化轻量级虚拟化 docker docker docker docker安装 镜像制作 常用命令 镜像迁移docker pip ework 1docker weave虚拟化KVM虚拟化介绍，虚拟化适用场景等等Qemu Libvirt & KVM安装 KVM, Qemu, LibvirtQEMU-KVM安装第一个能上网的虚拟机 Kvm虚拟机nat,网桥基本原理 kvm虚拟机克隆kvm虚拟机vnc配置kvm虚拟机扩展磁盘空间Kvm快照Kvm迁移Java,python,c 语言编程控制kvm云平台Open Stackopen stack介绍和模块基本原理分析open stack多节点安装部署【a.采用cen tos6.x系统】 Keystone基本原理glanceCin derSwiftNeutro nOpen stack api 二次开发综合项目演练1结合基于SSH技术的jee项目一互联网大数据调查系统，可针对当下流行的 事件进行网络调查，然后从海量的调查调查问卷中通过大数据手段对其进行 分析和汇总，最终对大众的消费习惯、文化倾向、