大数据课程体系

1、。Java 基础JAVA 开发基础知识Eclipse开发环境多线程技术Socket 网络技术Regular ExpressionJava 反射技术各种实战设计模式面向对象设计原则详解Java collectionReflectionJVM原理与配置、调优Java 设计模式Linux大Linux 的介绍与安装纲VMware Workstation 虚拟软件安装 ubuntu 安装Linux 的常用命令Linux 系统进程管理常用命令ps、pkill、top 、htop 等的使用；Linux 启动流程，运行级别详解，chkconfig详解nano 编辑器Linux 权限管理：用户、组Linux 权

2、限管理：文件权限rwxLinux 网络管理： hosts,hostname,ifconfig安装 JDKHadoopHadoop介绍，发展史，国内外现状，未来Hadoop 核心组成介绍及 hdfs 、mapreduce 体系结构 Hadoop 的集群结构Hadoop 独立模式安装与测试Hadoop 启动与停止SSH安装与配置Hadoop 伪分布式和完全分布式安装配置HDFS底层工作原理HDFS datanode,namenode详解Hdfs shellHdfs java apiInputSplit和 OutputSplitBlockSize 配置最少副本数配置MR作业流程分析编写 Mapper

3、程序编写 Reducer 程序执行 Mapreduce过程Hadoop 核心类讲解 ,RM,NM,NN,DNYARN调度框架事件分发机制Hadoop底层 IPC 原理和 RPC精选资料，欢迎下载。Hadoop的底层 google ProtoBuf 的协议分析分布式数HBase简介与 RDBMS的对比据库系统架构HbaseHBase上的 MapReduceHbase核心术语介绍Hbase基本操作HBase Shell 以及演示Hbase 树形表设计Hbase 一对多 和 多对多 表设计Hbase 调优 ( 读、写、设计 )数据仓库Hive 简介HiveHive 集群客户端简介HiveQL 介绍与

4、 SQL的比较数据类型外部表和分区表ddl 与 CLI 客户端演示dml 与 CLI 客户端演示select与 CLI 客户端演示Operators 和 functions 与 CLI 客户端演示Hive server2与 jdbc用户自定义函数（ UDF 和 UDAF）的开发与演示Hive优化数据迁移Sqoop简介和配置工具Sqoop shell 常见命令SqoopSqoop导入与导出Flume分flume 简介 - 基础知识布式flume 安装与测试日志框架flume 部署方式flume source 相关配置及测试flume sink 相关配置及测试flume selector相关配置与

5、案例分析flume Sink Processors相关配置和案例分析flume Interceptors相关配置和案例分析flume AVRO Client 开发flume和 kafka的整合ZookeeperZookeeper java api开发开发Zookeeper rmi高可用分布式集群开发Zookeeper redis 高可用监控实现Netty异步 io通信框架Zookeeper 实现 netty分布式架构的高可用kafkakafka是什么kafka体系结构kafka配置详解精选资料，欢迎下载。kafka 的安装kafka 的存储策略kafka 分区特点kafka 的发布与订阅zoo

6、keeper 协调管理java 编程操作 kafkascala 编程操作 kafkaflume和 kafka的整合Kafka 和 storm 的整合StormStorm 的基本概念Storm 的应用场景Storm 和 Hadoop的对比Storm 集群的安装的 linux 环境准备zookeeper 集群搭建Storm 集群搭建Storm 配置文件配置项讲解集群搭建常见问题解决Storm 常用组件和编程 API：Topology 、 Spout 、BoltStorm 分组策略 (stream groupings)使用 Strom 开发一个 WordCount例子Storm 程序本地模式 deb

7、ug、Storm 程序远程 debugStorm 事物处理Storm 消息可靠性及容错原理Storm 结合消息队列 Kafka ：消息队列基本概念 (Producer 、Consumer、Topic 、Broker 等) 、消息队列 Kafka 使用场景、 Storm 结合 Kafka 编程 APIStorm Trident概念Trident state原理Trident 开发实例Storm DRPC(分布式远程调用 ) 介绍Storm DRPC实战讲解Storm 和 Hadoop 2.x 的整合： Storm on YarnStorm 开发实战： Kafka+Storm+Hbase+redi

8、s项目实战，以及多个案例Scalascala解释器、变量、常用数据类型等scala的条件表达式、输入输出、循环等控制结构scala的函数、默认参数、变长参数等scala的数组、变长数组、多维数组等scala的映射、元组等操作scala的类，包括 bean 属性、辅助构造器、主构造器等scala的对象、单例对象、伴生对象、扩展类、apply 方法等scala的包、引入、继承等概念scala的特质scala的操作符scala的高阶函数scala的集合精选资料，欢迎下载。scala 数据库连接SparkSpark 简介与应用场景大数据处RDD理TransformationActionSpark 计算

9、 PageRankLineageSpark 模型简介Spark 缓存策略和容错处理宽依赖与窄依赖Spark 配置讲解Spark 集群搭建集群搭建常见问题解决Spark 原理核心组件和常用 RDD数据本地性任务调度DAGSchedulerTaskSchedulerSpark 源码解读性能调优Spark 和 Hadoop2.x 整合： Spark on Yarn原理SparkSpark Streaming ：数据源和 DStreamStreaming无状态 transformation 与有状态 transformation实时计算Streaming Window 的操作sparksql编程实战s

10、park 的多语言操作Spark介绍MLlib回归算法机器学习分类算法第四章 推荐系统第五章 聚类KmeansDocker基本介绍vm docker 对比docker 基本架构介绍unfs cgroup namespace进程虚拟化 轻量级虚拟化docker安装docker镜像制作docker常用命令docker镜像迁移docker pipework1docker weave精选资料，欢迎下载。虚拟化虚拟化介绍，虚拟化适用场景等等KVMQemu Libvirt & KVM安装 KVM, Qemu, LibvirtQEMU-KVM:安装第一个能上网的虚拟机Kvm虚拟机 nat, 网桥基本原理kv

11、m虚拟机克隆kvm虚拟机 vnc 配置kvm虚拟机扩展磁盘空间Kvm快照Kvm 迁移Java,python,c语言编程控制 kvm云平台openstack 介绍和模块基本原理分析OpenStackopenstack 多节点安装部署【 a. 采用 centos6.x系统】Keystone 基本原理glanceCinderSwiftNeutronOpenstack api二次开发综 合 项目结合基于 SSH技术的 jee 项目 互联网大数据调查系统，可针对当下流行的演练 1事件进行网络调查，然后从海量的调查调查问卷中通过大数据手段对其进行分析和汇总，最终对大众的消费习惯、文化倾向、未知领域的认知以及新事物趋势做数据上的可靠性分析，掌握大众的心理导向，有