企业大数据处理：Spark、Druid、Flume与Kafk

企业大数据处理：Spark、Druid、Flume与Kafk读书笔记模板01思维导图读书笔记目录分析内容摘要精彩摘录作者介绍目录0305020406思维导图大数据处理实践系统集群企业过程企业数据小结第章数据客户端集群准备环境功能分析项目应用本书关键字分析思维导图内容摘要内容摘要本书分三部分展开介绍：第一部分（第1章）主要介绍了企业大数据系统的前期准备工作，包括如何构建企业大数据处理系统的软件环境和集群环境。第二部分（第2～7章）首先介绍了Spark的基本原理，Spark2.0版本的SparkSQL、StructuredStreaming原理和使用方法，以及Spark的多种优化方式；然后，介绍了Druid的基本原理、集群的搭建过程、数据摄入过程，以及在查询过程中如何实现Druid查询API；接着介绍了日志收集系统Flume的基本架构和关键组件，以及分层日志收集架构的设计与实践；最后介绍了分布式消息队列Kafka的基本架构和集群搭建过程，以及使用Java语言实现客户端API的详细过程。第三部分（第8～9章）主要介绍了企业大数据处理的两个实际应用案例，分别是基于Druid构建多维数据分析平台和基于JMX指标的监控系统。读书笔记读书笔记kafka，spark，influxdb，grafana介绍的翔实特别是具体使用层面，配置参数介绍都很好，实践实用参考书。各个模块的原理虽然没有深入去分析，但是对于了解一个基本框架概念来说足够了，并且提供了详细的安装说明和各部分实现的语句，适合初学者跟着本书来搭建一个简单的大数据处理的架构模型。没有很深入的原理介绍，对于初学者或者阶段性总结有一定作用，flume中间件的介绍还不错，代码和一些安装配置截图过多。工具类书籍，主要讲“器”和部分“术”，内容比较通俗易懂，不是晦涩表达，跟读大多数技术博文类似。这是一本立足于企业真实的商用项目来讲解如何高效从事大数据实践的著作。精彩摘录精彩摘录目前Flume可对接的主流大数据框架有Hadoop、Kafka、ElasticSearch、Hive、HBase等主要应用于广告数据分析、网络系统监控等场景。Druid具有高吞吐、易扩展、高容错、低延迟、按时间序列存储等特点。目录分析第一部分准备工作第1章基础环境准备1.1软件环境准备1.2集群环境准备1.3小结第2章Spark详解第3章Druid原理及部署第4章Druid数据摄入第5章Druid客户端第二部分核心技术第7章分布式消息队列第6章日志收集第二部分核心技术第2章Spark详解2.1Spark概述2.2SparkSQL2.3StructuredStreaming2.4Spark优化2.5小结第3章Druid原理及部署3.1架构设计3.2集群部署3.3小结第4章Druid数据摄入4.1模式设计4.2批量数据摄入4.3流数据摄入4.4数据更新4.5小结第5章Druid客户端5.1涉及组件5.2查询类型5.3查询API5.4小结第6章日志收集6.1Flume介绍6.2Flume应用实践6.3小结第7章分布式消息队列7.1Kafka介绍7.2安装部署7.3客户端API7.4小结第9章监控系统第8章数据平台第三部分项目实践第8章数据平台8.1需求分析8.2功能实现8.3小结第9章监控系统9.1InfluxDB9.2JMXTrans9.3Grafana9