《深入理解Kafka：核心设计与实践原理》读书笔记

思维导图PPT模板《深入理解Kafka：核心设计与实践原理》最新版读书笔记，下载可以直接修改01第1章初识Kafka第3章消费者第5章日志存储第2章生产者第4章主题与分区第6章深入服务端目录030502040607第7章深入客户端第9章Kafka应用第8章可靠性探究第10章Kafka监控目录0908010011第11章高级应用高级应用附录AKafka源码环境搭建第12章Kafka与Spark的集成目录013012内容摘要本书从Kafka的基础概念切入，循序渐进地转入对其内部原理的剖析。本书主要阐述了Kafka中生产者客户端、消费者客户端、主题与分区、日志存储、原理解析、监控管理、应用扩展及流式计算等内容。虽然Kafka的内核使用Scala语言编写，但本书基本以Java语言作为主要的示例语言，方便大多数读者的理解。虽然本书没有明确的界定，但总体上可以划分为三个部分：基础篇、原理篇和扩展篇，前4章为基础篇，包括基础概念、生产者、消费者，以及主题与分区，学习完这4章的内容完全可以应对绝大多数的开发场景。第5章至第8章为原理篇，包括对日志存储、协议设计、控制器、组协调器、事务、一致性、可靠性等内容的探究，学习完这4章的内容可以让读者对Kafka有一个深刻的认知。最后4章从应用扩展层面来做讲解，可以归类为扩展篇，主要内容包括监控、应用工具、应用扩展（延时队列、重试队列、死信队列、消息轨迹等）、与Spark的集成等，让读者可以对Kafka的生态有一个更加全面的认知。本第1章初识Kafkaoffset是消息在分区中的唯一标识，Kafka通过它来保证消息在分区内的顺序性，不过offset并不跨越分区，也就是说，Kafka保证的是分区有序而不是主题有序。1.1基本概念1.2安装与配置1.3生产与消费1.4服务端参数配置1.5总结12345第1章初识Kafka第2章生产者同一分区的不同副本中保存的是相同的消息（在同一时刻，副本之间并非完全一样），副本之间是“一主多从”的关系，其中leader副本负责处理读写请求，follower副本只负责与leader副本的消息同步。2.1客户端开发2.2原理分析2.3重要的生产者参数2.4总结第2章生产者第3章消费者发送消息主要有三种模式：发后即忘（fire-and-forget）、同步（sync）及异步（async）。3.1消费者与消费组3.3总结3.2客户端开发第3章消费者第4章主题与分区其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。4.1主题的管理4.2初识KafkaAdminClie...4.3分区的管理4.4如何选择合适的分区数4.5总结12345第4章主题与分区第5章日志存储Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘中，而Consumer负责从Broker订阅并消费消息。5.1文件目录布局5.2日志格式的演变5.3日志索引5.4日志清理5.5磁盘存储5.6总结010302040506第5章日志存储第6章深入服务端每一个分区只能被一个消费组中的一个消费者所消费。6.1协议设计6.2时间轮6.3延时操作6.4控制器6.5参数解密6.6总结010302040506第6章深入服务端第7章深入客户端KafkaProducer是线程安全的，可以在多个线程中共享单个KafkaProducer实例，也可以将KafkaProducer实例进行池化来供其他线程调用。7.1分区分配策略7.2消费者协调器和组协调器7.3__consumer_offset...7.4事务7.5总结12345第7章深入客户端第8章可靠性探究Kafka还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。8.1副本剖析8.2日志同步机制8.3可靠性分析8.4总结第8章可靠性探究第9章Kafka应用消息在通过send（）方法发往broker的过程中，有可能需要经过拦截器（Interceptor）、序列化器（Serializer）和分区器（Partitioner）的一系列作用之后才能被真正地发往broker。9.1命令行工具9.2KafkaConnect9.3KafkaMirrorMak...9.4KafkaStreams9.5总结12345第9章Kafka应用第10章Kafka监控而在新消费者客户端中，消费位移存储在Kafka内部的主题__consumer_offsets中目前Kafka已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。10.1监控数据的来源10.2消费滞后10.3同步失效分区10.4监控指标说明10.5监控模块10.6总结010302040506第10章Kafka监控第11章高级应用高级应用broker：存储和管理消息的节点。11.1过期时间（TTL）11.2延时队列11.3死信队列和重试队列11.4消息路由11.5消息轨迹11.6消息审计010302040506第11章高级应用高级应用11.7消息代理11.9总结11.8消息中间件选型第11章高级应用高级应用第12章Kafka与Spark的集成这本关于Kafka的书写得非常详尽，很多底层细节和原理都分析得很透彻，对比市面上不同产品的技术方案，总结出各种实现的优缺点，做到触类旁通，对于一些可能在业务场景中需要但是Kafka本身没有的功能，作者都提出了相应的解决方案。12.1Spark的安装及简单应用12.2Spark编程模型12.3Spark的运行结构12.4SparkStreaming...12.5Kafka与SparkStr...12.6SparkSQL010302040506第12章Kafka与Spark的集成12.7StructuredStre...12.9总