分布式实时处理系统（原理、架构与实现）

分布式实时处理系统原理、架构与实现注：原文档电子版（非扫描），需要的请下载本文档后留言谢谢。目录\h第1章分布式计算概述\h1.1分布式概念\h1.2分布式计算及其原理\h1.3分布式系统特性\h1.3.1容错性\h1.3.2高可扩展性\h1.3.3开放性\h1.3.4并发处理能力\h1.3.5透明性\h1.4通用分布式计算系统\h1.4.1ApacheHadoop\h1.4.2ApacheSpark\h1.4.3ApacheStorm\h1.5分布式存储系统\h1.5.1分布式存储概念\h1.5.2分布式存储系统特点\h1.5.3分布式存储系统分类\h1.5.4常见分布式存储系统\h1.6本章小结\h第2章分布式系统通信基础\h2.1时代的浪潮\h2.1.1集中式通信网\h2.1.2去中心化\h2.2可靠的数据链路\h2.2.1数据分组\h2.2.2帧同步\h2.2.3差错控制\h2.2.4链路管理\h2.2.5问题与解决方案\h2.3分层架构\h2.4网络层\h2.4.1寻找路径\h2.4.2网络分层\h2.4.3TCP/IP概述\h2.4.4IP协议\h2.5传输层\h2.5.1数据自动分包\h2.5.2端到端的传输\h2.5.3数据的可靠传输\h2.6应用层\h2.6.1ping\h2.6.2telnet\h2.6.3OSPF\h2.6.4DNS\h2.6.5HTTP协议\h2.7基于消息协议的公告牌\h2.7.1需求描述\h2.7.2制定协议\h2.8分布式通信举例——MapReduce\h2.9本章小结\h第3章通信系统高层抽象\h3.1RPC介绍\h3.2RESTful\h3.2.1资源和表现层\h3.2.2状态转移\h3.2.3RESTful总结\h3.3消息队列\h3.4序列化\h3.5使用Thrift实现公告牌服务\h3.5.1ApacheThrift介绍\h3.5.2安装ApacheThrift\h3.5.3编写Thrift文件\h3.5.4实现服务器\h3.5.5实现客户端\h3.6本章小结\h第4章走进C++高性能编程\h4.1基于C++的留言板系统\h4.1.1基于Socket的通信\h4.1.2C++中的内存与资源管理\h4.2来自服务器的天书\h4.2.1编码\h4.2.2C++98的编码缺陷\h4.2.3C++11编码支持\h4.3繁忙的服务器\h4.3.1分身乏术\h4.3.2fork——分身术\h4.3.3进程间通信\h4.3.4轻量级分身——线程\h4.3.5C++11线程\h4.3.6竞争问题与解决方案\h4.3.7多线程优化\h4.3.8异步I/O\h4.4消失不见的内存\h4.4.1内存分配与内存碎片\h4.4.2tcmalloc\h4.4.3内存池\h4.5本章小结\h第5章分布式实时处理系统\h5.1Hadoop与MapReduce\h5.1.1HDFS\h5.1.2MapReduce模型\h5.2Storm实时处理系统\h5.2.1历史\h5.2.2计算模型\h5.2.3总体架构\h5.2.4Storm元数据\h5.2.5Storm与Hadoop比较\h5.3有保证的消息处理\h5.3.1完全处理与元组树\h5.3.2元组的唯一标识\h5.3.3确认和失败\h5.3.4高效实现\h5.4本章小结\h第6章实时处理系统编程接口设计\h6.1总体架构设计\h6.1.1Hurricane与Storm比较\h6.1.2总体架构\h6.1.3任务接口\h6.2消息源接口设计\h6.3消息处理器接口设计\h6.4数据收集器设计\h6.5元组接口设计\h6.6序列化接口设计\h6.7本章小结\h第7章服务组件设计与实现\h7.1Executor设计与实现\h7.1.1事件驱动的消息队列\h7.1.2动态装载技术\h7.1.3Executor实现\h7.2Task设计与实现\h7.3本章小结\h第8章管理服务设计与实现\h8.1President功能与设计\h8.2President实现\h8.2.1简单的网络通信实现\h8.2.2Topology装载实现\h8.2.3Manager管理调度实现\h8.2.4序列化实现\h8.3本章小结\h第9章实时处理系统编程接口实现\h9.1消息源接口实现\h9.1.1消息源执行器\h9.1.2WordCount实现实例\h9.2消息处理单元接口实现\h9.2.1消息处理单元执行器\h9.2.2事件处理\h9.2.3WordCount实现实例\h9.3数据收集器实现\h9.3.1分发策略\h9.3.2传输层实现\h9.4本章小结\h第10章可靠消息处理\h10.1基本概念\h10.1.1完全处理\h10.1.2失败与重发\h10.2接口设计\h10.3具体实现\h10.3.1简单实现\h10.3.2高效实现\h10.4本章小结\h第11章通信系统设计与实现\h11.1I/O多路复用方案解析\h11.1.1基本网络编程接口\h11.1.2非阻塞的服务器程序\h11.1.3使用select（）接口的基于事件驱动的服务器模型\h11.1.4使用epoll实现异步事件通知模型\h11.2基础工具\h11.2.1线程工具\h11.2.2日志工具\h11.3传输层实现\h11.3.1Reactor模式\h11.3.2定义抽象TP传输层\h11.3.3实现基于epoll的TP传输层\h11.3.4实现基于IOCP的TP传输层\h11.4应用层HTTP实现\h11.4.1HttpContext\h11.4.2HttpRequest\h11.4.3HttpResponse\h11.4.4HttpConnection\h11.4.5HttpServer\h11.4.6总结\h11.5跨平台分割编译\h11.5.1Makefile\h11.5.2Kake\h11.6与实时处理系统集成\h11.6.1修改NetListener\h11.6.2修改NetConnector\h11.7本章小结\h第12章事务性Topology实现\h12.1Exact-once语义解决方案\h12.2设计细节\h12.2.1构造事务性Topology\h12.2.2消息处理单元\h12.3事务性TopologyAPI\h12.3.1消息处理单元\h12.3.2事务性消息源\h12.4本章小结\h第13章多语言接口\h13.1C语言通用接口\h13.1.1元组接口\h13.1.2消息源接口\h13.1.3消息处理单元接口\h13.1.4计算拓扑接口\h13.2Python接口\h13.2.1ctypes\h13.2.2元组接口\h13.2.3消息源接口\h13.2.4消息处理单元接口\h13.2.5计算拓扑接口\h13.2.6应用示例\h13.3JavaScript接口\h13.3.1V8引擎\h13.3.2Node.js\h13.3.3V8的互操作接口\h13.3.4任务接口\h13.3.5消息源接口\h13.3.6消息处理单元接口\h13.3.7计算拓扑接口\h13.3.8应用示例\h13.4Java接口\h13.4.1任务接口\h13.4.2消息源接口\h13.4.3消息处理单元接口\h13.4.4计算拓扑接口\h13.4.5本地代码\h13.4.6应用示例\h13.5Swift接口\h13.5.1应用范围\h13.5.2任务接口\h13.5.3消息源接口\h13.5.4消息处理单元接口\h13.5.5计算拓扑接口\h13.6本章小结\h第14章Squared设计与实现——实现高级抽象元语\h14.1StormTrident介绍\h14.1.1Squared示例\h14.1.2DRPC示例\h14.2Squared实现\h14.2.1SquaredTopology和Spout\h14.2.2SquaredBolt\h14.2.3Stream\h14.2.4状态存储\h14.2.5DRPC实现\h14.2.6操作与处理节点\h14.2.7流操作\h14.3本章小结\h第15章实战：日志流处理\h15.1日志流处理设计方案\h15.2实现Topology\h15.2.1编写消息源\h15.2.2编写索引消息处理单元\h15.2.3编写统计消息处理单元\h15.3本章小结\h第16章实战：频繁组合查找\h16.1背景介绍\h16.1.1数据挖掘概念\h16.1.2关联规则和频繁项集\h16.1.3啤酒与尿布\h16.2频繁二项集挖掘方法\h16.2.1频繁二项集\h16.2.2算法设计思路\h16.2.3Hurricane实现思路\h16.3编写Spout\h16.4编写Bolt\h16.4.1SplitBolt\h16.4.2PairCountBolt\h16.4.3PairTotalCountBolt\h16.4.4ConfidenceComputeBolt\h16.4.5SupportComputeBolt\h16.4.6FilterBolt\h16.5编写Topology\h16.6本章小结\h第17章实战：在AWS和阿里云上部署Hurricane实时处理系统\h17.1AWS部署\h17.1.1搭建虚拟私有云\h17.1.2