Flink大数据分析实战

Flink大数据分析实战读书笔记模板01思维导图目录分析读书笔记内容摘要作者介绍精彩摘录目录0305020406思维导图实战书籍数据处理语言大数据主流案例数据架构示例数量订单第章基本概念策略图单词程序结构模式本书关键字分析思维导图内容摘要内容摘要本书作为Flink的入门书，从Flink核心编程语言Scala讲起，涵盖当前Flink主流的开发组件。以实操为主，深入讲解每一个操作步骤，包括DataSetAPI离线数据处理、FlinkSQL快速结构化数据处理、DataStream实时数据处理，同时包括案例讲解、源码剖析、常用Shell命令和ScalaAPI详解。即使没有任何Flink基础的读者也可以对照书中的步骤成功搭建属于自己的Flink集群，是一本真正的实操指南书籍。本书可作为大数据开发人员的随身手册，也可作为Flink新手入门的指导书籍，以及大数据从业者的参考用书。目录分析1.1大数据开发总体架构1.2什么是Flink1.3Flink的应用场景1.4流计算框架对比第1章初识Flink1.5Flink的主要组件1.7快速体验Flink程序1.6Flink编程模型第1章初识Flink1.6Flink编程模型1.6.1数据集1.6.2编程接口1.6.3程序结构1.7快速体验Flink程序1.7.1IntelliJIDEA安装Scala插件1.7.2IntelliJIDEA创建Flink项目1.7.3示例：批处理单词计数1.7.4示例：流处理单词计数2.1Flink运行时架构2.3Flink数据分区2.2Flink任务调度原理第2章Flink运行架构及原理2.1Flink运行时架构2.1.1YARN集群架构2.1.2FlinkStandalone架构2.1.3FlinkOnYARN的架构2.2Flink任务调度原理2.2.1任务链2.2.2并行度2.2.3共享TaskSlot2.2.4数据流2.2.5执行图2.2.6执行计划2.3Flink数据分区2.3.1分区数量2.3.2分区策略3.1Flink集群搭建3.3Flink命令行界面3.2FlinkHA模式第3章Flink安装及部署3.5FlinkShell的使用3.4Flink应用提交第3章Flink安装及部署3.1Flink集群搭建3.1.1Flink本地模式搭建3.1.2FlinkStandalone搭建3.1.3FlinkOnYARN搭建3.2FlinkHA模式3.2.1FlinkStandalone模式的HA架构3.2.2FlinkStandalone模式HA集群搭建3.2.3FlinkOnYARN模式HA集群搭建4.1基本概念4.2执行模式4.3作业流程4.4程序结构4.5Source数据源12345第4章FlinkDataStreamAPI4.6Transformation数据转换4.7Sink数据输出4.8数据类型与序列化4.9分区策略第4章FlinkDataStreamAPI4.10窗口计算4.12状态管理4.11水印第4章FlinkDataStreamAPI4.13容错机制4.14案例分析：计算5秒内输入的单词数量4.15案例分析：统计5分钟内每个用户产生的日志数量4.16案例分析：统计24小时内每个用户的订单平均消费额第4章FlinkDataStreamAPI4.17案例分析：计算5秒内每个信号灯通过的汽车数量4.19案例分析：天猫双十一实时交易额统计4.18案例分析：Flink整合Kafka计算实时单词数量第4章FlinkDataStreamAPI4.5Source数据源4.5.1基本数据源4.5.2高级数据源4.5.3自定义数据源4.9分区策略4.9.1内置分区策略4.9.2自定义分区策略4.10窗口计算4.10.1事件时间4.10.2窗口分类4.10.3窗口函数4.10.4触发器4.10.5清除器4.11水印4.11.1计算规则4.11.2允许延迟与侧道输出4.11.3生成策略4.12状态管理4.12.1KeyedState4.12.2OperatorState4.13容错机制4.13.1Checkpoint4.13.2Barrier4.13.3重启与故障恢复策略4.13.4Savepoint4.19案例分析：天猫双十一实时交易额统计4.19.1创建自定义数据源4.19.2计算各个分类的订单总额4.19.3计算全网销售总额与分类Top35.1基本概念5.2动态表5.3TableEnvironmentAPI5.4TableAPI第5章FlinkTableAPI&SQL5.5SQLAPI5.6TopN查询5.7Catalog元数据管理5.8FlinkSQL整合Kafka5.9FlinkSQLCLI5.10FlinkSQL整合Hive010302040506第5章FlinkTableAPI&SQL5.11案例分析：FlinkSQL实时单词计数5.12案例分析：FlinkSQL实时计算5秒内用户订单总金额5.13案例分析：**用户行为分析5.14案例分析：FlinkSQL智慧交通数据分析第5章FlinkTableAPI&SQL5.1基本概念5.1.1计划器5.1.2API架构5.1.3程序结构5.2动态表5.2.1流映射为动态表5.2.2连续查询5.2.3动态表转换为流5.3TableEnvironmentAPI5.3.1基本概念5.3.2创建TableEnvironment5.3.3示例：简单订单统计5.4TableAPI5.4.1基本概念5.4.2示例：订单分组计数5.4.3示例：每小时订单分组求平均值5.4.4关系操作5.5SQLAPI5.5.1DDL操作5.5.2DML操作5.5.3DQL操作5.5.4窗口函数5.5.5窗口聚合5.5.6分组聚合5.5.7OVER聚合5.5.8连接查询5.6TopN查询5.6.1OVER子句5.6.2示例：计算产品类别销售额TopN5.6.3示例：搜索词热度统计5.6.4窗口TopN5.8FlinkSQL整合Kafka5.8.1基本概念5.8.2示例：FlinkSQL整合Kafka实现实时ETL5.9FlinkSQLCLI5.9.1启动SQLCLI5.9.2执行SQL查询5.9.3可视化结果模式5.10FlinkSQL整合Hive5.10.1整合步骤5.10.2TableAPI操作Hive5.10.3示例：FlinkSQL整合Hive分析搜狗用户搜索日志5.13案例分析：**用户行为分析5.13.1离线与实时计算业务架构5.13.2Flume数据采集架构5.13.3Kafka消息队列架构5.14案例分析：FlinkSQL智慧交通数据分析5.14.1项目介绍5.14.2数据准备5.14.3统计正常卡口数量5.14.4统计车流量排名前3的卡口号5.14.5统计每个卡口通过速度最快的前3辆车5.14.6车辆轨迹分析6.1流图6.3执行图6.2作业图第6章Flink内核源码6.1流图6.1.1StreamGraph核心对象6.1.2StreamGraph生成过程6.2作业图6.2.1JobGraph的核心对象6.2.2JobGraph的生成过程6.3执行图6.3.1ExecutionGraph的核心对象6.3.2ExecutionGraph的生成过程7.1什么是Gelly7.2第一个Gelly程序7.3Gelly数据结构7.4如何使用Gelly7.5图操作12345第7章Gelly图计算7.7案例分析：Gelly计算社交网络中粉丝的平均年龄7.6图常用API第7章Gelly图计算7.5图操作7.5.1基本操作7.5.2属性操作7.5.3结构操作7.5.4连接操作7.6图常用API7.6