




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Flink大数据分析实战读书笔记模板01思维导图目录分析读书笔记内容摘要作者介绍精彩摘录目录0305020406思维导图实战书籍数据处理语言大数据主流案例数据架构示例数量订单第章基本概念策略图单词程序结构模式本书关键字分析思维导图内容摘要内容摘要本书作为Flink的入门书,从Flink核心编程语言Scala讲起,涵盖当前Flink主流的开发组件。以实操为主,深入讲解每一个操作步骤,包括DataSetAPI离线数据处理、FlinkSQL快速结构化数据处理、DataStream实时数据处理,同时包括案例讲解、源码剖析、常用Shell命令和ScalaAPI详解。即使没有任何Flink基础的读者也可以对照书中的步骤成功搭建属于自己的Flink集群,是一本真正的实操指南书籍。本书可作为大数据开发人员的随身手册,也可作为Flink新手入门的指导书籍,以及大数据从业者的参考用书。目录分析1.1大数据开发总体架构1.2什么是Flink1.3Flink的应用场景1.4流计算框架对比第1章初识Flink1.5Flink的主要组件1.7快速体验Flink程序1.6Flink编程模型第1章初识Flink1.6Flink编程模型1.6.1数据集1.6.2编程接口1.6.3程序结构1.7快速体验Flink程序1.7.1IntelliJIDEA安装Scala插件1.7.2IntelliJIDEA创建Flink项目1.7.3示例:批处理单词计数1.7.4示例:流处理单词计数2.1Flink运行时架构2.3Flink数据分区2.2Flink任务调度原理第2章Flink运行架构及原理2.1Flink运行时架构2.1.1YARN集群架构2.1.2FlinkStandalone架构2.1.3FlinkOnYARN的架构2.2Flink任务调度原理2.2.1任务链2.2.2并行度2.2.3共享TaskSlot2.2.4数据流2.2.5执行图2.2.6执行计划2.3Flink数据分区2.3.1分区数量2.3.2分区策略3.1Flink集群搭建3.3Flink命令行界面3.2FlinkHA模式第3章Flink安装及部署3.5FlinkShell的使用3.4Flink应用提交第3章Flink安装及部署3.1Flink集群搭建3.1.1Flink本地模式搭建3.1.2FlinkStandalone搭建3.1.3FlinkOnYARN搭建3.2FlinkHA模式3.2.1FlinkStandalone模式的HA架构3.2.2FlinkStandalone模式HA集群搭建3.2.3FlinkOnYARN模式HA集群搭建4.1基本概念4.2执行模式4.3作业流程4.4程序结构4.5Source数据源12345第4章FlinkDataStreamAPI4.6Transformation数据转换4.7Sink数据输出4.8数据类型与序列化4.9分区策略第4章FlinkDataStreamAPI4.10窗口计算4.12状态管理4.11水印第4章FlinkDataStreamAPI4.13容错机制4.14案例分析:计算5秒内输入的单词数量4.15案例分析:统计5分钟内每个用户产生的日志数量4.16案例分析:统计24小时内每个用户的订单平均消费额第4章FlinkDataStreamAPI4.17案例分析:计算5秒内每个信号灯通过的汽车数量4.19案例分析:天猫双十一实时交易额统计4.18案例分析:Flink整合Kafka计算实时单词数量第4章FlinkDataStreamAPI4.5Source数据源4.5.1基本数据源4.5.2高级数据源4.5.3自定义数据源4.9分区策略4.9.1内置分区策略4.9.2自定义分区策略4.10窗口计算4.10.1事件时间4.10.2窗口分类4.10.3窗口函数4.10.4触发器4.10.5清除器4.11水印4.11.1计算规则4.11.2允许延迟与侧道输出4.11.3生成策略4.12状态管理4.12.1KeyedState4.12.2OperatorState4.13容错机制4.13.1Checkpoint4.13.2Barrier4.13.3重启与故障恢复策略4.13.4Savepoint4.19案例分析:天猫双十一实时交易额统计4.19.1创建自定义数据源4.19.2计算各个分类的订单总额4.19.3计算全网销售总额与分类Top35.1基本概念5.2动态表5.3TableEnvironmentAPI5.4TableAPI第5章FlinkTableAPI&SQL5.5SQLAPI5.6TopN查询5.7Catalog元数据管理5.8FlinkSQL整合Kafka5.9FlinkSQLCLI5.10FlinkSQL整合Hive010302040506第5章FlinkTableAPI&SQL5.11案例分析:FlinkSQL实时单词计数5.12案例分析:FlinkSQL实时计算5秒内用户订单总金额5.13案例分析:**用户行为分析5.14案例分析:FlinkSQL智慧交通数据分析第5章FlinkTableAPI&SQL5.1基本概念5.1.1计划器5.1.2API架构5.1.3程序结构5.2动态表5.2.1流映射为动态表5.2.2连续查询5.2.3动态表转换为流5.3TableEnvironmentAPI5.3.1基本概念5.3.2创建TableEnvironment5.3.3示例:简单订单统计5.4TableAPI5.4.1基本概念5.4.2示例:订单分组计数5.4.3示例:每小时订单分组求平均值5.4.4关系操作5.5SQLAPI5.5.1DDL操作5.5.2DML操作5.5.3DQL操作5.5.4窗口函数5.5.5窗口聚合5.5.6分组聚合5.5.7OVER聚合5.5.8连接查询5.6TopN查询5.6.1OVER子句5.6.2示例:计算产品类别销售额TopN5.6.3示例:搜索词热度统计5.6.4窗口TopN5.8FlinkSQL整合Kafka5.8.1基本概念5.8.2示例:FlinkSQL整合Kafka实现实时ETL5.9FlinkSQLCLI5.9.1启动SQLCLI5.9.2执行SQL查询5.9.3可视化结果模式5.10FlinkSQL整合Hive5.10.1整合步骤5.10.2TableAPI操作Hive5.10.3示例:FlinkSQL整合Hive分析搜狗用户搜索日志5.13案例分析:**用户行为分析5.13.1离线与实时计算业务架构5.13.2Flume数据采集架构5.13.3Kafka消息队列架构5.14案例分析:FlinkSQL智慧交通数据分析5.14.1项目介绍5.14.2数据准备5.14.3统计正常卡口数量5.14.4统计车流量排名前3的卡口号5.14.5统计每个卡口通过速度最快的前3辆车5.14.6车辆轨迹分析6.1流图6.3执行图6.2作业图第6章Flink内核源码6.1流图6.1.1StreamGraph核心对象6.1.2StreamGraph生成过程6.2作业图6.2.1JobGraph的核心对象6.2.2JobGraph的生成过程6.3执行图6.3.1ExecutionGraph的核心对象6.3.2ExecutionGraph的生成过程7.1什么是Gelly7.2第一个Gelly程序7.3Gelly数据结构7.4如何使用Gelly7.5图操作12345第7章Gelly图计算7.7案例分析:Gelly计算社交网络中粉丝的平均年龄7.6图常用API第7章Gelly图计算7.5图操作7.5.1基本操作7.5.2属性操作7.5.3结构操作7.5.4连接操作7.6图常用API7.6
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年地铁隧道二维位移自动监测系统项目建议书
- 以学生为中心的教育心理学课堂实践
- 智慧城市安防升级保障公共安全技术合作新篇章
- 提升学生自主学习动力的教育心理学方法论
- 数字化校园教育园区的智能升级
- 商业教育中技术应用的新趋势
- 教育心理学在个人自学策略中的应用
- 教育大数据下的学生个性化发展研究
- 2025届河北省秦皇岛市卢龙中学物理高二下期末学业质量监测模拟试题含解析
- 学习动力与学业成就的关系研究
- 2025年电信协优(含LTE、5G)资格认证考试题库附含答案
- 2025年江苏省徐州中考练习卷(1)英语试题(含答案)
- 公司加农户种植协议书范本
- 2025年离婚协议书模板一个小孩
- 教育机构突发事件处理流程
- 轻钢结构屋面施工方案
- 2025年中智科技集团有限公司招聘笔试参考题库含答案解析
- 《PFMEA培训教材》课件
- 停车场数据分析与运营方案
- 电池及电池系统维修保养师国家职业标准(2024年)
- 个体户庭审委托书
评论
0/150
提交评论