《通信数据分析与实战》课件-第九章 综合案例-Spark 实时交易数据统计

通信数据分析与实战综合案例-Spark实时交易数据统计第九章第1节2知道系统案例的目的熟悉系统平台的架构学习目标TARGET系统概述双十一是每年11月11日的电商促销活动，近几年年最终24小时总成交额为2000亿以上。现场庆典中，成交额在大屏幕中实时刷新展示，这就用到了数据可视化技术，数据可视化是借助于图形化手段，将数据库中的每条数据以图像形式展示在前端页面，清晰有效地传达交易信息。系统平台架构设计系统预览6小结知道系统案例的目的熟悉系统平台的架构通信数据分析与实战综合案例-Spark实时交易数据统计第九章第2节8掌握Redis的安装和启动掌握Redis的常用操作学习目标TARGETRedis概述Redis是使用C语言开发的一个开源的高性能键值对数据库，它通过提供多种键值对数据类型适应不同场景下的存储需求，到目前为止，Redis支持键值对数据类型，分别是字符串数据类型（String）、哈希（Hash）、列表（List）、集合（Set）以及有序集合（Zset）五种。Redis作为内存数据库，性能非常出色，官方数据显示，Redis每秒可处理超过十万次读写操作，Redis安装1下载Redis安装包，redis-3.2.8.tar.gz版本。2

编译Redis源码，并修改redis.conf配置文件。3执行“./redis-server./redis.conf”命令，启动Redis服务端，Redis安装1下载Redis安装包，redis-3.2.8.tar.gz版本。Redis安装1上传到hadoop01的/export/software解压到/export/servers。cd/export/softwarerz

tar-zxvfredis-3.2.8.tar.gz-C/export/servers/Redis安装2

编译Redis源码，并修改redis.conf配置文件。#由于Reids是C语言开发,所以安装的时候需要进行源码编译,编译依赖于gcc环境

yuminstallgcc

#进入安装目录cd/export/servers/redis-3.2.8/makemakePREFIX=/export/servers/redisinstallRedis安装2

编译Redis源码，并修改redis.conf配置文件。

#复制redis.conf配置文件cpredis.conf/export/servers/redis/bin/

#修改配置文件cd/export/servers/redis/bin/viredis.confbind34Redis安装3执行“./redis-server./redis.conf”命令，启动Redis服务端，Redis常用操作方法名称相关说明hset(key，field，value)向名称为key的hash中添加元素fieldhget(key，field)返回名称为key的hash中field对应的valuehincrby(key，field，integer)将名称为key的hash中field的value增加integerhexists(key，field)名称为key的hash中是否存在键为field的域hdel(key，field)删除名称为key的hash中键为field的域hlen(key)返回名称为key的hash中元素个数17小结掌握Redis的安装和启动掌握Redis的常用操作通信数据分析与实战综合案例-Spark实时交易数据统计第九章第3节19掌握搭建项目结构学习目标TARGET模块开发-构建工程结构1.创建Maven工程模块开发-构建工程结构2.项目资源结构模块开发-构建工程结构3.添加相关依赖添加spark-core、scala、spark-streaming、spark-streaming与kafka整合、Kafka、Jedis、spring以及Jsp、Json数据转换工和WebSocket的Jar文件。模块开发-构建工程结构4.添加Web.xml文件24小结掌握搭建项目结构通信数据分析与实战综合案例-Spark实时交易数据统计第九章第4节26熟悉订单数据掌握向Kafka发送数据学习目标TARGET模拟订单数据订单数据模型通常由订单编号、订单时间、商品编号、商品价格等数十个字段组成。模拟订单数据订单的数据格式"orderId":"b030e0dfb3b04cd18c3b32beac01ab25","productId":"6",“productPrice":834}模拟订单数据1.创建Kafka生产者对象利用KafkaAPI创建生产者对象，设置Kafka集群配置参数并调用send()方法，不断向指定Kafka集群中发送订单数据。2.启动Kafka程序$bin/kafka-server-start.shconfig/perties#启动Kafka服务$kafka-topics.sh--create\#创建Topic--topicit_order\--partitions3\--replication-factor2\--zookeeperhadoop01:2181,hadoop02:2181,hadoop03:2181$kafka-console-consumer.sh\#监听数据--from-beginning--topicit_order\--bootstrap-serverhadoop01:9092,hadoop02:9092,hadoop03:9092向Kafka集群发送订单数据模拟订单数据向Kafka集群发送订单数据3.运行PaymentInfoProducer类生产数据模拟订单数据向Kafka集群发送订单数据4.Kafka消费数据32小结熟悉订单数据掌握向Kafka发送数据通信数据分析与实战综合案例-Spark实时交易数据统计第九章第5节34掌握分析订单数据学习目标TARGET模块开发-分析订单数据针对Kafka中的实时订单数据，采用SparkStreaming实时计算框架对订单中不同商品的成交额统计分析，将分析出的数据按业务需求保存至Redis数据库。模块开发-分析订单数据1.配置Jedis操作Redis数据库在项目的资源目录创建perties配置文件，用于配置Redis数据库；在scala目录的cessdata包下创建RedisClient客户端类，用于读取配置文件中Redis参数；在cn.it.util包中，创建JedisUtil工具类，用来操作Redis数据库。2.SparkStreaming处理数据在cessdata包下创建StreamingProcessdata类，用于SparkStreaming处理Kafka集群中的数据，并保存至Redis数据库中。模块开发-分析订单数据3.测试系统是否能够正常工作运行数据分析类StreamingProcessdata和数据生产类PaymentInfoProducer，通过Redis客户端查看数据，发现数据已经存至Redis中。38小结掌握分析订单数据通信数据分析与实战综合案例-Spark实时交易数据统计第九章第6节40掌握搭建Web开发环境掌握数据展示流程学习目标TARGET模块开发-数据展示1在pom.xml配置文件中，添加开发JavaWeb工程所需的Spring框架相关依赖；2在web.xml配置文件中，配置Spring监听器、编码过滤器和SpringMVC前端控制器以及指定springmvc.文件路径；3在springmvc.xml配置文件中，配置Controller层和Service层的包扫描、注解驱动、视图解析器及资源映射。搭建Web开发环境模块开发-数据展示1创建GetDataService类，用于实现读取Redis数据。2创建UiBean类，将Redis数据库中的数据封装为UiBean对象，即展示页面时所需数据字段。3创建IndexController类，便于三层架构以接口的形式互相调用。4创建UiWeb