下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
-1-竞赛时间、内容及总成绩(一)竞赛时间竞赛时间共为6小时,参赛队自行安排任务进度,休息、饮水、如厕等不设专门用时,统一含在竞赛时间内。(二)竞赛内容概述序号任务名称具体内容任务一大数据平台环境搭建按照任务书要求,需要基于Docker环境完成Hadoop完全分布式、Spark安装配置、Flink安装配置、Hive安装配置、Kafka安装配置、Flume安装配置、ClickHouse安装配置、HBase安装配置等中的任意三个组件的安装配置任务二数据采集按照任务书要求基于Scala语言基于Spark完成离线数据采集,将数据存入Hive的ods层中;按照要求使用Linux命令,利用Flume、Maxwell、Kafka等工具完成实时数据采集任务三实时数据处理按照任务书要求使用Scala语言基于Flink完成Kafka中的数据消费,将数据分发至Kafka的dwd层中,并在HBase中进行备份同时建立Hive外表,基于Flink完成相关的数据指标计算并将计算结果存入Redis、ClickHouse中任务四离线数据处理按照任务书要求使用Scala语言基于Spark完成离线数据清洗、处理、计算,包括数据的合并、去重、排序、数据类型转换等并将计算结果存入MySQL、HBase、ClickHouse中任务五数据可视化按照任务书要求编写前端代码,调用后台数据接口,使用Vue.js、ECharts完成数据可视化任务六综合分析报告根据要求编写综合分析报告(三)竞赛总成绩“大数据技术与应用”赛项竞赛总成绩为100分,其中包含赛场职业素养5分。任务须知每组参赛队分配一台竞赛服务器、三台客户机,拥有独立IP组。本次比赛采用统一网络环境比赛,请不要随意更改客户端的网络地址信息,对于更改客户端信息造成的问题,由参赛选手自行承担比赛损失;请不要恶意破坏竞赛环境,对于恶意破坏竞赛环境的参赛者,组委会根据其行为予以处罚直至取消比赛资格。比赛过程中及时保存相关文档。比赛相关文档中不能出现参赛学校名称和参赛选手名称,以赛位号(工位号)代替。参赛选手请勿删除模板内容,若因删除导致任何问题后果自负。若同一文档由不同选手完成,须将文档合并后作为最终结果提交到U盘中。比赛中出现各种问题及时向现场裁判举手示意,不要影响其他参赛队比赛。任务说明本项目要求完成离线电商数据统计分析,完成大数据平台环境搭建、数据采集、实时数据处理、离线数据处理、数据可视化及综合分析报告编写等工作。提供的相关资源包括:大数据环境搭建中需要用到的组件安装包电商相关脱敏业务数据大数据分析集群环境数据采集开发环境实时数据处理开发环境离线数据处理开发环境数据可视化开发环境综合分析报告文档模板任务一:大数据平台环境搭建按照任务书要求,需要基于Docker环境完成Hadoop完全分布式、Spark安装配置、Flink安装配置、Hive安装配置、Kafka安装配置、Flume安装配置、ClickHouse安装配置、HBase安装配置等中的任意三个组件的安装配置。任务二:数据采集按照任务书要求基于Scala语言基于Spark完成离线数据采集,将数据存入Hive的ods层中;按照任务书要求使用Linux命令,利用Flume、Maxwell等工具完成实时数据采集,将数据存入Kafka指定的Topic中。任务三:实时数据处理按照任务书要求使用Scala语言基于Flink完成Kafka中的数据消费,将数据分发至Kafka的dwd层中,并在HBase中进行备份同时建立Hive外表,基于Flink完成相关的数据指标计算并将计算结果存入Redis、ClickHouse中。任务四:离线数据处理按照任务书要求使用Scala语言基于Spark完成离线数据清洗、处理、计算,包括数据的合并、去重、排序、数据类型转换等并将计算结果存入MySQL、HBase、ClickHouse中。任务五:数据可视化按照任务书要求编写前端代码,调用后台数据接口,使用Vue.js、ECharts完成数据可视化。任务六:综合分析报告按照任务书要求,完成综合分析报告编写。四、竞赛结果提交要求(一)提交方式任务成果需拷贝至提供的U盘中。在U盘中以XX工位号建一个文件夹(例如01),将所有任务成果文档保存至该文件夹中。(二)文档要求竞赛提交的所有文档中不能出现参赛队信息和参赛选手信息,竞赛文
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024年度贵州省安全员之A证(企业负责人)押题练习试卷A卷附答案
- 2024年度甘肃省安全员之B证(项目负责人)模拟预测参考题库及答案
- 2024年度甘肃省安全员之A证(企业负责人)高分通关题库A4可打印版
- 花卉买卖合同(2篇)
- 2024年医疗专业工程整体方案项目建议书
- 连带责任偿还协议书
- 2024年GPS接收设备及其综合应用系统合作协议书
- 2024年年快手短视频合作协议书
- 矿产项目投资顾问居间合同
- 2024版甘肃劳动合同
- 人教版数学三年级上册《1-4单元综合复习》试题
- 空调水系统管道冷量、流量及管径计算方法和选取表
- 课件:认识蒙太奇
- 第6课《求助电话》课件
- 防火封堵报价范本
- 农牧项目计划书
- 《设计管理体系》课件
- 奥迪售后管理制度
- 【模拟试题】02568交通运输经济(问答题汇总)
- 中国石化加油站视觉形象(VI)标准手册-课件
- 网页设计与制作案例教程(HTML5+CSS3+JavaScript)(微课版)(第2版) 课件 案例1:第一个 HTML5 网页
评论
0/150
提交评论