GZ033 大数据应用开发赛项评分标准-2023年全国职业院校技能大赛赛项正式赛卷

年全国职业院校技能大赛评分标准（02）赛项名称：大数据应用开发英文名称：BigDataApplicationDevelopment赛项组别：高职组赛项编号：GZ033任务子任务主要知识与技能点分值任务A:大数据平台搭建（容器环境）子任务一：Hadoop完全分布式安装配置JDK的解压安装1JDK的环境变量配置1Host配置及三个节点的分发1Hadoop解压安装及环境初始化2Hadoop集群启动并查看2子任务二：Flume安装配置Flume的解压安装、配置文件配置、运行测试等1环境变量配置1Hadoop日志传输2子任务三：FlinkonYarn安装配置Flink的解压安装1环境变量配置1运行测试2小计15任务B:离线数据处理子任务一：数据抽取从MySQL中将user_info表的离线数据抽取到Hudi的ods_ds_hudi对应表中1从MySQL中将sku_info表的离线数据抽取到Hudi的ods_ds_hudi对应表中1从MySQL中将base_province表的离线数据抽取到Hudi的ods_ds_hudi对应表中1从MySQL中将base_region表的离线数据抽取到Hudi的ods_ds_hudi对应表中1从MySQL中将order_info表的离线数据抽取到Hudi的ods_ds_hudi对应表中1从MySQL中将order_detail表的离线数据抽取到Hudi的ods_ds_hudi对应表中1子任务二：数据清洗从Hudi的ods_ds_hudi到dwd_ds_hudi的进行user_info表的数据合并清洗1从Hudi的ods_ds_hudi到dwd_ds_hudi的进行sku_info表的数据合并清洗1从Hudi的ods_ds_hudi到dwd_ds_hudi的进行base_province表的数据合并清洗1从Hudi的ods_ds_hudi到dwd_ds_hudi的进行base_region表的数据合并清洗1从Hudi的ods_ds_hudi到dwd_ds_hudi的进行order_info表的数据抽取1从Hudi的ods_ds_hudi到dwd_ds_hudi的进行order_detail表的数据抽取1子任务三：指标计算在dwd层基于Azkaban进行工作流任务调度1统计每人每天下单的数量和下单的总金额存入Hudi的dws_ds_hudi层1统计每个省每月下单的数量和下单的总金额存入Hudi的dws_ds_hudi层1计算出每个省份2020年4月的平均订单金额和该省所在地区平均订单金额相比较结果存入ClickHouse1按照id进行升序累加订单的金额，取出累加值与目标值2023060600相差最小的前10条的订单id，按照差值从小到大进行排序,将计算结果存入MySQL数据库2按照id进行升序排序，取id小于等于20000的订单，求出连续订单中平均金额数最大前1000000的连续订单序列,将计算结果存入MySQL数据库7小计25任务C:数据挖掘子任务一：特征工程对推荐系统的数据集进行数据预处理2利用特征工程进行特征提取3子任务二：推荐系统基于用户的推荐系统设计开发操作5小计10任务D:数据采集与实时计算子任务一：实时数据采集基于Flume的实时数据采集,将数据注入Kafka4将数据同时备份到HDFS4子任务二：使用Flink处理Kafka中的数据实时统计商城实时订单数量存入Redis3实时统计每分钟申请退回的订单数量存入Redis4实时统计每分钟内状态为取消订单占所有订单的占比存入Redis5小计20任务E：数据可视化子任务一：用柱状图展示各省份消费额的中位数正确使用Vue.js框架，结合ECharts绘制柱状图3子任务二：用玫瑰图展示各地区消费能力正确使用Vue.js框架，结合ECharts绘制玫瑰图3子任务三：用折线图展示每年上架商品数量变化正确使用Vue.js框架，结合ECharts绘制折线图2子任务四：用条形图展示消费总额最高的省份正确使用Vue.js框架，结合ECharts绘制条形图3子任务五：用折柱混合图展示省份平均消费额和地区平均消费额正确使用Vue.js框架，结合ECharts绘制折柱混合图4小计15任务F:综合分析子任务一：MySQL数据库事务正确分析MySQL数据库事务及其隔离级别4子任务二：Fl