2024年广西职业院校技能大赛高职组《大数据应用开发》赛项规程

2024年广西职业院校技能大赛

赛项规程

赛项序号：90

赛项组别：高职组

赛项名称：大数据应用开发

专业大类：电子信息

1

一、竞赛目的

通过本项目竞赛，使高职学生能熟练基于Hadoop、Spark、

Flink平台环境下，利用SparkCore、SparkSQL、Flume、Kafka、

Flink、Hive、HBase、Redis、Maxwell、ClickHouse、MySQL等

相关技术，结合Scala、Java、JavaScript等开发语言，综合软

件开发相关技术，解决实际问题的能力，激发学生对大数据相关

知识和技术的学习兴趣，提升学生职业素养和职业技能。促进校

企合作协同育人，对接产业发展，实现行业资源、企业资源与教

学资源的有机融合，使高职院校在专业建设、课程建设、人才培

养方案和人才培养模式等方面，跟踪社会发展的最新需要，缩小

人才培养与行业需求差距，实现职普融通、产教融合、科教融汇，

引领职业院校专业建设与教学改革；推进高职学校与相关企业的

合作，更好地实现工学结合的人才培养模式，为大数据行业培养

高素质的技能型人才。

二、竞赛内容

赛项以大数据应用开发为核心内容和工作基础，重点考查参

赛选手基于Hadoop、Spark、Flink平台环境下，充分利用Spark

Core、SparkSQL、Flume、Kafka、Flink、Hive、HBase、Redis、

Maxwell、ClickHouse、MySQL等技术的特点，综合软件开发相

关技术，解决实际问题的能力，具体内容如下：

1.掌握Hadoop平台、基于Spark的离线分析平台、基于Flink

2

的实时分析平台，在容器环境下，按照项目需求安装相关技术组

件并按照需求进行合理配置；

2.掌握基于Spark的离线数据采集方式方法，完成指定数据

的抽取并写入Hive分区表中。掌握基于Flume、Maxwell的实时

数据采集，将数据写入Kafka中；

3.综合利用Flink、Kafka、Hive、Redis、HBase、ClickHouse

等技术，使用Java开发语言，完成某电商系统的实时数据处理，

包括使用Flink处理Kafka中的数据、实时数据仓库、将数据备

份至HBase中、建立Hive外表、将数据处理结果存入Redis、

ClickHouse中等操作；

4.综合利用Spark、Hive、MySQL、HBase、ClickHouse等相

关技术，使用Scala开发语言，完成某电商系统的离线数据处理，

包括Hive数据仓库、使用Spark处理离线数据、数据合并、去

重、排序、数据类型转换、将数据处理结果存入MySQL、HBase、

ClickHouse中等操作；

5.综合运用HTML、CSS、JavaScript等开发语言，Vue.js

前端技术，结合ECharts数据可视化组件，利用后端数据接口完

成数据可视化；

6.根据竞赛过程，完成综合分析报告的编写；

7.竞赛时间6小时，竞赛连续进行。

竞赛内容构成如下：

3

序号考核环节分值权重考核知识点和技能点

Docker基本操作

Hadoop完全分布式安装配置

Spark安装配置

Flink安装配置

大数据平台环境

110%Hive安装配置

搭建

Kafka安装配置

Flume安装配置

ClickHouse安装配置

HBase安装配置

使用Spark抽取MySQL指定数据表中的增量数

据到ods层的指定的分区表中

使用Flume采集某端口的实时数据流并存入

2数据采集15%

Kafka指定的Topic中

使用Maxwell采集MySQL的binlog日志并存

入Kafka指定的Topic中

使用Flink消费Kafka中的数据并将数据分发

至Kafka的dwd层中

使用Flink消费Kafka中的数据的同时能够将

数据备份至HBase中，同时建立Hive外表

3实时数据处理25%

使用Flink对实时数据进行处理并将处理计

算结果存入Redis中

使用Flink对实时数据进行处理并将处理计

算结果存入ClickHouse中

使用Spark对ods层中的离线数据进行清洗，

包括数据合并、去重、排序、数据类型转换等

操作

将清洗完的数据存入dwd层中

4离线数据处理20%根据dwd层的数据使用Spark对数据进行处理

计算，并将计算结果存入MySQL中

根据dwd层的数据使用Spark对数据进行处理

计算，并将计算结果存入HBase中

根据dwd层的数据使用Spark对数据进行处理

计算，并将计算结果存入ClickHouse中

4

序号考核环节分值权重考核知识点和技能点

根据后端数据接口，基于Vue.js、ECharts

5数据可视化15%的数据可视化编码（柱状图、折线图、饼状图

等）

6综合分析报告10%文档能力、综合分析能力

7素质素养5%团队分工明确合理、操作规范、文明竞赛

三、竞赛时间

本赛项比赛时间为360分钟，参赛队伍自行安排任务进度。

在竞赛前30分钟，选手进行抽签，确定技能竞赛的工位号。

详见表1。

表1竞赛时间安排表（以正式公布的赛项指南为准）

时间安排

项目日期场次竞赛地点

检录时间竞赛时间

14:00-18:00各参赛队报到

比赛报到报到当天15:00-16:00领队会、赛前说明

16:00-16:30选手熟悉赛场

8:00-9:0009:00-15:00

技能比赛赛场检录，竞赛竞赛选手完南宁市兴宁区

选手进入赛位。成竞赛任务。昆仑大道1258

号（广西交通职

比赛当天1

16:00-19:00业技术学院昆

比赛评分

对选手提交的结果进行评分仑校区综合交

通实训楼）

19:30-20:30

比赛总结

对本次比赛进行总结

5

四、竞赛试题

本赛项不设理论考试，对操作技能进行综合考核，技能竞赛

题为公开样例试题，见本赛项规程的竞赛内容。

五、竞赛规则

（一）参赛资格。

参见2024年广西职业院校技能大赛高职组《大数据应用开

发》赛项实施方案。

（二）遵循准则。

1.学生必须持本人身份证和参赛证参加比赛。

2.参赛选手出场顺序、位置由抽签决定，不得擅自变更、调

整。

3.参赛选手提前15分钟进入赛场，并按照指定位号参加比

赛。迟到15分钟者，取消比赛资格；比赛开始15分钟后，选手

方可离开赛场。

4.选手在比赛过程中不得擅自离开赛场，如有特殊情况，需

经裁判同意。选手若需休息、饮水或去洗手间等，耗用时间计算

在比赛时间内。

5.比赛结束时，参赛选手应立即停止操作，不得以任何理由

拖延比赛时间。选手操作完成后，在《实际操作现场记录表》上

签名确认，方可离开赛场。

6

六、竞赛环境

（一）竞赛环境安静、整洁。须设立紧急疏散通道，医疗服

务站。

（二）比赛场地可容纳50组队同时比赛，且满足赛项比赛

所需的设备设施。

（三）比赛场地不开放，不可让观摩参赛选手比赛，设置比

赛现场的视频直播供各队领队和指导教师观看，保证公开、透明。

（四）赛场有志愿服务人员、配备医护人员、医疗室，同时

有治安人员维护比赛现场秩序与卫生。

七、技术规范

《大数据应用开发》赛项是以教育部颁布的职业学校相关专

业教学指导方案和国家职业标准《大数据技术》规定的技能要求

为标准。

（一）基础标准。

标准号/规范简称名称

GB/T11457-2006信息技术软件工程术语

GB8566-88计算机软件开发规范

GB/T12991.1-2008信息技术数据库语言SQL第1部分:框架

GB/Z21025-2007XML使用指南

GB/T28821-2012关系数据管理系统技术要求

LD/T81.1-2006职业技能实训和鉴定设备通用技术规范

（二）大数据技术相关标准。

7

标准号/规范简称名称

GB/T35295-2017信息技术大数据术语

GB/T37721-2019信息技术大数据分析系统功能要求

GB/T37722-2019信息技术大数据存储与处理系统功能要求

GB/T38672-2020信息技术大数据接口基本要求

GB/T38673-2020信息技术大数据大数据系统基本要求

GB/T38675-2020信息技术大数据计算系统通用要求

GB/T38633-2020信息技术大数据系统运维和管理功能要求

GB/T41778-2022信息技术工业大数据术语

信息技术大数据面向分析的数据存储与检索技术要

GB/T41818-2022

求

（三）软件开发与软件工程相关标准。

标准号/规范简称名称

GB/T14079-1993软件维护指南

GB/T15853-1995软件支持环境

GB/T17544-1998信息技术软件包质量要求和测试

GB/T8566-2007信息技术软件生存周期过程

GB/T22032-2021系统与软件工程系统生存周期过程

八、技术平台

大赛用的设备：四合天地大数据实训管理系统。大赛所用专

用工具达到国家职业标准。赛项设备及工具清单见表2。

表2《大数据应用开发》赛项设备及工具清单

序号名称规格数量备注

性能相当于i5处理器，

每支参赛队伍1台。

64GB以上内存，1TB以上构建大数据

1竞赛服务器根据参赛队数量，配

硬盘，网卡(千兆)，显示平台集群

备10%的备份机器。

器要求1024*768以上。

性能相当于i5处理器，

每支参赛队伍3台。

16GB以上内存，1TB以上竞赛选手比

2竞赛客户机根据参赛团队数量，

硬盘，显示器要求赛使用

配备10%的备份机器。

1024*768以上。

8

序号名称规格数量备注

该系统基于主流云原生技

术、大数据技术构建，旨

在为学生提供快捷、便利

的大数据集群操作环境，

帮助他们更好地掌握大数

据相关技术和应用。该系

统应基于微服务构建，以

经典的微服务分层方式划

分不同的服务层级，利用

图形化的工作负载编辑模

式快速进行系统的部署和

服务管理，有效展示各服

务的容器信息，方便实时

大数据赛训进行系统运维。系统能够

管理系统构建大数据平台搭建、数

3(四合天地据处理、数据分析、数据每组1套

大数据实训可视化等教学实训模块，

管理系统)快速开展教学、实训及竞

赛活动，系统应能够生成

命令行、桌面级容器环境，

可通过不同模式进行访

问，方便学生进行集群调

试和代码开发。通过使用

该系统，学生可以深入了

解大数据技术的核心思想

和应用场景，增强自己的

数据分析和处理能力，提

高对数据的认识和运用水

平。系统应支持模拟竞赛

全业务流程，提供大数据

竞赛操作环境。

4交换机8口及以上千兆交换机每组1台

大数据集群

5CentOS7每组1套

操作系统

6容器环境Docker-CE20.10每组1套

7Hadoop3.1.3每组1套

8Hive3.1.2每组1套

大数据平台

9HBase2.2.3每组1套

组件

10Spark3.1.1每组1套

11Kafka2.4.1每组1套

9

序号名称规格数量备注

12Redis6.2.6每组1套

13Flume1.9.0每组1套

14Maxwell1.29.0每组1套

15Flink1.14.0每组1套

16ClickHouse21.9.4每组1套

17JDK1.8每组1套

关系型数据

18MySQL5.7每组1套

库

19PC操作系统Ubuntu18.0464位每组3套

20浏览器Chrome每组3套

21Scala2.12每组3套

22开发语言Java8每组3套

23JavaScript每组3套

IDEA2022(Community

24每组3套

开发工具Edition)

25VisualStudioCode1.69每组3套

Asbru-cm或UbuntuSSH

26SSH工具每组3套

客户端

27数据库工具MySQLWorkbench每组3套

接口测试工

28Postman每组3套

具

29数据可视化Vue.js3.2每组3套

30框架及组件ECharts5.1每组3套

31截图工具Ubuntu系统自带每组3套

32文档编辑器WPSLinux版每组3套

33输入法搜狗拼音输入法Linux版每组3套

九、评分标准

（一）制订原则。

大赛裁判工作按照公平、公正、公开的原则进行。以教育部

颁布的职业学校相关专业教学指导方案和国家《大数据工程人员

10

技术职业标准》规定的应知、应会的要求为评分原则，依据参赛

选手整体表现综合评定，全面评价参赛选手职业技能水平。

（二）评分方法。

1.裁判员选聘。按照职业院校技能大赛专家和裁判工作管理

办法相关制度建立2024年广西职业院校技能大赛赛项裁判库。

裁判长由大赛裁判委员会向大赛组委会推荐，由大赛组委会聘

任。裁判长组建裁判组，执行裁判长负责制。

2.裁判员人数。总人数为7人（其中裁判长1人，裁判员6

人）。

3.成绩审核方法。各工位号参赛作品由裁判员现场评议打

分；现场工作人员对裁判员的成绩进行核对无误后送至统分室进

行成绩录入。成绩录入完毕后，工作人员交换岗位进行核对，无

误后，按照各项成绩所占比例统计选手最终成绩并排名，打印并

经裁判员签字确认后，交裁判长审核签字。

4.成绩公布方法。由裁判长和裁判员在成绩汇总表上签字

后，通过公告栏进行公布。

（三）评分标准。

表3《大数据应用开发》赛项考核要点和评分标准

序考核分

号内容考核要点值评分标准

大数据在指定的宿主机上，主要评分点包括Hadoop完全分布式安

相关平基于Docker环境完装配置、Spark安装配置、Flink安装

1台组件成Hadoop完全分布10配置、Hive安装配置、Kafka安装配置、

安装配式、Spark、Flink、Flume安装配置、ClickHouse安装配置、

置Hive、Kafka、Flume、HBase安装配置。

11

序考核分

号内容考核要点值评分标准

ClickHouse、HBase

等的安装配置。

按照要求基于Scala

语言完成特定函数的

离线数编写，使用Spark完

据采成离线数据采集；按主要评分点包括Spark数据读取、数据

2集、实照要求使用Linux命15存储、Flume数据采集、Maxwell数据

时数据令，利用Flume、采集、Kafka等操作。

采集Maxwell、Kafka等工

具完成实时数据采

集。

使用Java语言基于

Flink完成Kafka中

的数据消费，将数据

分发至Kafka的dwd

实时数

层中，并在HBase中主要评分点包括Flink数据处理、数据

据处理

3进行备份同时建立25指标计算、HBase、Hive、ClickHouse、

计算代

Hive外表，基于Redis等相关操作。

码编写

Flink完成相关的数

据指标计算并将计算

结果存入Redis、

ClickHouse中。

使用Scala语言基于

Spark完成离线数据

离线数清洗、处理、计算，

主要评分点包括基于Spark的数据清

据处理包括数据的合并、去

420洗、数据指标计算、HBase、Hive、

计算代重、排序、数据类型

ClickHouse、MySQL等相关操作。

码编写转换等并将计算结果

存入MySQL、HBase、

ClickHouse中。

编写前端Web界面，

数据可

调用后台数据接口，主要评分点包括可视化前端代码开发、

5视化代15

使用Vue.js、ECharts前端展示。

码编写

完成数据可视化。

文档编根据项目要求，完成主要评分点包括能够按照赛项要求进

610

写综合分析报告编写。行综合分析。

12

序考核分

号内容考核要点值评分标准

职业素团队分工明确合理、主要评分点包括：竞赛团队分工明确合

75

养操作规范、文明竞赛。理、操作规范、文明竞赛。

合计分值100

十、奖项设定

参见2024年广西职业院校技能大赛高职组《大数据应用开

发》赛项实施方案。

十一、赛项安全管理

（一）赛场组织与管理员应制定安保须知、安全隐患规避方

法及突发事件预案，设立紧急疏散路线及通道等。确保比赛期间

所有进入赛点车辆、人员需凭证入内；严禁携带易燃易爆等危险

品及比赛严令禁止的物品进入场地；场地设备设施均可安全使

用。

（二）参赛选手在参赛过程中，必须服从场内裁判及工作人

员的指挥，严格按照制作规程进行操作，正确使用器具及设备。

（三）赛场设置警戒线，赛场24小时有人看管；比赛前两

天起，赛场实行全方位封闭，除工作人员外，选手和指导老师等

非工作人员不准进场。赛场设置联网的监控体系，可以对赛场进

行24小时监控。

（四）裁判员在比赛前，宣读安全注意事项，当现场出现突

发事件时，应及时给予处置。

13

（五）比赛期间发生意外事故，发现者应第一时间报告赛项

执委会，同时采取措施避免事态扩大。赛项执委会应立即启动预

案予以解决并报告赛区执委会。赛项出现重大安全问题可以停

赛，是否停赛由赛区执委会决定。事后，赛区执委会应向大赛执

委会报告详细情况。

（六）因参赛队伍原因造成重大安全事故的，取消其获奖资

格。

（七）参赛队伍有发生重大安全事故隐患，经赛场工作人员

提示、警告无效的，可取消其继续比赛的资格。

十二、申诉与仲裁的程序

（一）参赛队对不符合赛项规程规定的仪器、设备、工装、

材料、物件、计算机软硬件、竞赛使用工具、用品；竞赛执裁、

赛场管理、竞赛成绩，以及工作人员的不规范行为等，可向赛项

裁判长及大赛仲裁委员会提出申诉。

（二）申诉主体为参赛队领队。

（三）申诉启动时，参赛队以该赛项领队亲笔签字同意的书

面报告递交材料。报告应对申诉事件的现象、发生时间、涉及人

员、申诉依据等进行充分、实事求是的叙述。非书面申诉不予受

理。

（四）提出申诉的时间应在比赛结束后（选手赛场比赛内容

全部完成）2小时内，超过时效不予受理。

（五）赛项裁判长在接到申诉报告后的2小时内组织复议，

14

并及时将复议结果以书面形式告知申诉方。申诉方对复议结果仍

有异议，可由该赛项领队代表参赛学校递交加盖学校公章的书面

报告向大赛仲裁委员会提出申诉。大赛仲裁委员会的仲裁结果为

最终结果。

（六）申诉方不得以任何理由拒绝接收仲裁结果；不得以任

何理由采取过激行为扰乱赛场秩序；仲裁结果由申诉人签收，不

能代收；如在约定时间和地点申诉人离开，视为自行放弃申诉。

（七）申诉方可随时提出放弃申诉。

（八）申诉方必须提供真实的申诉信息并严格遵守申诉程

序，提出无理申诉或采取过激行为扰乱赛场秩序的应给予取消参

赛成绩等处罚。

十三、竞赛观摩

（一）观摩对象。

比赛期间将设学生技能作品展示区，邀请来自全区相关行业

职业教育院校代表、优秀教育工作者、专家学者、大型企业领导

者、业界精英、专业学生等观摩比