2022年广西职业院校技能大赛高职组《大数据技术与应用》赛项竞赛规程

2022年广西职业院校技能大赛

高职组《大数据技术与应用》赛项

竞赛规程

一、赛项名称

赛项序号：90

赛项名称：大数据技术与应用

赛项组别：高职组

赛项归属产业：电子与信息

二、竞赛目的

通过本项目竞赛，使高职学生能熟练大数据技术基础、软件

开发相关技术、Hadoop及其生态组件部署与管理、数据采集、

数据清洗、数据分析和数据可视化等大数据相关技术，促进大数

据技术与应用专业建设与教学改革；推进高职学校与相关企业的

合作，更好地实现工学结合的人才培养模式，为大数据行业培养

高素质的技能型人才。

三、竞赛内容

在规定时间内完成以大数据技术与应用为核心内容和工作

基础，重点考查参赛选手基于Spark、Flink平台环境下，充分

利用SparkCore、SparkSQL、Flume、Kafka、Flink等技术解

1

决实际问题的能力。具体内容如下：

1.掌握基于Spark的离线分析平台、基于Flink的实时分析

平台，按照项目需求安装相关技术组件并按照需求进行合理配

置。

2.掌握基于Spark的离线数据抽取相关技术，完成指定数据

的抽取并写入Hive分区表中。

3.综合利用SparkCore、SparkSQL等技术，使用Scala开

发语言，完成某电商系统数据的离线统计服务，包括销量前5商

品统计、某月的总销售额统计、每个月的销售额统计、每个用户

在线总时长统计，并将统计结果存入MySQL数据库中。

4.综合利用Flume、Flink相关技术，使用Scala开发语言，

完成将某电商系统的用户操作日志抽取到Kafka中并计算商城

在线人数,统计该电商系统的UV与PV。

5.综合运用HTML、CSS、JavaScript、Vue.js等前端技术，

结合Echarts数据可视化组件，对MySQL中的数据进行可视化呈

现。

6.根据数据可视化结果，完成数据分析报告的编写。

竞赛内容构成如下：

考核环节考核知识点和技能点

Hadoop完全分布式安装配置

大数据平台环境搭建

（LinuxShell）Hive安装配置

Flinkonyarn安装配置

使用Spark抽取MySQL指定数据表中的新增的商品数据到ODS

离线数据抽取层的指定的分区表中

（Scala）

使用Spark抽取MySQL指定数据表中的新增的用户数据到ODS

2

考核环节考核知识点和技能点

层的指定的分区表中

使用Spark抽取MySQL指定数据表中的新增的订单数据到ODS

层的指定的分区表中

获取ODS层指定分区表中的数据并进行相应的清洗（缺失字

段填充、去重）

统计销量前5的商品并存入MySQL

离线数据统计

（Scala）统计某月的总销售额并存入MySQL

统计指定几个月的销售额并存入MySQL

统计每个用户的在线总时长并存入MySQL

使用Flume采集某电商系统用户操作日志存入Kafka中

数据采集与实时计算使用Flink消费Kafka中的数据

（Scala）聚合计算出系统在线人数并将结果存入Redis中

统计系统的UV与PV并存入MySQL中

数据可视化

（HTML、CSS、基于Vue.js、Echarts的数据可视化渲染编码（柱状图、折

JavaScript、Vue.js）线图、饼图等）

综合分析报告文档能力、数据分析能力

竞赛各阶段分值权重和时间分布如下：

阶段竞赛时间分值权重

大数据平台环境搭建权重10%

离线数据抽取权重15%

离线数据统计权重20%

数据采集与实时计算6小时权重20%

数据可视化权重20%

综合分析报告权重10%

团队分工明确合理、操作规范、文明竞赛权重5%

四、竞赛时间

本赛项比赛时间为360分钟，参赛队伍自行安排任务进度。

在竞赛前30分钟，选手进行抽签，确定技能竞赛的工位号。

3

竞赛日程安排详见表1。

表1竞赛日程安排表（以正式公布的比赛指南为准）

日期时间内容

08:00-14:00各参赛队报到

第一日15:00-16:00选手熟悉赛场

16:00-16:30领队会、赛前说明

07:10-07:40赛场检录；竞赛选手抽签、确定竞赛工位号

竞赛选手进入赛位，检查赛位设备；

07:40-08:00现场裁判发放题目、宣布竞赛注意事项；

第二日08:00-14:00竞赛

14:30-18:30竞赛成绩评定，成绩审核、汇总

19:00-21:00公布竞赛成绩,点评

五、竞赛试题

本赛项不设理论考试，对操作技能进行综合考核，见本赛项

规程的竞赛内容。竞赛试题形式参考公开样例试题（见本赛项规

程的附件1）。

六、竞赛规则

（一）参赛资格。

参见2022年广西职业院校技能大赛高职组《大数据技术与

应用》赛项比赛实施方案。

（二）遵循准则。

1.学生必须持本人身份证和参赛证参加比赛。

2.参赛选手出场顺序、位置由抽签决定，不得擅自变更、调

整。

4

3.参赛选手提前15分钟进入赛场，并按照指定位号参加比

赛。迟到15分钟者，取消比赛资格；比赛开始15分钟后，选手

方可离开赛场。

4.选手在比赛过程中不得擅自离开赛场，如有特殊情况，需

经裁判同意。选手若需休息、饮水或去洗手间等，耗用时间计算

在比赛时间内。

5.比赛结束时，参赛选手应立即停止操作，不得以任何理由

拖延比赛时间。选手操作完成后，在《实际操作现场记录表》上

签名确认，方可离开赛场。

七、竞赛环境

（一）竞赛环境安静、整洁。须设立紧急疏散通道，医疗服

务站。

（二）比赛场地可容纳30组队同时比赛，且满足赛项比赛

所需的设备设施。

（三）比赛场地不开放，不能现场观摩参赛选手比赛，设置

比赛现场的视频直播供各队领队和指导教师观看，保证公开、透

明。

（四）赛场有志愿服务人员，同时有治安人员维护比赛现场

秩序与卫生。

八、技术规范

《大数据技术与应用》赛项的技术规范将包括：相关专业的

5

教育教学要求、行业、职业技术标准，以及根据高职目录修订后

的大数据技术与应用相关专业人才培养标准和规范，适时地修订

本赛项遵循的技术规范。

（一）基础标准。

标准内容

GB/T11457-2006信息技术、软件工程术语

GB8566-88计算机软件开发规范

GB/T12991-2008信息技术数据库语言SQL第1部分：框架

GB/T21025-2007XML使用指南

GB/T20009-2005信息安全技术数据库管理系统安全评估准则已发布

GB/T20273-2006信息安全技术数据库管理系统安全技术要求

20100383-T-469信息技术安全技术信息安全管理体系实施指南

（二）软件开发标准。

标准内容

GB/T8566-2001信息技术软件生存周期过程

GB/T15853-1995软件支持环境

GB/T14079-1993软件维护指南

GB/T17544-1998信息技术软件包质量要求和测试

九、技术平台

大赛用的设备：四合天地大数据实训管理系统。赛项设备及

工具清单见表2、表3。

表2《大数据技术与应用》赛项硬件设备清单

序

号设备名称数量备注

支撑大数据竞赛管理系统运行使用。内嵌虚拟化资源管理控

1服务器1制端，作为虚拟化资源管理系统的计算资源、网络资源和存

储资源的源节点。

6

序

号设备名称数量备注

1、CPU模块：2*2.3GHz

2、内存模块：8*32GB

3、硬盘模块：6*600GBSAS10K

4、网口：4端口千兆电接口网卡-360T-B2

5、1+1冗余电源

竞赛选手比赛使用。性能相当于i5处理器，8G以上内存，1TB

2PC机3以上硬盘，显示器要求1024*768以上。

1.机架式交换机

2.端口：≥24个10/100/1000Base-TX以太网端口；

3交换机13.速度：10/100/1000Base；

4.全千兆三层交换机，支持访问控制。

备注：实际赛场需要的服务器、PC机和交换机数量取决于参赛队伍数量。

表3《大数据技术与应用》赛项软件清单

设备类型软件类别软件名称、版本号

竞赛环境大数据集群操作

系统CentOS7

Hadoop2.7.7

Hive2.3.4

Spark2.1.1

Kafka2.0.0

竞赛服务器

大数据平台组件Redis4.0.1

Flume1.7.0

Flink1.10.2

JDK1.8

MySQL5.7

PC操作系统Ubuntu18.0464位

浏览器Chrome

开发语言Scala2.11

IDEA2019

开发工具（CommunityEdition）

开发客户端VisualStudioCode1.58

Vue.js3.0

数据可视化组件

Echarts5.1

文档编辑器WPSlinux版

输入法搜狗拼音输入法linux版

7

十、评分标准

（一）制订原则。

大赛裁判工作按照公平、公正、公开的原则进行。以教育部

颁布的职业学校相关专业教学指导方案和国家《大数据工程技术

人员职业标准》规定的应知、应会的要求为评分原则，依据参赛

选手整体表现综合评定，全面评价参赛选手职业技能水平。

（二）评分方法。

1.裁判员选聘。按照职业院校技能大赛专家和裁判工作管理

办法相关制度建立2022年广西职业院校技能大赛赛项裁判库。

裁判长由大赛裁判委员会向大赛组委会推荐，由大赛组委会聘

任。裁判长组建裁判组，执行裁判长负责制。

2.裁判员人数。总人数为7人（其中裁判长1人，裁判员6

人）。

3.成绩审核方法。各工位号参赛作品由裁判员现场评议打

分；现场工作人员对裁判员的成绩进行核对无误后送至统分室进

行成绩录入。成绩录入完毕后，工作人员交换岗位进行核对，无

误后，按照各项成绩所占比例统计选手最终成绩并排名，打印并

经裁判员签字确认后，交裁判长审核签字。

4.成绩公布方法。由裁判长在成绩汇总表上签字后，通过通

告栏进行公布。

（三）评分标准。

8

表4《大数据技术与应用》赛项考核要点和评分标准

序分

考核内容考核要点评分标准

号值

Hadoop完全分布式安装配正确安装Hadoop完全分布

4

置式安装配置及截图

平台部署与管理正确安装Spark并成功配

1Hive安装配置3

（10分）置及截图

正确安装Flinkonyarn

Flinkonyarn安装配置3

并成功配置及截图

使用Spark抽取MySQL指定

6提供抽取结果截图

离线数据抽取数据表中的全量数据

2

（15分）使用Spark抽取MySQL指定

9提供抽取结果截图

数据表中的增量数据

对指定分区表中的数据进

8提供清洗结果截图

离线数据统计行清洗

3

（20分）对指定分区表中的数据进

12提供统计结果截图

行计算

数据采集与实时实时数据采集10提供数据采集配置及截图

4使用Flink处理Kafka中的

计算（20分）10提供处理结果截图

数据

数据可视化（20使用Vue.js、Echarts完成

520提供可视化结果截图

分）数据可视化的呈现

综合分析报告能够按照赛项要求进行综

6完成综合分析报告编写10

（10分）合分析

团队分工明确合理、操作规1.比赛现场不整洁扣2分

7职业素养（5分）5

范、文明竞赛2.不遵守竞赛秩序扣3分

十一、奖项设定

参见2022年广西职业院校技能大赛高职组《大数据技术与

应用》赛项比赛实施方案。

十二、赛项安全管理

（一）赛场组织与管理员应制定安保须知、安全隐患规避方

法及突发事件预案，设立紧急疏散路线及通道等。确保比赛期间

9

所有进入赛点车辆、人员需凭证入内；严禁携带易燃易爆等危险

品及比赛严令禁止的物品进入场地；场地设备设施均可安全使

用。

（二）参赛选手在参赛过程中，必须服从场内裁判及工作人

员的指挥，严格按照制作规程进行操作，正确使用器具及设备。

（三）赛场设置警戒线，赛场24小时有人看管；比赛前一

天起，赛场实行全方位封闭，除工作人员外，选手和指导老师等

非工作人员不准进场。赛场设置联网的监控体系，可以对赛场进

行24小时监控。

（四）裁判员在比赛前，宣读安全注意事项，当现场出现突

发事件时，应及时给予处置。

（五）比赛期间发生意外事故，发现者应第一时间报告赛项

执委会，同时采取措施避免事态扩大。赛项执委会应立即启动预

案予以解决并报告赛区执委会。赛项出现重大安全问题可以停

赛，是否停赛由赛区执委会决定。事后，赛区执委会应向大赛执

委会报告详细情况。

（六）因参赛队伍原因造成重大安全事故的，取消其获奖资

格。

（七）参赛队伍有发生重大安全事故隐患，经赛场工作人员

提示、警告无效的，可取消其继续比赛的资格。

十三、申诉与仲裁

（一）申诉。

10

1.参赛队对不符合竞赛规定的设备、工具、软件，有失公正

的评判，以及对工作人员的违规行为等，均可提出申诉。

2.申诉应在竞赛结束后2小时内提出，超过时效将不予受

理。申诉时，应按照规定的程序由参赛队领队向所在赛项裁判递

交书面申诉报告。报告应对申诉事件的现象、发生的时间、涉及

到的人员、申诉依据与理由等进行充分、实事求是的叙述。事实

依据不充分、仅凭主观臆断的申诉将不予受理。申诉报告须有申

诉的参赛选手、领队签名。

3.赛项裁判长收到申诉报告后，应根据申诉事由组织裁判团

队进行审查，2小时内书面通知申诉方，告知申诉处理结果。

4.申诉人不得无故拒不接受处理结果，不允许采取过激行为

刁难、攻击工作人员，否则视为放弃申诉。申诉人不满意赛项裁

判长的处理结果的，可向大赛仲裁组提出书面申请复议，复议申

请须有参赛单位盖章。

（二）仲裁。

1.大赛仲裁组负责受理大赛中出现的申诉复议并进行仲裁，

以保证竞赛顺利进行和竞赛结果公平、公正。

2.仲裁组的裁决为最终裁决，参赛队不得因申诉或对仲裁处

理意见不服而停止比赛或滋事，否则按弃权处理。

十四、竞赛观摩

（一）观摩对象。

11

比赛期间将设学生技能作品展示区，邀请来自全区相关行业

职业教育院校代表、优秀教育工作者、专家学者、大型企业领导

者、业界精英、专业学生等观摩比赛。

（二）观摩方法及纪律要求。

参加观摩的代表须遵守大赛纪律，按照大赛组委会的组织有

序观摩。比赛期间，保持观摩室安静。凡观摩人员均不得进入赛

场内部进行拍照、交流、观看。

十五、竞赛须知

（一）大赛人员须知。

根据新冠疫情防控要求，各参赛学校要遵循“科学防控，精

准施策”指导思想开展防控工作。在常态化疫情防控下，所有参

赛人员、专家、裁判员、监督员、仲裁员、技术支持人员及与会

领导、工作人员、列席人员、志愿者、观摩人员等均纳入大赛人

员健康管理。

1.健康状况排查。所有纳入大赛健康管理的人员，需主动申

领广西健康码，赛前不前往国内疫情中、高风险地区，不出国(境),

不参加聚集性活动。并进行报到前14天健康状况排查（流行病

学史筛查）。存在以下情形人员，不得参赛。

（1）确诊病例、疑似病例、无症状感染者和尚在隔离观察

期的密切接触者。

12

（2）近14天有发热、咳嗽等症状未痊愈的，未排除传染病

及身体不适者。

（3）14天内有国内中高风险等疫情重点地区旅居史和接触

史的。

（4）居住社区21天内发生疫情的。

（5）14天内有境外旅居史的人员执行入境人员疫情防控政

策。

2.所有纳入大赛健康管理的人员在报到前14天，每天采取

自查自报方式进行健康监测，早、中、晚各进行1次体温测量。

一旦发现发热、乏力、咳嗽、咽痛、打喷嚏、腹泻、呕吐、黄疸、

皮疹、结膜充血等疑似症状，应及时向所在单位报告，并尽快就

诊检查，未排除疑似传染病及身体不适者不得参赛。

（二）参赛队须知。

1.参赛队名称统一使用规定地区或院校全称，本赛项为团体

赛，不接受跨校组队报名。

2.参赛队选手在报名获得确认后，原则上不再更换，如筹备

过程中，选手因故不能参赛，所在市教育主管部门需出具书面说

明并按相关参赛选手资格补充人员并接受审核。本赛项竞赛开始

后，参赛队不得更换参赛选手，若有参赛队员缺席，则视为自动

放弃竞赛团体名次排名。

3.参赛队对大赛组委会以后发布的所有文件都要仔细阅读，

确切了解大赛时间安排、评判细节等，以保证顺利参加大赛。

13

4.参赛队按照大赛赛程安排，凭大赛组委会颁发的参赛证和

有效身份证件参加竞赛及相关活动。

5.参赛队将通过抽签决定比赛场地和比赛顺序。

6.对于本规则没有规定的行为，裁判组有权做出裁决。在有

争议的情况下，仲裁工作组的裁决是最终裁决。

7.本竞赛项目的解释权归大赛组委会。

（三）指导教师须知。

1.做好赛前抽签工作，确认比赛出场顺序，协助大赛承办方

组织好本单位比赛选手的各项赛事相关事宜。

2.做好本单位比赛选手的业务辅导、心理疏导和思想引导工

作，对参赛选手及比赛过程报以平和、包容的心态，共同维护竞

赛秩序。

3.自觉遵守竞赛规则，尊重和支持裁判工作，不随意进入比

赛现场及其他禁止入内的区域，确保比赛进程的公平、公正、顺

畅、高效。

4.当本队参赛选手对比赛进程中出现异常或疑问，应及时了

解情况，客观做出判断，并做好选手的安抚工作，经内部进行协

商，认为有必要时可在规定时限内向赛项仲裁工作组反映情况或

提出书面仲裁申请。

（四）参赛选手须知。

14

1.参赛选手报到后，凭身份证领取参赛证。参赛证为选手参

赛的凭据。参赛选手一经确认，中途不得任意更换，否则以作弊

论处，比赛成绩取消。

2.参赛选手应持参赛有效证件，按竞赛顺序、项目场次和竞

赛时间，提前30分钟到各考核项目指定地点接受检录、抽签决

定竞赛工位号、机位号等。

3.检录后的选手，应在工作人员的引进下，提前15分钟到

达竞赛现场，从竞赛计时开始，比赛开始15分钟后，选手未到

即取消该项目的参赛资格。

4.参赛选手进入赛场，应佩戴参赛证，做到衣着整洁，符合

安全生产及竞赛要求。

5.比赛需连续进行，比赛一旦计时开始不能无故终止比赛。

比赛过程中，参赛选手必须严格遵守竞赛纪律，并接受裁判员的

监督和警示。若比赛过程中出现设备问题，由裁判长视具体情况

做出裁决，并现场记录予以加时。

6.参赛选手应认真阅读各项目竞赛操作须知，自觉遵守赛场

纪律，按竞赛规则、项目与赛场要求进行竞赛，不得携带任何书

面或电子资料、U盘、手机等电子或通讯设备进入赛场，不得有

任何舞弊行为，否则视情节轻重执行赛场纪律。

7.竞赛期间，竞赛选手应服从裁判评判，若对裁判评分产生

异议，不得与裁判争执、顶撞，但可于项目比赛结束后两小时内

15

由领队以书面形式向赛项裁判长提出书面仲裁申请。由赛项裁判

长组织团队调查核实并于接到仲裁书面申请两小时内给与回复。

8.参加技能操作竞赛的选手如提前完成作业，选手应在指定

的区域等待，经裁判同意方可离开赛场。

9.竞赛过程中如因竞赛设备或检测仪器发生故障，应及时报

告裁判，不得私自处理，否则取消本场次比赛资格。

10.技能大赛参赛作品的版权归大赛组委会所有,由大赛组

委会统一使用与管理。

十六、本竞赛项目的最终解释权归大赛组委会。

附件1：竞赛试题（样卷）

16

附件1

2022年广西职业院校技能大赛

高职组《大数据技术与应用》赛项

竞赛试题（样卷）

一、竞赛时间、内容及总成绩

（一）竞赛时间。

竞赛时间共为6小时，参赛队自行安排任务进度，休息、饮

水、如厕等不设专门用时，统一含在竞赛时间内。

（二）竞赛内容概述。

序号任务名称具体内容

按照大数据分析平台需求，需要完成Hadoop

任务一大数据平台环境搭建完全分布式、Spark安装配置、Flink安装配置、

Kafka安装配置、Flume安装配置

按照要求使用Scala语言完成特定函数的编

任务二离线数据抽取写，使用Spark抽取MySQL指定数据表中的新

增的数据到ODS层的指定的分区表中

使用Scala语言编写程序获取ODS层指定分区

表中的数据进行清洗，并完成销量前5的商品

任务三离线数据统计统计、某月的总销售额统计、指定月份的销售

额统计、各用户在线总时长统计，并将统计后

的数据存入MySQL数据库中

启动业务系统，按照要求使用Flume将用户操

作日志采集并存入Kafka中并使用Flink、

任务四数据采集与实时计算Scala消费Kafka中的数据将其进行聚合计算

出商城在线人数，将结果存入Redis中，并统

计该系统的UV与PV将结果存入MySQL中

编写前端Web界面，调用后台数据接口，使用

任务五数据可视化Vue.js、Echarts完成数据可视化

17

任务六综合分析报告根据要求编写综合分析报告

（三）竞赛总成绩。

“大数据技术与应用”赛项竞赛总成绩为100分，其中包含

赛场职业素养