2020年广西职业院校技能大赛高职组《大数据技术与应用》赛项竞赛规程

一、赛项名称

赛项编号：GZ-2020028

赛项名称：大数据技术与应用

赛项组别：高职组

赛项归属产业：电子信息

二、竞赛目的

为贯彻落实国务院发布的《促进大数据发展行动纲要》和工

业和信息化部发布的《大数据产业发展规划（2016-2020年）》。

加快实施国家大数据战略，推动大数据产业健康快速发展，针对

高职“大数据技术与应用”专业建设和发展的需求，通过引入大

数据各个环节的实际应用场景，全面考察高职学生大数据技术基

础、软件开发相关技术、Hadoop及其生态组件部署与管理、数

据采集、数据清洗、数据分析和数据可视化等前沿的知识、技术

技能以及职业素养和团队协作能力。

赛项围绕大数据产业各个岗位的实际需求和要求进行设计，

通过大赛搭建校企合作的平台，深化产教融合，推进产教融合人

才培养模式，提升大数据技术与应用专业及其他相关专业毕业生

1

能力，推动院校和企业联合培养大数据人才，加强学校教育与产

业发展的有效衔接，促进职业院校信息类相关专业共同发展，为

国家战略规划提供大数据领域的高素质技能型人才。

三、竞赛内容

赛项以大数据技术与应用为核心内容，重点考查参赛选手基

于Hadoop平台环境下，利用Hadoop技术生态组件，综合软件开

发相关技术，解决实际问题的能力，具体包括：

掌握按照项目需求配置管理Hadoop大数据平台及相关生态

组件；

掌握企业常用采集工具和网络爬虫的相关技术，完成指定数

据的采集及处理能力；

综合利用MapReduce、Spark等技术、分布式存储系统、数

据仓库Hive等工具，使用Java、Python、Scala等开发语言，

完成数据清洗、存储、转化、分析及数据推送等一系列大数据操

作；

综合运用HTML、CSS、JavaScript、Python等开发语言，对

数据进行可视化呈现；

根据数据可视化结果，完成数据分析报告的编写；

竞赛时长4小时，竞赛连续进行。

竞赛内容构成如下：

考核环节考核知识点和技能点描述

Hadoop平台及组Hadoop平台安装部署和基本配置考察Hadoop平台及组件

2

考核环节考核知识点和技能点描述

件的部署管理Hadoop集群节点的动态增加与删除的部署能力，掌握常用

的基本配置和命令，能

Hadoop平台相关组件部署与管理

够部署和管理Hadoop高

Hadoop平台的高可用可用集群。

使用开发者工具查看网页源码，分析网页

结构，明确数据采集对象

构建数据采集请求，抓取网络数据考察学生多维度数据采

集能力，包括对关系型

利用网络爬虫相关组件实现网络数据爬取

数据采集数据库、非关系型数据

规则文件数据和关系型数据库数据抓取以

库和网络爬虫技术的应

及数据同步

用。

非关系型数据库数据抓取以及数据同步

数据采集结果导出及数据库推送

基于Hadoop平台架构组件和多维度的数据

采集，实现数据一致性检查、无效值和缺

省值的处理

多表数据合并和离群值处理考察对分布式计算、分

通过常见的数据分析算法，对数据进行标布式存储系统、数据仓

准化、离散化和多元化分析库等综合应用能力，使

用Java、Python、Scala

掌握数据仓库导入、导出，利用数据仓库

数据清洗与分析等开发语言，完成数据

相关命令或代码实现数据多维度、多层次

清洗、数据存储、数据

的分析

转化、数据分析、数据

对数据的查询、整理和计算。进行编译、

预测及数据推送等一系

打包、发布，执行程序，完成数据处理、

列数据操作

清洗。

实现不同数据库间的文件传输及转换

数据预测分析

通过常见的数据可视化

数据可视化编写后台代码实现数据库访问和数据整理方法，将数据分析结果

以图表的形式进行呈

3

考核环节考核知识点和技能点描述

现，使用Python及Web

编写Web前端代码，对数据分析结果进行

前端等编程语言，实现

呈现

数据源分析结果展现

考察学生对大数据技术

通过知识技能，根据数据分析、预测及可

综合分析与分析的综合操作能力

视化结果进行分析，做出分析报告。

和业务分析能力

四、竞赛时间

本赛项比赛时间为240分钟。赛队伍须按顺序完成各项任务，

但每项任务用时可自行掌握。在竞赛前30分钟，选手进行抽签，

确定技能竞赛的工位号。

竞赛日程安排详见表1。

表1竞赛日程安排表（以正式公布的比赛指南为准）

日期时间内容

8:00-14:00各参赛队报到

第一日15:00-16:00选手熟悉赛场

16:00-16:30领队会、赛前说明

7:30-8:00领队抽取场次签及检录顺序号

8:00-8:20开赛仪式

8:20-8:35裁判长在监督长监督下，考试题目发布

第二日

8:35-8:50赛场检录；竞赛选手抽签、确定竞赛工位号

竞赛选手进入赛位，检查赛位设备；

8:50-9:00

现场裁判发放题目、宣布竞赛注意事项；

9:00-13:00竞赛

4

日期时间内容

13:30-16:00竞赛成绩评定，进行成绩汇总

16:00-18:00公布竞赛成绩,点评

五、竞赛试题

本赛项不设理论考试，对操作技能进行综合考核，竞赛试题

形式参考公开样例试题，见本赛项规程的竞赛内容。

六、竞赛规则

（一）参赛资格。

参见2020年广西职业院校技能大赛高职组《大数据技术与

应用》赛项比赛实施方案。

（二）遵循准则。

1.学生必须持本人身份证和参赛证参加比赛。

2.参赛选手出场顺序、位置由抽签决定，不得擅自变更、调

整。

3.参赛选手提前15分钟进入赛场，并按照指定位号参加比

赛。迟到15分钟者，取消比赛资格；比赛开始15分钟后，选手

方可离开赛场。

4.选手在比赛过程中不得擅自离开赛场，如有特殊情况，需

经裁判同意。选手若需休息、饮水或去洗手间等，耗用时间计算

在比赛时间内。

5

5.比赛结束时，参赛选手应立即停止操作，不得以任何理由

拖延比赛时间。选手操作完成后，在《实际操作现场记录表》上

签名确认，方可离开赛场。

七、竞赛环境

（一）竞赛环境安静、整洁。须设立紧急疏散通道，医疗服

务站。

（二）比赛场地可容纳30组队同时比赛，且满足赛项比赛

所需的设备设施。

（三）比赛场地不开放，不让观摩参赛选手比赛，设置比赛

现场的视频直播供各队领队和指导教师观看，保证公开、透明。

（四）赛场有志愿服务人员，同时有治安人员维护比赛现场

秩序与卫生。

八、技术规范

《大数据技术与应用》赛项的技术规范将包括：相关专业的

教育教学要求、行业、职业技术标准，以及根据高职目录修订后

的大数据技术与应用相关专业人才培养标准和规范，适时地修订

本赛项遵循的技术规范。

（一）基础标准

标准内容

GB/T11457-2006信息技术、软件工程术语

6

GB8566-88计算机软件开发规范

GB/T12991-2008信息技术数据库语言SQL第1部分：框架

GB/T21025-2007XML使用指南

GB/T20009-2005信息安全技术数据库管理系统安全评估准则已发布

GB/T20273-2006信息安全技术数据库管理系统安全技术要求

20100383-T-469信息技术安全技术信息安全管理体系实施指南

（二）软件开发标准

标准内容

GB/T8566-2001信息技术软件生存周期过程

GB/T15853-1995软件支持环境

GB/T14079-1993软件维护指南

GB/T17544-1998信息技术软件包质量要求和测试

九、技术平台

（一）竞赛设备

比赛器材、技术平台：新华三大数据竞赛管理系统（合作企

业：新华三技术有限公司；品牌：H3C），技术平台软硬件设备

组成如下：

序

设备名称数量备注

号

支撑大数据竞赛管理系统运行使用。内嵌虚拟化资源管理

控制端，作为虚拟化资源管理系统的计算资源、网络资源

和存储资源的源节点。

1、CPU模块：2*2.3GHz

1服务器1

2、内存模块：8*32GB

3、硬盘模块：6*600GBSAS10K

4、网口：4端口千兆电接口网卡-360T-B2

5、1+1冗余电源

7

系统基于kvm构建，可模拟大数据环境搭建、大数据采集、

大数据预处理、大数据存储及管理、大数据分析及挖掘、

大数据展现和应用等贯穿大数据技术的相关知识点，提供

大数据竞大数据竞赛管理系统所需的虚拟服务器，结构化、半结构

赛平台化及非结构化数据的数据库等基础支撑环境；涵盖分布式

21

（H3C-AD虚拟存储技术，大数据获取、存储、组织、分析和决策操

Ekvm-DT）作的可视化技术。具体包括：Hadoop、HDFS、Hbase、Hive、

MapReduce、Kafka、Spark、Storm、Mahout、MySQL、Echarts

等，所涉及开发语言包括Java、Python、Scala、HTML、

Javascript等。

竞赛选手比赛使用。性能相当于i5处理器，8G以上内存，

3PC机3

1TB以上硬盘，显示器要求1024*768以上。

1.机架式交换机

2.端口：≥24个10/100/1000Base-TX以太网端口；

4交换机1

3.速度：10/100/1000Base；

4.全千兆三层交换机，支持访问控制。

备注：实际赛场需要的服务器、PC机和交换机数量取决于

参赛队伍数量。

（二）软件环境

设备类型软件类别软件名称、版本号

大数据集群操作系统CentOS7.4

Hadoop2.6.0

Yarn2.6.0

Zookeeper3.4.5

服务器集群Hive1.1.0

大数据分析平台组件

Flume1.6.0

Sqoop1.4

kafka1.0

Spark2.0

8

数据库MySQL5.7

PC操作系统Windows1064位

浏览器Chrome

Python3.664bit

开发语言Java8

scala-2.11

Pycharm2019

（CommunityEdition）

开发工具

IDEA2019

（CommunityEdition）

开发客户端Requests

数据采集组件

Scrapy

ECharts4.0.4

Flask

数据可视化组件

Jinja2

Matplotlib

Xshell免费版

Xftp免费版

输入法拼音输入法

十、评分标准

（一）制订原则。

大赛裁判工作按照公平、公正、公开的原则进行。以教育部

颁布的职业学校相关专业教学指导方案和国家《大数据工程技术

人员职业标准》规定的应知、应会的要求为评分原则，依据参赛

选手整体表现综合评定，全面评价参赛选手职业技能水平。

9

（二）评分方法。

1.裁判员选聘。按照职业院校技能大赛专家和裁判工作管

理办法相关制度建立2020年广西职业院校技能大赛赛项裁判

库。裁判长由大赛裁判委员会向大赛组委会推荐，由大赛组委会

聘任。裁判长组建裁判组，执行裁判长负责制。

2.裁判员人数。总人数为7人（其中裁判长1人，裁判员

6人）。

3.选手在完成任务之后，将任务完成结果拷贝至U盘中，

由参赛选手队长签字确认（签工位号）。

评分采取分步得分、错误不传递、累计总分的计分方式。

不计参赛选手的个人得分，只记录团体得分。

参赛队提交比赛任务结束请求或者在比赛时间终止后，不得

再进行任何操作。否则，视为比赛作弊，给参赛队记警告一次。

在竞赛过程中，选手如有不服从裁判判决、扰乱赛场秩序、

舞弊等不文明行为，由裁判按照规定扣减相应分数并且给予警

告，情节严重的取消竞赛资格，竞赛成绩记0分，队员退出比赛

现场。

4.成绩审核方法。

竞赛结束后，由裁判长向裁判员核实竞赛过程中有无异常。

如无异常，成绩单由裁判长签字确认并封存直至公布成绩时开

启。

10

如有异常，在裁判长主持下，由专家组成员、裁判员、仲裁

员和监督员共同处理。

5.成绩公布方法。

竞赛成绩经复核无误后，经裁判长、监督人员审核签字后，

以赛项组委会最终公布结果为准。

竞赛结束后，如参赛队对比赛成绩有异议，提出异议申诉或

仲裁，可按照相关规定进行申诉和仲裁，按照仲裁结果公布竞赛

成绩。

(三)评分标准。

《大数据技术与应用》赛项考核要点和评分标准

任务考核点描述评分标准分值

Hadoop平台安装部署主要评分

和基本配置考察Hadoop平台及组点包括平

Hadoop集群节点的动件的部署能力，掌握常台部署、

环境搭建态增加与删除用的基本配置和命令，基本环境15

Hadoop平台相关组件能够部署和管理变量配

部署与管理Hadoop高可用集群。置、组件

Hadoop平台的高可用部署

使用开发者工具查看主要评分

网页源码，分析网页结点包括数

考察学生多维度数据

构，明确数据采集对象据请求构

采集能力，包括对关系

构建数据采集请求，抓建、数据

数据采集型数据库、非关系型数20

取网络数据解析、数

据库和网络爬虫技术

据存储、

的应用。

利用网络爬虫相关组数据文件

件实现网络数据爬取操作。

11

规则文件数据和关系

型数据库数据抓取以

及数据同步

非关系型数据库数据

抓取以及数据同步

数据采集结果导出及

数据库推送

基于Hadoop平台架构

组件和多维度的数据

采集，实现数据一致性

检查、无效值和缺省值

的处理

多表数据合并和离群

值处理主要评分

考察对分布式计算、分

通过常见的数据分析点包括数

布式存储系统、数据仓

算法，对数据进行标准据清洗与

库等综合应用能力，使

化、离散化和多元化分分析代码

用Java、Python、

数据清洗析编写、数

Scala等开发语言，完25

与分析掌握数据仓库导入、导据解析、

成数据清洗、数据存

出，利用数据仓库相关打包发

储、数据转化、数据分

命令或代码实现数据布、数据

析、数据预测及数据推

多维度、多层次的分析清洗与分

送等一系列数据操作

对数据的查询、整理和析执行

计算。进行编译、打包、

发布，执行程序，完成

数据处理、清洗。

实现不同数据库间的

文件传输及转换

数据预测分析

主要评分

点包括可

通过常见的数据可视视化后台

化方法，将数据分析结代码开

编写后台代码实现数

果以图表的形式进行发、数据

数据可视据库访问和数据整理

呈现，使用Python及库访问、20

化

Web前端等编程语言，可视化前

实现数据源分析结果端代码开

展现发、前端

编写Web前端代码，对结果呈

数据分析结果进行呈现。

12

现

主要评分

点包括能

够按照赛

通过知识技能，根据数

考察学生对大数据技项要求编

据分析、预测及可视化

综合分析术与分析的综合操作写结论，15

结果进行分析，做出分

能力和业务分析能力能够按照

析报告。

要求提出

正确的建

议。

主要评分

点包括：

竞赛团队

主要评分点包括：竞赛

团队分工明确合理、操分工明确

职业素养团队分工明确合理、操5

作规范、文明竞赛合理、操

作规范、文明竞赛。

作规范、

文明竞

赛。

十一、奖项设定

参见2020年广西职业院校技能大赛高职组《大数据技术

与应用》赛项比赛实施方案。

十二、赛项安全管理

（一）赛场组织与管理员应制定安保须知、安全隐患规避方

法及突发事件预案，设立紧急疏散路线及通道等。确保比赛期间

所有进入赛点车辆、人员需凭证入内；严禁携带易燃易爆等危险

品及比赛严令禁止的物品进入场地；场地设备设施均可安全使

用。

（二）参赛选手在参赛过程中，必须服从场内裁判及工作人

员的指挥，严格按照制作规程进行操作，正确使用器具及设备。

13

（三）赛场设置警戒线，赛场24小时有人看管；比赛前两

天起，赛场实行全方位封闭，除工作人员外，选手和指导老师等

非工作人员不准进场。赛场设置联网的监控体系，可以对赛场进

行24小时监控。

（四）裁判员在比赛前，宣读安全注意事项，当现场出现突

发事件时，应及时给予处置。

（五）比赛期间发生意外事故，发现者应第一时间报告赛项

执委会，同时采取措施避免事态扩大。赛项执委会应立即启动预

案予以解决并报告赛区执委会。赛项出现重大安全问题可以停

赛，是否停赛由赛区执委会决定。事后，赛区执委会应向大赛执

委会报告详细情况。

（六）因参赛队伍原因造成重大安全事故的，取消其获奖资

格。

（七）参赛队伍有发生重大安全事故隐患，经赛场工作人员

提示、警告无效的，可取消其继续比赛的资格。

十三、申诉与仲裁

（一）申诉。

1.参赛队对不符合竞赛规定的设备、工具、软件，有失公正

的评判，以及对工作人员的违规行为等，均可提出申诉。

2.申诉应在竞赛结束后2小时内提出，超过时效将不予受

理。申诉时，应按照规定的程序由参赛队领队向所在赛项裁判递

交书面申诉报告。报告应对申诉事件的现象、发生的时间、涉及

14

到的人员、申诉依据与理由等进行充分、实事求是的叙述。事实

依据不充分、仅凭主观臆断的申诉将不予受理。申诉报告须有申

诉的参赛选手、领队签名。

3.赛项裁判长收到申诉报告后，应根据申诉事由组织裁判团

队进行审查，2小时内书面通知申诉方，告知申诉处理结果。

4.申诉人不得无故拒不接受处理结果，不允许采取过激行为

刁难、攻击工作人员，否则视为放弃申诉。申诉人不满意赛项裁

判长的处理结果的，可向大赛仲裁组提出书面申请复议，复议申

请须有参赛单位盖章。

（二）仲裁。

1.大赛仲裁组负责受理大赛中出现的申诉复议并进行仲裁，

以保证竞赛顺利进行和竞赛结果公平、公正。

2.仲裁组的裁决为最终裁决，参赛队不得因申诉或对仲裁处

理意见不服而停止比赛或滋事，否则按弃权处理。

十四、竞赛观摩

（一）观摩对象。比赛期间将设学生技能作品展示区，邀

请来自全区相关行业职业教育院校代表、优秀教育工作者、专家

学者、大型企业领导者、业界精英、专业学生等观摩比赛。

（二）观摩方法及纪律要求。参加观摩的代表须遵守大赛纪

律，按照大赛组委会的组织有序观摩。比赛期间，保持观摩室安

静。凡观摩人员均不得进入赛场内部进行拍照、交流、观看。

15

十五、竞赛须知

（一）参赛队须知。

1.参赛队名称统一使用规定的院校全称+队数（如：广西职

业技术学院1队），本赛项为团体赛，不接受跨校组队报名。

2.参赛队选手在报名获得确认后，原则上不再更换，如筹备

过程中，选手因故不能参赛，所在市教育主管部门需出具书面说

明并按相关参赛选手资格补充人员并接受审核。竞赛开始后，参

赛队不得更换参赛选手，若有参赛队员缺席，则视为自动放弃竞

赛团体名次排名。

3.参赛队对大赛组委会以后发布的所有文件都要仔细阅读，

确切了解大赛时间安排、评判细节等，以保证顺利参加大赛。

4.参赛队按照大赛赛程安排，凭大赛组委会颁发的参赛证和

有效身份证件参加竞赛及相关活动。

5.参赛队将通过抽签决定比赛场地和比赛顺序。

6.对于本规则没有规定的行为，裁判组有权做出裁决。在有

争议的情况下，仲裁工作组的裁决是最终裁决。

7.本竞赛项目的解释权归大赛组委会。

（二）指导教师须知。

1.做好赛前抽签工作，确认比赛出场顺序，协助大赛承办方

组织好本单位比赛选手的各项赛事相关事宜。

16

2.做好本单位比赛选手的业务辅导、心理疏导和思想引导工

作，对参赛选手及比赛过程报以平和、包容的心态，共同维护竞

赛秩序。

3.自觉遵守竞赛规则，尊重和支持裁判工作，不随意进入比

赛现场及其他禁止入内的区域，确保比赛进程的公平、公正、顺

畅、高效。

4.当本队参赛选手对比赛进程中出现异常或疑问，应及时了

解情况，客观做出判断，并做好选手的安抚工作，经内部进行协

商，认为有必要时可在规定时限内向赛项仲裁工作组反映情况或

提出书面仲裁申请。

（三）参赛选手须知。

1.参赛选手报到后，凭身份证领取参赛证。参赛证为选手参

赛的凭据。参赛选手一经确认，中途不得任意更换，否则以作弊

论处，比赛成绩取消。

2.参赛选手应持参赛有效证件，按竞赛顺序、项目场次和竞

赛时间，提前30分钟到各考核项目指定地点接受检录、抽签决

定竞赛工位号、机位号等。

3.检录后的选手，应在工作人员的引进下，提前15分钟到

达竞赛现场，从竞赛计时开始，比赛开始15分钟后，选手未到

即取消该项目的参赛资格。

4.参赛选手进入赛场，应佩戴参赛证，做到衣着整洁，符合

安全生产及竞赛要求。

17

5.比赛需连续进行，比赛一旦计时开始不能无故终止比赛。

比赛过程中，参赛选手必须严格遵守竞赛纪律，并接受裁判员的

监督和警示。若比赛过程中出现设备问题，由裁判长视具体情况

做出裁决，并现场记录予以加时。

6.参赛选手应认真阅读各项目竞赛操作须知，自觉遵守赛场

纪律，按竞赛规则、项目与赛场要求进行竞赛，不得携带任何书

面或电子资料、U盘、手机等电子或通讯设备进入赛场，不得有

任何舞弊行为，否则视情节轻重执行赛场纪律。

7.竞赛期间，竞赛选手应服从裁判评判，若对裁判评分产生

异议，不得与裁判争执、顶撞，但可于项目比赛结束后两小时内

由领队以书面形式向赛项裁判长提出书面仲裁申请。由赛项裁判

长组织团队调查核实并于接到仲裁书面申请两小时内给与回复。

8.参加技能操作竞赛的选手如提前完成作业，选手应在指定

的区域等待，经裁判同意方可离开赛场。

9.竞赛过程中如因竞赛设备或检测仪器发生故障，应及时报

告裁判，不得私自处理，否则取消本场次比赛资格。

十六、本竞赛项目的最终解释权归大赛组委会。

后附：《大数据技术与应用赛项竞赛试题（样卷）》

18

大数据技术与应用赛项竞赛试题（样卷）

近年来随着IT产业的加速发展，全国各地对IT类的人才需求也越来

越多“ABC公司”为了明确今后IT产业人才培养方向，在多地进行IT公

司岗位情况调研分析。你所在的小组将承担模拟调研分析的任务，通过在

招聘网站进行招聘信息的爬取，获取到公司名称、工作地点、岗位名称、

招聘要求、招聘人数等信息，并通过对数据的清洗和分析，得出各地域招

聘人数，“大数据”相关职位招聘数量，以绘制雷达图展示各地平均薪资

情况。

为完成该项任务，你所在的小组计划选用在业界广泛应用的“Python

和JAVA”语言，作为整个项目的基础语言，并综合利用requests模块、

MapReduce、MySQL、Flask开源框架、Jinja2模板引擎和ECharts组件提

高开发效率并实现项