2020年全国职业院校技能大赛（高职）河北选拔赛大数据技术与应用大赛赛项规程

2020年全国职业院校技能大赛（高职）河北选拔赛大数据

技术与应用大赛

竞赛规程

一、比赛的职业、标准、形式和内容

（一）职业：Hadoop应用开发工程师、实时计算工程师、数据处理工程师、数

据采集工程师、数据可视化工程师、大数据平台运维工程师、数据仓库架构师、数

据管理工程师等。

（二）标准：

序号标准号中文标准名称

1GB/T35274-2017信息安全技术大数据服务安全能力要求

2GB/T35295-2017信息技术大数据术语

3GB/T35589-2017信息技术大数据技术参考模型

（三）比赛形式

1.比赛方式为实际操作，总分100分；

2.实际操作比赛要求在规定时间内对实际设备进行操作，按任务书要求实现比

赛内容，到达预订比赛结束时间，停止一切操作；

3.比赛以6人为一个代表队，每3人为1组，每队设指导教师2人；比赛时间

为3个小时。

（四）比赛内容

赛项直接采用大数据企业真实运行的项目，重点考查选手实际动手能力、规范

操作水平、创新创意水平等综合职业能力。

参赛选手需要按照赛题任务要求完成业务需求分析，重点考查选手的业务分析

能力；针对特定应用场景完成大数据技术生态组件的安装部署及配置，重点考查选

手的平台运维能力；综合运用Python编程技术、开源框架实现数据采集与预处理，

重点考查选手编程能力；充分利用大数据平台组件的特性，编写MapReduce程序、

建立Hive数据仓库、使用聚类方法完成数据的存储及分析，重点考查选手的大数

据技术综合运用能力；综合利用Flask框架、Web技术、ECharts数据可视化组件

等前端技术，实现分析数据可视化，重点考查选手数据可视化及前端技术能力；根

据数据可视化显示结果，结合项目基本需求，对分析结果进行综合分析，形成项目

分析报告，重点考查选手的分析能力及文档能力。

赛项采用团队协作方式完成竞赛任务，在团队内部科学规划、合理分工，高效

沟通的基础上才能顺利完成竞赛，重点考查选手的团队规划能力、团队协作能力及

沟通能力。

二、比赛的软硬件环境

（1）硬件环境（每个竞赛位）

序号设备名称设备数量品牌

1

服务器1台无

2客户端3台无

（2）软件环境

设备类型软件类别软件名称、版本号

大数据实训管理系统运

服务端Ubuntu18.04Server

行操作系统

竞赛环境大数据集群操

Ubuntu18.04

作系统

Hadoop2.9.0

Yarn2.9.0

竞赛服务器虚Zookeeper3.4.12

拟集群

大数据分析平台组件Hive2.3.3

Flume1.6.0

Sqoop1.4.7

MySQL5.6.39

PC操作系统Windows10

浏览器Chrome

文档编辑器MicrosoftWord2007及以上

Python3.6.464bit

开发语言

Java8

客户端

数据库MySQL5.6.39

Pycharm2017.3.4

（CommunityEdition）

开发工具

IEAD2017.3

（CommunityEdition）

数据采集组件Requests2.19.1

Lxml4.2.3

BeautifulSoup44.6.0

Flask0.12.2

Jinja22.10

数据可视化组件SQLAlchemy1.2.6

Flask-SQLAlchemy2.3.2

ECharts4.1.0

三、重要说明

（1）检查硬件设备、实训工具、实训耗材、PC机、工具是否完好且数量齐全。

（2）赛场已在计算机上安装比赛所需要的软件环境，检查电脑设备是否正常。

（3）禁止携带和使用移动存储设备、通信工具及参考资料。

（4）操作完成后，不要关闭任何设备，不要对设备随意添加密码，离开时将

试卷留在考场。

（5）不要损坏赛场准备的比赛所需要的竞赛设备、竞赛软件和竞赛材料等。

（6）提供的材料根据大赛试题所列，足够每队使用，各参赛队不允许自带耗

材。

四、参考资料

序号资料类型资料名称

1出版物《Hadoop权威指南：大数据的存储与分析》

2出版物《大数据技术原理与应用》

3出版物《Spark快速大数据分析》

4出版物《基于Python的大数据分析基础及实战》

五、评分规定

本届大数据技术与应用技能大赛比赛时间为180分钟，评分为六个部分：平台

运维、数据采集与预处理、数据清洗与分析、数据可视化、编制分析报告、职业素

养。各项分值占比如下：

（一）评分标准分别如下：

竞赛任务考核知识点和技能点分值

能够完成HadoopHA及其生态圈组件部署，

平台运维15分

如Hive、Sqoop等。

使用Python语言编写并完善爬虫代码，采集

指定数据项。涉及的知识点包括网页字段分

数据采集及预处理20分

析、网络请求、Json、网页内容解析、文件

读写、HDFS操作等。

利用Mapreduce、Spark、HDFS、Hive、Sqoop

等技术，使用Java或者Python语言编写程

数据清洗及分析25分

序完成数据清洗、存储、转化、分析及数据

迁移等任务。

根据要求使用Python编写程序并选择合适的

数据可视化20分

ECharts图例完成数据的可视化分析。

通过以上任务的相关结论，对未来做出预测，

编制分析报告15

根据题目要求进行分析，并编写出分析报告。

职业素养团队分工明确合理、操作规范、文明竞赛。5

（二）成绩计算

赛项总成绩满分100分，只对参赛队团体评分，不计个人成绩。参赛单位成绩

均按由高到低进行排序。

六、申诉与仲裁

（一）申诉

（1）参赛队对不符合竞赛规定的软硬件设备，有失公正的评判，以及对工作

人员的违规行为等，均可提出申诉；

（2）申诉时，应递交由参赛队领队亲笔签字同意的书面报告，报告应对申诉

事件的现象、发生的时间、涉及的人员、申诉依据与理由等进行充分、实事求是的

叙述。事实依据不充分、仅凭主观臆断的申诉不予受理；

（3）申诉时效：竞赛结束后