“大数据技术与应用”赛项规程

“大数据技术与应用”赛项规程一、赛项称赛项名称：大数据技术与应用英语翻译：BigDataTechnologyandApplication赛项组别：高职组赛项归属产业：电子信息产业二、竞赛的（一）促进发展专业教学内容和课程体系改革国务院印发《促进大数据发展行动纲要》（以下简称《纲要》），系统指导我国大数据发展的国家顶层设计和总体部署大数据发展工作《纲要》中明确指出，要加强专业人才培养创新人才培养模式建立健全多层次多类型的大数据人才培养体系。2016年9月，教育部准设立了高职院校“大数据技术与应用”专业。由于缺乏与用人单位岗位核心技术技能相匹配的专业课程体系及师资力量重影响了高职院校大数据人才培养质量。大数据技术与应用赛项包括大数据平台运行维护数据采集与预处理数据清洗及存储数据分析及可视化等工作内容考查内容对接国家教学标准提出的大数据相关专业综合核心技术技能和职业素养够适应我国大数据产业对高素质复合型人才的产业需求覆盖大数据行业技术岗位体系满足大数据企业技术研发类基础平台运营类岗位对大数据平台运维能力、大数据应用开发能力及职业素养等方面的要求；促进教师专业能力及教学能力的提升，引领大数据技术与应用专业建设及课程改革。（二）开拓产教融合新模式、推进协同育人产学研合作大数据技术与应用赛项选取大数据行业企业典型项目需求绕项目开发过程设计竞赛内容竞赛任务就是项目工作任务通过本赛项推动了课程内容与职业标准对接，教学过程与生产过程对接，专业与产业对接，实现教育链、人才链与产业链、创新链有机衔接，促进产教融合、校企合作、产业发展。（三）为企业提供大数据人才支撑，提高学生就业质量大数据技术与应用赛项选取真实的大数据业务分析应用场景点考查选手的实际动手能力规范操作水平创新创意水平等综合职业能力参赛选手通过对实际业

务数据的分析运用大数据领域技术手段揭示业务数据隐含的业务规律实现对业务运行发展状态的推断以数据分析结果为支撑做出科学合理的决策建议彰显了参赛选手的综合职业能力及教师的教学能力分展示职教改革成果及师生良好精神面貌。三、竞赛容赛项以大数据技术与应用为核心内容，重点考查参赛选手基于Hadoop平台环境下，利Hadoop、Spark技术生态组件，综合软件开发相关技术，解决实际问题的能力，具体包括：1）掌握按照项目需求配置管理、Spark大数据平台及相关生态组件；2）掌握企业常用数据清洗工具相关技术，完成指定数据的清洗及分析能力；3）综合利用、Flask技术，使用、Python等开发语言，完成数据清洗、存储、转化、分析及数据推送等一系列大数据操作；4）综合运用HTML、CSS、JavaScript、Python开发语言，对数据进行可视化呈现；5）根据数据可视化结果，完成数据分析报告的编写。竞赛内容构成如下：考环Hadoop、Spark平的配置和部署数据获取与分布式文件系统操作Spark数清洗与分析

考知点技点集群免密配置和基础软件安装配置Hadoop集搭建Spark集搭建可视化平台的搭建查找指定源数据文件HDFS创建录及上传源数据使用HadoopAPI操作源数据基于SparkJavaAPI的地项目搭建导入本地Java项的依赖库掌握在Spark框下的JavaAPI程熟练使用SparkSQL读HDFS

描考察+Spark集的部署能力掌握常用的基本配置和基础软件安装能够部署和管理高可用集群。掌握平的搭建。掌握Linux基础命令考Hadoop文系统的常用命令掌分布式文件系统命令行操作与API操作。考察对分布式计算和分布式存储架构下的数据读写、数据清洗、数据转换、数据分析等综合应用能力使用Java开语言完Spark框架下的HDFS读写、内存表构建、SQL函关联合并

使用检索和清洗函数处理Spark内存表数据。

过滤等一系列数据操作根据实验任务书编写分析模块代码进行编译、打包、提交集群，执行Spark序，监控任务执行情况。输出目标数据文件。Web数据可视化

构建Web平项目，使用HDFS读取Spark任务提供的目标数据集。编写前端代码，对数据分析结果进行呈现。

通过常见的数据可视化方法将据分析结果以图表的形式进行呈现，使用Java、Python及HTML等程语言实现数据源分析结果展现考察学生对大数据技术与综合分析

通过项目代码和架构根据数据析结果及可视决策分析和归纳概括表述化图表进行报告编写，形成决策分析报告。的综合操作能力和表达能力竞赛各阶段分值权重分布如下：主涉的识技点Hadoop、Spark平的配置和部数据获取与分布式文件系统操作Spark数据洗与分析Web数据可视化综合分析团队分工明确合理、操作规范、文明竞赛四、竞赛式

分权25%10%25%20%15%5%大数据技术与应用赛项为团体赛每支参赛队由名参赛选手组成须为同校在籍学生其中队长1名每支参赛队可配2名指导教师指导教师须为本校专兼职教师同一学校的报名参赛队不超过3支参赛选手和指导教师报名获得确认后不得随意更换。竞赛设单一场次所有参赛队小时内完成比赛比赛形式以实践操作为主采用小组合作的形式完成赛项任务现场过程评价与完成任务结果评价为主要考核方式。竞赛采用在线考试系统题由系统自动统计评分观题如大数据应用开发、工程报告明确每项公开评分标准和得分点考试系统通过场外大屏可实时跟踪竞赛进度。

赛项采用统一规格的硬件、软件和辅助工具，确保竞赛平台统一。五、竞赛程根据竞赛任务要求参赛队伍在4小时竞赛时间内须完成竞赛任务参赛队伍须按顺序完成各项任务，但每项任务用时可自行掌握。（一）赛流程（二）赛时间安排日比赛前日

时12:00之10:00—11:0015:30—16:0016:00—16:30

内各参赛队报到；裁判报到裁判工作会议；工作人员（含监考）培训会赛前领队会参赛队熟悉比赛场地

比赛当日

17:00—18:007:007:308:008:108:208:308:40-12:4012:40—13:0012:40—14:4013:00—13:3013:30—21:00

现场裁判赛前检查，封闭赛场参赛队集合前往比赛现场开赛式赛场检录一次加密：参赛队抽取参赛编号二次加密：参赛队抽取赛位号参赛队进入比赛赛位行前硬件检查题目发放比赛收取各参赛队赛题及比赛结果文档申诉受理三次加密：竞赛结果等文件加密成绩评定与复核六、竞赛题（一）赛项执委会下设的命题专家组负责本赛项命题工作。七、竞赛则1.参赛选手须为高等职业学校全日制在籍学生科院校中高职类全日制在籍学生，五年制高职四、五年级学生可报名参赛。参赛选手年龄须不超过25周岁（年龄计算的截止时间以20205月1为准）。凡在往届山西省职业院校技能大赛中获本赛项高职组一等奖的选手，不能再参赛。2.竞赛前1日安排各参赛队领队、参赛选手熟悉赛场。3.严禁参赛选手、赛项裁判、工作人员私自携带通讯、摄录设备进入比赛场地。4.参赛选手所需的硬件软件和辅助工具统一提供参赛队不得使用自带的任何有存储功能的设备，如硬盘、光盘、U盘、手机、随身听等。5.所有参赛选手都必须携带参赛证件进行检录。6.参赛队在赛前钟领取比赛任务并进入比赛工位，比赛正式开始后方可进行相关操作。7.比赛过程中选手须严格遵守操作规程确保人身及设备安全并接受裁判员的监督和指示因选手原因造成设备故障或损坏而无法继续比赛的裁判长有权决定中止该队比赛；非因选手个人原因造成设备故障的，由裁判长视具体情况作出裁决。

8.比赛结（或提前完成后参赛队要确认已成功提交竞赛要求的配置文件和文档裁判员与参赛队队长一起签字确认参赛队在确认后不得再进行任何操作比赛时间终了选手应全体起立结束操作经工作人员查收清点所有文档后方可离开赛场，离开赛场时不得带走任何资料。9.比赛结束经加密裁判对各参赛队提交的竞赛成果进行三次加密后评分裁判方可入场进行成绩评判竞赛成绩经复核无误后由记分员将解密后的各参赛队伍成绩汇总成比赛成绩，经裁判长、监督组签字后，在指定地点，以纸质形式向全体参赛队进行公布公布2小时无异议后将赛项总成绩的最终结果录入赛务管理系统经裁判长监督组长和仲裁长在系统导出成绩单上审核签字后在闭赛式上宣布并颁发证书。10.其它未尽事宜，将在赛前向各领队做详细说明。八、竞赛地和环境标1.竞赛现场设置场内竞赛区现场裁判工作区技术支持区等竞赛工位内设有操作平台，每工位配备220V源，工位内的电缆线应符合安全要求。竞赛工位标明工位号并配备竞赛平台和技术工作要求的软件环境标准要求保证赛场采光(大于500lux)、照明和通风良好。2.场内竞赛区为参赛队提供统一的竞赛设备；选手无需自带任何工具及附件。3.监考人员协助裁判长和现场裁判做好负责工位范围内的秩序维持。4.技术支持保障人员在技术支持服务区候场需要时在现场裁判的带领下到相关的工位进行赛场技术支持保障，在条件具备时，技术支持区可不设置在考场内。5.竞赛现场通风良好、照明符合教室采光规范。九、技术范本赛项的技术规范将包括：相关专业的教育教学要求、行业、职业技术标准，以及根据高职目录修订后的大数据技术与应用相关专业人才培养标准和规范时地修订本赛项遵循的技术规范。表：础准标准GB/T11457-2006GB8566-88GB/T12991-2008GB/T21025-2007

内容信息技术、软件工程术语计算机软件开发规范信息技术数据库语言第1部：框架XML使用指南

GB/T28821-1012LD/T81.1-2006-T-469：-T-469：

关系数据管理系统技术要求职业技能实训和鉴定设备技术规范信息技术云数据存储和管理第1部：总则信息技术云数据存储和管理第2部：基于对象的云存储应用接口GB/T20009-2005：信安全技术数据库管理系统安全评估准则已发布GB/T20273-2006：信安全技术数据库管理系统安全技术要求-T-469：表：件发准标准GB/T8566-2001GB/T15853-1995GB/T14079-1993GB/T17544-1998十、技术台

信息技术安全技术信息安全管理体系实施指南内容信息技术软生存周期过程软件支持环境软件维护指南信息技术软包质量求和测比赛器材、技术平台：大数据技术与应用平台（合作企业：南京云创大数据科技股份有限公司；品牌：云创；型号，技术平台软硬件设备组成如下：（一）硬件设备1.服务器嵌大数据实验一体机平台软件本配置如下颗英特尔至强银牌1.8G,8C/16T,9.6GT/s2UPI,11M缓存,HT(85W)DDR4-2400/256GB存/3×2TB转SATA6Gb硬盘/支持RAID5/1Gb×2管理网络接口/1Gb×2数据网络接口/1+1冗余电源。2.网络设备：为市场通用设备。3.客户端：客户端基本配置要求：处理器2G以上内存，显示器要求1024*768以上。（承办学校提供）。数量：参赛团队+0.3*参赛团队（备份）（二）软件平台1）服务器软件：1.1操作系统（）1.2Hadoop分布式计算平台1.3大数据实训管理系统1.4Web站点2）客户端软件：2.1操作系统（）

2.2开发语言包（2.3数据分析工具（pdi-ce-7.1.0.0-12）2.4浏览器（Chrome)2.5文档编辑器（或office）2.6OpenVPN客户端（2.4.7）2.7远程连接工具（教学/家庭版）2.8上传/下载工具（5.9.0.6786）十一、成评定（一）评分标准总分，竞赛结果文件的提交按照题目要求，提交符合模板的件和源码文件以及相关要求截图文件。（二）裁判工作原则1.按照《2019年全国职业院校技能大赛专家和裁判工作管理办法》建立全国职业院校技能大赛赛项裁判库裁判长由赛项执委会向大赛执委会推荐由大赛执委会聘任。赛前建立健全裁判组。裁判组为裁判长负责制，并设有专职督导裁判1名，负责比赛过程全程监督，防止营私舞弊。本赛项计划需要裁判7名，分别为裁判长1名、专职督导裁判1名、加密裁判1名、现场裁判名和评分裁判2名。2.赛项需进行三次加密加密后参赛选手中途不得擅自离开赛场分别由1名加密裁判组织实施加密工作，管理加密结果。监督员全程监督加密过程。3.第一次加密裁判组织参赛选手进行第一次抽签产生参赛编号替换选手参赛证等个人身份信息填写一次加密记录表连同选手参赛证等个人身份信息证件装入一次加密结果密封袋中单独保管。4.第二次加密裁判组织参赛选手进行第二次抽签确定赛位号替换选手参赛编号写二次加密记录表连同选手参赛编号二次加密结果密封袋中单独保管。5.第三次加密裁判对提交的竞赛文档进行加密。确定竞赛文档号，替换赛位号，填写三次加密记录表，装入三次加密结果密封袋中单独保管。6.所有加密结果密封袋的封条均需相应加密裁判和监督人员签字封袋在监督人员监督下由加密裁判放置于保密室的保险柜中保存。（三）评分标准制定原则

1.竞赛评分制定严格遵守公平公正的原则大数据技术与应用赛项评分采用赛项结果评分方法，始终贯彻落实大赛一贯坚持的公平、公正和公开原则。2.赛项评分依据选手固化在实操任务中的成果过评分裁判对比赛成果再现的方法评分，并兼顾团队协作精神和职业素养综合评定。3.选手在完成任务之后请务必向赛场中心竞赛系统提交任务完成结果由赛项工作人员统一将提交的结果拷贝至U盘中手在确认U盘拷贝文件的内容与本工位操作内容一致后由参赛选手队长签字确认因选手未能正确提交任务完成情况致使在竞赛系统中没有正确记录内容的或者记录内容为空的，将计为零分。4.客观性结果评分采用优先判断功能实现评分原则依据功能实现的状态信息截图，判断功能项是否实现，如果未实现功能，再按照配置步骤命令进行给分。5.三层加密原则比赛过程采取三层加密通过抽取参赛编号赛位号和竞赛成果号，屏蔽参赛队信息，每个环节设置一名独立裁判，每个环节结束后，数据立即封存于裁判长，加密裁判直接隔离，确保成绩评定公平、公正。6.独立评分原则。根据裁判分工，负责相同模块评分工作的不同裁判采取随机抽签独立评分，确保成绩评定严谨、客观、准确。裁判进行随机抽签分组，杜绝主观意愿组队，各自完全独立评分，裁判员间互不干涉，比赛监督人员可随机监督。7.错误不传递原则各环节分别计算得分错误不传递按规定比例计入团队总分。当总分相同时，再按照效率→成本排序。效率即用时少的排名靠前。8.参赛队提交比赛任务结束请求或者在比赛时间终止后，不得再进行任何操作。否则，视为比赛作弊，给参赛团队记警告一次。9.在竞赛过程中选手如有不服从裁判判决乱赛场秩序舞弊等不文明行为，由裁判按照规定扣减相应分数并且给予警告情节严重的取消竞赛资格竞赛成绩记0分，队员退出比赛现场。（四）评分标准裁判员执裁过程中各模块由分组裁判员进行背对背评分由小组长负责裁定成绩一致方提交到成绩统计组统计组再次核对每小题的得分并汇总产生每套竞赛文档号的对应成绩。裁判长正式提交竞赛文档号对应的评分结果并复核无误后密裁判在监督人员监督下对加密结果进行逐层解密形成成绩一览表成绩表由裁判长监督员签字确认。

竞赛评分严格按照公平公正公开的原则评分标准注重考查参赛选手以下各方面的能力和水平：任Hadoop、Spark平台的配置和部署数据获取与分布式文件系统操作Spark数据清洗与分析

考点Linux命令、置文件Linux命令、Hadoop命令、HDFS编程SparkJavaAPI编程、SparkSQL函数应用、HDFS读写编程

描考察Hadoop+Spark集的部署能力，掌握常用的基本配置和基础软件安装，能够部署和管理高可用集群。掌握平的搭建掌握Linux基础令Hadoop文件系统的常用命令，掌握分布式文件系统命令行操作与API操作。考察对分布式计算和分布式存储架构下的数据读写、数据清洗、数据转换、数据分析等综合应用能力，使用Java开语言，完成Spark框下的HDFS读、内存表构建函关联合并过滤等一系列数据操作

评标主要评分点包括Linux系基本操作、集群免密配置、基础软件安装配置、Hadoop集群配置、Spark集配置。主要评分点包括Linux基命令、文系统的操作命令、API操作代码。主要评分点包括SparkJavaAPI编程、SparkSQL组件编程、数据读写、数据清洗、数据转换、编译打包、Spark任提交。HDFS读编程。

分（）251025通过常见的数据可视化方法，将Web数可视化

Web编程、可视化

数据分析结果以图表的形式进行呈现使Java、Python及HTML等编程语言，实现数据源分析结

主要评分点包括Web平搭建、后台代码开发、前端代码开发、图表展示。

20果展现综合分析团队协作

报告编写、策分析团队协作

考察学生对大数据技术与决策分析和归纳概括表述的综合操作能力和表达能力团队分工明确合理、操作规范、文明竞赛

主要评分点包括能够按照赛项要求编写报告，关键点截图、分析归纳、文字表述、决策分析能力。主要评分点包括：竞赛团队分工明确合理、操作规范、文明竞赛。

155参赛选手应体现团队风貌协作与沟通织与管理能力和工作计划能力等，并注意相关文档的准确性与规范性。竞赛过程中参赛选手如有不服从裁判判决乱赛场秩序舞弊等不文明行为，由裁判组按照规定扣减相应分数情节严重的取消竞赛资格选手有下列情形需从比赛成绩中扣分：1.违反比赛规定提前进行操作或比赛终止后仍继续操作的由现场裁判负责记录并酌情扣1-5分。

2.在竞赛过程中违反操作规程影响其他选手比赛的未造成设备损坏的参赛队，扣5-10分。3.在竞赛过程中成设备损坏或影响他人比赛节严重的报竞赛执委会批准，终止该参赛队的比赛，竞赛成绩以0分计算。（五）成绩复核与公布1.为保障成绩评判的准确性监督组将对赛项总成绩排名前的所有参赛队伍（选手）的成绩进行复核；对其余成绩进行抽检复核，抽检覆盖率不得低于15%。如发现成绩错误以书面方式及时告知裁判长由裁判长更正成绩并签字确认复核抽检错误率超过5%的，裁判组将对所有成绩进行复核。2.竞赛成绩以复核无误后经项目裁判长监督人员审核签字后确定竞赛成绩通过赛场显示屏和网络直播等方式进行实时公布同时在赛场及赛场外张贴纸质成绩。若有异议，经过规定程序仲裁后，按照仲裁结果公布比赛成绩。十二、奖设定由2020山西省职业院校技能大赛组委会统一设置，只设团体奖。赛项设参赛选手团体奖，以赛项实际参赛队总数为基础，一等奖占比10%，二等奖占比，三等奖占比30%，小数点后四舍五入。十三、赛安全赛事安全是技能竞赛一切工作顺利开展的先决条件赛事筹备和运行工作必须考虑的核心问题。赛项组委会采取切实有效措施保证大赛期间参赛选手、指导教师、裁判员、工作人员的人身安全。（一）组织机构成立由赛项执委会主任为组长的赛项安全保障小组员包括承办院校主抓安全的校领导、学生工作处、后勤处、保卫处、合作企业技术工程师等相关人员。与地方行政、交通、司法、安全、消防、卫生、食品、质检等相关部门建立协调机制，制定应急预案，及时处置突发事件，保证比赛安全进行。（二）比赛环境1.赛项组委会须在赛前组织专人对比赛现场住宿场所和交通保障进行考察并对安全工作提出明确要求。赛场的布置，赛场内的器材、设备，应符合国家有关安全规定。如有必要，也可进行赛场仿真模拟测试，以发现可能出现的问题。

2.赛场周围要设立警戒线求所有参赛人员必须凭赛项组委会印发的有效证件进入场地防止无关人员进入发生意外事件比赛现场内应参照相关职业岗位的要求为选手提供必要的劳动保护在具有危险性的操作环节裁判员要严防选手出现错误操作。3.提供保证应急预案实施的条件对于比赛内容涉及高空作业可能有坠物大用电量、易发生火灾等情况的赛项，必须明确制度和预案，并配备急救人员与设施。4.配备先进的仪器防止有人利用电磁波干扰比赛秩序大赛现场需对赛场进行网络安全控制，以免场内外信息交互，充分体现大赛的严肃、公平和公正性。（三）组队责任1.各学校组织代表队时，须安排为参赛选手购买大赛期间的人身意外伤害保险。2.各学校代表队组成后须制定相关管理制度并对所有选手指导教师进行安全教育。3.各参赛队伍须加强对参与比赛人员的安全管理，实现与赛场安全管理的对接。（四）应急处理比赛期间发生意外事故时者应在第一时间报告赛项组委会时采取措施，避免事态扩大赛项组委会应立即启动预案予以解决出现重大安全问题的赛项可以停赛是否停赛由赛区组委会决定后区执委会应向大赛执委会报告详细情况。（五）处罚措施1.因参赛队伍原因造成重大安全事故的，取消其获奖资格。2.参赛队伍有发生重大安全事故隐患经赛场工作人员提示警告无效的可取消其继续比赛的资格。3.赛事工作人员违规的按照相应的制度追究责任情节恶劣并造成重大安全事故的，由司法机关追究相应法律责任。十四、竞须知（一）参赛队须知1.各参赛队要发扬良好道德风尚，听从指挥，服从裁判，不弄虚作假。如发现弄虚作假者，取消参赛资格，名次无效。2.各参赛队领队要坚决执行竞赛的各项规定加强对参赛人员的管理做好赛前准备工作，督促选手带好证件等竞赛相关材料。

3.竞赛过程中除参加当场次竞赛的选手执行裁判员现场工作人员和经批准的人员外，领队、指导教师及其他人员一律不得进入竞赛现场。4.参赛队若对竞赛过程有异议规定的时间内由领队向赛项仲裁工作组提出书面报告。5.对申诉的仲裁结果领队要带头服从和执行并做好选手工作参赛选手不得因申诉或处理意见不服而停止竞赛，否则以弃权处理。6.参赛队领队应对本队参赛队员和指导教师的参赛期间安全负责赛学校须为参赛选手和指导教师购买意外保险。7.领队和指导教师应在赛后做好赛事总结和工作总结。（二）指导教师须知1.各参赛代表队要发扬良好道德风尚，听从指挥，服从裁判，不弄虚作假。如发现弄虚作假者，取消参赛资格，名次无效。2.各代表队领队要坚决执行竞赛的各项规定加强对参赛人员的管理做好赛前准备工作，督促选手带好证件等竞赛相关材料。3.竞赛过程中除参加当场次竞赛的选手执行裁判员现场工作人员和经批准的人员外，领队、指导教师及其他人员一律不得进入竞赛现场。4.参赛代表队若对竞赛过程有异议规定的时间内由领队向赛项仲裁工作组提出书面报告。5.对申诉的仲裁结果领队要带头服从和执行并做好选手工作参赛选手不得因申诉或对处理意见不服而停止竞赛，否则以弃权处理。6.指导老师应及时查看大赛专用网页有关赛项的通知和内容真研究和掌握本赛项竞赛的规程技术规范和赛场要求指导选手做好赛前的一切技术准备和竞赛准备。（三）参赛选手须知1.参赛选手应按有关要求如实填报个人信息，否则取消竞赛资格。2.参赛选手需持统一印制的参赛证和有效身份证件参加竞赛。3.参加选手应认真学习领会本次竞赛相关文件，自觉遵守大赛纪律，服从指挥，听从安排，文明参赛。4.参加选手请勿携带任何电子设备及其他资料、用品进入赛场。

5.参赛选手应按照规定时间抵达赛场，凭参赛证、身份证件检录，按要求入场，不得迟到早退。6.参赛选手应增强角色意识