2019年山东省职业院校技能大赛高职组“大数据技术与应用”赛项规程

-11-一、赛项名称赛项名称：大数据技术与应用赛项组别：高职组赛项归属：电子信息大类二、竞赛目的为贯彻落实国务院发布的《促进大数据发展行动纲要》和工业和信息化部发布的《大数据产业发展规划（2016-2020年）》。加快实施国家大数据战略，推动大数据产业健康快速发展，针对高职“大数据技术与应用”专业建设和发展的需求，通过引入大数据各个环节的实际应用场景，全面考察高职学生大数据技术基础、软件开发相关技术、Hadoop及其生态组件部署与管理、数据采集、数据清洗、数据分析和数据可视化等前沿的知识、技术技能以及职业素养和团队协作能力。赛项围绕大数据产业各个岗位的实际需求和要求进行设计，通过大赛搭建校企合作的平台，深化产教融合，推进产教融合人才培养模式，提升大数据技术与应用专业及其他相关专业毕业生能力，推动院校和企业联合培养大数据人才，加强学校教育与产业发展的有效衔接，促进职业院校信息类相关专业共同发展，为国家战略规划提供大数据领域的高素质技能型人才。三、竞赛内容赛项以大数据技术与应用为核心内容，重点考查参赛选手基于Hadoop平台环境下，利用Hadoop技术生态组件，综合软件开发相关技术，解决实际问题的能力，具体包括：掌握按照项目需求配置管理Hadoop大数据平台及相关生态组件；掌握企业常用采集工具和网络爬虫的相关技术，完成指定数据的采集及处理能力；综合利用MapReduce、Spark等技术、分布式存储系统、数据仓库Hive等工具，使用Java、Python、Scala等开发语言，完成数据清洗、存储、转化、分析及数据推送等一系列大数据操作；综合运用HTML、CSS、JavaScript、Python等开发语言，对数据进行可视化呈现；根据数据可视化结果，完成数据分析报告的编写；竞赛时长4小时，竞赛连续进行。竞赛内容构成如下：考核环节考核知识点和技能点描述Hadoop平台及组件的部署管理Hadoop平台安装部署和基本配置考察Hadoop平台及组件的部署能力，掌握常用的基本配置和命令，能够部署和管理Hadoop高可用集群。Hadoop集群节点的动态增加与删除Hadoop平台相关组件部署与管理Hadoop平台的高可用数据采集使用开发者工具查看网页源码，分析网页结构，明确数据采集对象考察学生多维度数据采集能力，包括对关系型数据库和网络爬虫技术的应用。构建数据采集请求，抓取网络数据利用网络爬虫相关组件实现网络数据爬取规则文件数据和关系型数据库数据抓取以及数据同步数据采集结果导出及数据库推送数据清洗与分析基于Hadoop平台架构组件和多维度的数据采集，实现数据一致性检查、无效值和缺省值的处理考察对分布式计算、分布式存储系统、数据仓库等综合应用能力，使用Java、Python、Scala等开发语言，完成数据清洗、数据存储、数据转化、数据分析、数据预测及数据推送等一系列数据操作多表数据合并和离群值处理通过常见的数据分析算法，对数据进行标准化、离散化和二元化分析掌握数据仓库导入、导出，利用数据仓库相关命令或代码实现数据多维度、多层次的分析对数据的查询、整理和计算。进行编译、打包、发布，执行程序，完成数据处理、清洗。实现不同数据库间的文件传输及转换数据预测分析数据可视化编写后台代码实现数据库访问和数据整理通过常见的数据可视化方法，将数据分析结果以图表的形式进行呈现，使用Python及Web前端等编程语言，实现数据源分析结果展现编写Web前端代码，对数据分析结果进行呈现综合分析通过知识技能，根据数据分析、预测及可视化结果进行分析，做出分析报告。考察学生对大数据技术与分析的综合操作能力和业务分析能力竞赛各阶段分值权重分布如下：主要涉及的知识和技能点分值权重Hadoop平台及组件的部署管理15%数据采集20%数据清洗与分析25%数据可视化20%综合分析15%团队分工明确合理、操作规范、文明竞赛5%四、竞赛方式本赛项为团体赛，每队由3名选手组成。选手报名资格和具体参赛队数、指导教师数等按照《山东省教育厅等4部门关于举办2019年全省职业院校技能大赛的通知》规定。五、竞赛流程根据竞赛任务要求，参赛队伍在4小时竞赛时间内须完成竞赛任务，参赛队伍须按顺序完成各项任务，但每项任务用时可自行掌握。竞赛流程竞赛时间安排日期时间内容比赛前1日12:00之前各参赛队报到10:00—11:00工作人员（含监考）培训会15:30—16:00赛前领队会16:00—16:30参赛队熟悉比赛场地17:00—18:00现场裁判赛前检查，封闭赛场比赛当日7:00—7:30参赛队集合前往比赛现场7:30—7:45赛场检录：一次加密和二次加密7:45—8:00竞赛选手进入赛位、检查设备。现场裁判发放题目，宣布竞赛注意事项8:00—12:00比赛12:00—13:20收取各参赛队赛题及比赛结果文档12:00—14:00申诉受理12:00—12:30三次加密：竞赛结果等文件加密12:30—15:30成绩评定与复核15:30—16:00加密信息解密16:00—17:00成绩汇总，报送及公布六、竞赛命题本赛项是建立试题库。于竞赛前十天发布在“山东省职业院校技能大赛网。七、竞赛规则比赛前半小时，选手经过两次加密，决定赛位，比赛期间参赛选手原则上不得离开比赛场地；竞赛所需的硬件、软件和辅助工具统一提供，参赛队不得使用自带的任何有存储功能的设备，如硬盘、光盘、U盘、手机、随身听等；参赛队在赛前10分钟领取比赛任务并进入比赛赛位，比赛正式开始后方可进行相关操作。参赛队自行决定选手分工、工作程序；在比赛过程中，参赛选手如有疑问，应举手示意，现场裁判应按要求及时予以答疑。如遇设备或软件等故障，参赛选手应举手示意，现场裁判、技术人员等应及时予以解决。确因计算机软件或硬件故障，致使操作无法继续的，经赛场裁判长确认，予以启用备用设备；比赛时间终了，选手应全体起立，结束操作。经工作人员查收清点所有文档后方可离开赛场，离开赛场时不得带走任何资料；赛项裁判应严格遵守赛项各项规章制度，确保比赛公平、公正、公开。比赛当天8:00起，赛项裁判应上交所有通信设备，由赛项执委会统一保管并安排赛项裁判在指定区域休息或工作，直至赛项成绩评定结束；比赛结束，经加密裁判对各参赛队提交的竞赛成果进行三次加密后，评分裁判方可入场进行成绩评判。竞赛成绩经复核无误后，由记分员将解密后的各参赛队伍成绩汇总成比赛成绩，经裁判长、监督组签字后，在指定地点，以纸质形式向全体参赛队进行公布。公布2小时无异议后，将赛项总成绩的最终结果录入赛务管理系统，经裁判长、监督组长和仲裁长在系统导出成绩单上审核签字后，在闭赛式上宣布并颁发证书；本赛项各参赛队最终成绩由承办单位信息员录入赛务管理系统。承办单位信息员对成绩数据审核后，将赛务系统中录入的成绩导出打印，经赛项裁判长审核无误后签字。承办单位信息员将裁判长确认的电子版赛项成绩信息上传赛务管理系统，同时将裁判长签字的纸质打印成绩单报送大赛执委会；赛项结束后专家工作组根据裁判判分情况，分析参赛选手在比赛过程中对各个知识点、技术的掌握程度，并将分析报告报备大赛执委会办公室，执委会办公室根据实际情况适时公布；赛项每个比赛环节裁判判分的原始材料和最终成绩等结果性材料经监督组人员和裁判长签字后装袋密封留档，并由赛项承办院校封存，委派专人妥善保管；其它未尽事宜，将在赛前向各领队做详细说明。八、竞赛环境1.竞赛场地。竞赛现场设置竞赛区、裁判区、服务区、技术支持区。现场保证良好的采光、照明和通风；提供稳定的水、电和供电应急设备。同时提供所有指导教师休息室1间。2.竞赛设备。所有竞赛设备由执委会负责提供和保障，竞赛区按照参赛队数量准备比赛所需的软硬件平台，为参赛队提供标准竞赛设备。3.竞赛工位。竞赛现场各个工作区配备单相220V/3A以上交流电源。每个比赛工位上标明编号。每个比赛间配有工作台，用于摆放计算机和其它设备工具等。配备3把工作椅（凳）。4.技术支持区为参赛选手提供竞赛相关设备备件。5.服务区提供医疗等服务保障。九、技术规范本赛项的技术规范将包括：相关专业的教育教学要求、行业、职业技术标准，以及根据高职目录修订后的大数据技术与应用相关专业人才培养标准和规范，适时地修订本赛项遵循的技术规范。基础标准标准号/规范简称名称GB/T11457-2006信息技术、软件工程术语GB8566-88计算机软件开发规范GB/T12991-2008信息技术数据库语言SQL第1部分：框架GB/T21025-2007XML使用指南GB/T28821-1012关系数据管理系统技术要求LD/T81.1-2006职业技能实训和鉴定设备技术规范软件开发标准标准号/规范简称名称GB/T8566-2001信息技术软件生存周期过程GB/T15853-1995软件支持环境GB/T14079-1993软件维护指南GB/T17544-1998信息技术软件包质量要求和测试十、技术平台竞赛设备比赛器材、技术平台：新华三大数据竞赛管理系统（合作企业：新华三技术有限公司；品牌：H3C），技术平台软硬件设备组成如下：序号设备名称数量备注1服务器1支撑大数据竞赛管理系统运行使用。内嵌虚拟化资源管理控制端，作为虚拟化资源管理系统的计算资源、网络资源和存储资源的源节点。1、CPU模块：2*2.3GHz2、内存模块：8*32GB3、硬盘模块：6*600GBSAS10K4、网口：4端口千兆电接口网卡-360T-B25、1+1冗余电源2大数据竞赛平台（H3C-ADEkvm-DT）1系统基于kvm构建，可模拟大数据环境搭建、大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用等贯穿大数据技术的相关知识点，提供大数据竞赛管理系统所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库等基础支撑环境；涵盖分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化技术。具体包括：Hadoop、HDFS、Hbase、Hive、MapReduce、Kafka、Spark、Storm、Mahout、MySQL、Echarts等，所涉及开发语言包括Java、Python、Scala、HTML、Javascript等。3PC机3竞赛选手比赛使用。性能相当于i5处理器，8G以上内存，1TB以上硬盘，显示器要求1024*768以上。4交换机11.机架式交换机2.端口：≥24个10/100/1000Base-TX以太网端口；3.速度：10/100/1000Base；4.全千兆三层交换机，支持访问控制。备注：实际赛场需要的服务器、PC机和交换机数量取决于参赛队伍数量。通用软件和工具清单设备类型软件类别软件名称、版本号服务器集群大数据集群操作系统CentOS7.4大数据分析平台组件Hadoop2.6.0Yarn2.6.0Zookeeper3.4.5Hive1.1.0Flume1.6.0Hbase1.2Sqoop1.4kafka1.0Spark2.0数据库MySQL5.7开发客户端PC操作系统Windows1064位浏览器Chrome开发语言Python3.6.464bitJava8Scala12开发工具Pycharm2019（CommunityEdition）IEAD2019（CommunityEdition）eclipse-jee-oxygenAnaconda3数据采集组件Requests2.21.0数据可视化组件ECharts4.0.4Xshell6免费版Xftp6免费版文档编辑器Office2007以上输入法拼音输入法备注：根据实际业务环境配置版本间的兼容性十一、成绩评定（一）评分标准制定原则客观性结果评分，采用优先判断功能实现评分原则，依据功能实现的状态信息截图，判断功能项是否实现，如果未实现功能，再按照配置步骤命令进行给分；三层加密原则。比赛过程采取三层加密，通过抽取参赛编号、赛位号和竞赛成果号，屏蔽参赛队信息，每个环节设置一名独立裁判，每个环节结束后，数据立即封存于裁判长，加密裁判直接隔离，确保成绩评定公平、公正；独立评分原则。根据裁判分工，负责相同模块评分工作的不同裁判采取随机抽签独立评分，确保成绩评定严谨、客观、准确。裁判进行随机抽签分组，杜绝主观意愿组队，各自完全独立评分，裁判员间互不干涉，比赛监督人员可随机监督；错误不传递原则。各环节分别计算得分，错误不传递，按规定比例计入团队总分；抽查复核原则；为保障成绩评判的准确性，监督组对赛项总成绩排名前30%的所有参赛队伍（选手）的成绩进行复核；对其余成绩进行抽检复核，抽检覆盖率不得低于15%；监督组需将复检中发现的错误以书面方式及时告知裁判长，由裁判长更正成绩并签字确认；复核、抽检错误率超过5%的，则认定为非小概率事件，裁判组需对所有成绩进行复核；竞赛评分制定严格遵守公平、公正和公开的原则。赛项合作企业不得直接或者间接地参与赛项评分；在竞赛过程中，选手如有不服从裁判判决、扰乱赛场秩序、舞弊等不文明行为，由裁判按照规定扣减相应分数并且给予警告，情节严重的取消竞赛资格，竞赛成绩记0分，队员退出比赛现场。（二）评分细则任务考查点描述评分标准分值（分）Hadoop平台及组件的部署管理（15分）组件、配置、管理按照Hadoop大数据平台部署要求完成平台安装部署和基本配置，按要求完成平台相关组件的部署与管理，以及集群节点的动态增删和高可用部署。检查平台进程运行状态，确定配置正确。主要评分点包括Linux系统基本操作、Hadoop平台安装、相关配置文件修改、平台相关组件部署、集群节点的动态增删、平台高可用部署。15数据采集（20分）数据采集代码编写按照要求完成数据采集代码的编写，使得数据采集程序能够正常运行，将采集到的数据保存在指定格式的路径下。主要评分点包括数据采集请求构建、数据解析、数据存储、数据文件操作。20数据清洗与分析（25分）数据清洗与分析代码编写完成对数据的查询、整理和计算。进行编译、打包、发布，并在服务器上执行程序完成数据清洗工作，将清洗后的数据放置在指定路径下。将清洗后的数据加载到数据仓库后，根据项目需求使用命令或代码，完成数据分析查询，并将查询结果导出为数据文件。主要评分点包括数据处理代码编写、数据文件解析、构建数据输出格式、打包发布、数据清洗执行。数据仓库建库、建表、查询等处理。25数据可视化（20分）数据可视化代码编写通过编写后台数据访问代码完成数据可视化后台开发，编写前端Web界面实现数据分析结果可视化呈现。主要评分点包括可视化后台代码开发、可视化前端代码开发、前端展示。20综合分析（15分）文档编写根据项目要求，以数据可视化结果为依据，得出数据分析结论，生成分析报告并提交。主要评分点包括能够按照赛项要求编写结论，能够按照要求提出正确的建议。15职业素养（5分）职业素养团队分工明确合理、操作规范、文明竞赛主要评分点包括：竞赛团队分工明确合理、操作规范、文明竞赛。5（三）评分方法竞赛设置裁判16人，包括裁判长1名，裁判15名。其中加密裁判3人，现场裁判4人，评分裁判8人；竞赛采取三次加密。第一次加密裁判组织参赛队选手第一次抽签，抽取参赛编号，替代选手身份证等个人信息；第二次加密裁判组织参赛选手进行第二次抽签，确定赛位号，替换选手参赛编号；第三次加密裁判对各参赛队竞赛结果进行加密，替换赛位号。三次加密信息由不同加密裁判密封后保管，在评分结束后进行解密并统计成绩；最后得分相同的，按照分数占比高的任务得分高排名在前（占比相同的任务合并分计算），不出现并列名次。裁判长正式提交评分结果并复核无误后，加密裁判在监督人员监督下进行三层解密：竞赛结果编号到赛位号解密；赛位号到参赛编号解密；参赛编号到参赛队名称解密；在竞赛过程中，参赛选手如有不服从裁判裁决、扰乱赛场秩序、舞弊等行为的，由裁判长按照规定扣减相应分数，情节严重的将取消比赛资格，比赛成绩计0分；赛项成绩解密后汇总比赛成绩，经裁判长、监督组签字后，在指定地点以纸质形式向全体参赛队公布。成绩无异议后，在闭赛式上予以宣布。严格按照《2019年山东省职业院校技能大赛制度汇编》的要求，本赛项各参赛队最终成绩由承办单位信息员录入赛务管理系统。承办单位信息员对成绩数据审核后，将赛务系统中录入的成绩导出打印，经赛项裁判长审核无误后签字。承办单位信息员将裁判长确认的电子版赛项成绩信息上传赛务管理系统，同时将裁判长签字的纸质打印成绩单报送大赛执委会。十二、赛场预案（一）应急安全预案比赛期间发生意外事故，发现者应第一时间报告赛项执委会，同时采取措施避免事态扩大。赛项执委会应立即启动预案予以解决并报告赛区执委会。赛项出现重大安全问题可以停赛，是否停赛由赛区执委会决定。事后，赛区执委会应向大赛执委会报告详细情况。相关应急预案如下表所示：突发事件预防措施事件发生后应对措施参赛选手发病或受伤在各赛位张贴安全操作说明。医务人员应采取紧急救护措施，及时进行救治，如病情或伤势严重，应及时送往最近医院进行救治。人员发生食物中毒比赛期间指定的住宿/餐饮场地符合国家相关资质要求。并协调地方卫生部门做好检查工作。立即组织对中毒人员进行救治，必要时送往最近医院进行检查治疗。同时对可疑的食品、饮水及其有关原料、工具设备和场所以及可能受污染的区域采取保留、控制措施，组织开展现场调查，迅速查明原因，并及时向大赛执委会报告。设备损坏提前一天服务器全部运行；现场划分备份组。参赛选手举手示意后，监考人员计时，裁判确认后更换备份组，并由主裁判确定应计入延时时间。现场网络线缆故障现场走线要规范，尽量走暗槽或现场人员接触不到的地方；对主要线路要在走线槽内留有备线。启用备线。临时停电赛场需要双路供电和备用发电机，确保单电源故障不会影响比赛供电线路互为备份，如出现故障，切换线路，经裁判长与赛项执委会商议统一延长比赛时间；若双路电源均出现故障，快速启用备用发电机发电，保证比赛正常运行，经裁判长与赛项执委会商议统一延长比赛相应时间。（二）处罚措施因参赛队伍原因造成重大安全事故的，取消其获奖资格；参赛队伍有发生重大安全事故隐患，经赛场工作人员提示、警告无效的，可取消其继续比赛的资格；赛事工作人员违规的，按照相应的制度追究责任。情节恶劣并造成重大安全事故的，由司法机关追究相应法律责任。十三、申诉与仲裁大赛采取二级仲裁机制。各赛项设赛项仲裁工作组，大赛执委会设仲裁委员会。各参赛队对不符合大赛和赛项规程规定的仪器、设备、工装、材料、物件、计算机软硬件、竞赛使用工具、用品，竞赛执裁、赛场管理，以及工作人员的不规范行为等，可向赛项仲裁工作组提出申诉。申诉主体为参赛队领队。申诉启动时，领队向赛项仲裁工作组递交亲笔签字同意的书面申诉报告。申诉报告应对申诉事件的现象、发生时间、涉及人员、申诉依据等进行充分、实事求是的叙述。非书面申诉不予受理。提出申诉的时间应在竞赛结束后（选手赛场竞赛内容全部完成）2小时内，超过时效不予受理。赛项仲裁工作组在接到申诉报告后的2小时内组织复议，并及时将复议结果以书面形式告知申诉方。申诉方对复议结果仍有异议，可由市（高职院校）领队向仲裁委员会提出申诉。仲裁委员会的仲裁结果为最终结果。十四、竞赛观摩本赛项将会设计观摩区，使用大屏幕实时转播现场实况。竞赛环境依据竞赛需求和职业特点设计，在竞赛不被干扰的前提下安全开放部分赛场。现场观摩应遵守如下纪律：观摩人员需在工作人员带领下沿指定路线、在指定区域内到现场观赛；文明观赛，不得大声喧哗，服从赛场工作人员的指挥，杜绝各种违反赛场秩序的不文明行为；观摩人员不得进入比赛区域，不可接触设备，同参赛选手、裁判交流，不得传递信息，不得采录竞赛现场数据资料，不得影响比赛的正常进行；观摩者不可携带手机、IPAD等通讯工具进入赛场，对于各种违反赛场秩序的不文明行为，工作人员有权予以提醒、制止。十五、竞赛直播本赛项竞赛时采用全过程录像，在不影响比赛的前提下，全过程、全方位安排现场直播，并设直播观摩区，让所有参赛教师和社会人员等观看比赛。赛后邀请媒体采访优秀选手、优秀指导教师、裁判专家或企业人士，突出赛项的技能重点与优势特色，为大赛宣传、资源转化提供全面的信息资料。视频资料也作为竞赛成果提交赛项执委会，作为竞赛历史材料供后续赛项提高进行参考，竞赛过程可作为教学资料进行资源转换，促进相关专业教学发展。十六、竞赛须知（一）参赛队须知参赛队名称：统一使用规定的学校代表队名称，不使用其他组织、团体的名称；参赛队组成：见前面说明；各参赛院校应指定1名负责人任赛项领队，全权负责该校参赛事务的组织、协调和领导工作；参赛选手及指导教师在报名获得确认后，原则上不再更换。如在筹备过程中，参赛选手和指导教师因故不能参赛，须由其所在学校供职部门于赛项开赛前10个工作日之前出具书面说明，经大赛执委会办公室核实后予以更换。允许队员缺席比赛；允许指导教师缺席比赛；参赛队按照大赛赛程安排，凭身份证件和学生证参加比赛及相关活动；赛项执委会统一安排各参赛队在比赛前一天进入赛场熟悉环境和设施情况；参赛队选手、领队和指导教师要有良好的职业道德，严格遵守比赛规则和比赛纪律，服从裁判，尊重裁判和赛场工作人员，自觉维护赛场秩序；领队应负责赛事活动期间本队所有选手的人身及财产安全，如发现意外事故，应及时向赛项执委会报告；各学校组织代表队时，须为参赛选手购买大赛期间的人身意外伤害保险；对于有碍比赛公正和比赛正常进行的参赛队，视其情节轻重，按照规定给予警告、取消比赛成绩、通报批评等处理。其中，对于比赛过程及有关活动造成重大影响的，以适当方式通告参赛院校或其所属地区的教育行政主管部门依据有关规定给予行政或纪律处分。涉及刑事犯罪的移交司法机关处理。（二）领队和指导教师须知严格遵守赛场的各项规定，服从裁判，文明竞赛。如发现弄虚作假者，取消参赛资格，名次无效；领队和指导教师务必带好有效身份证件，参加竞赛相关活动；各代表队领队要坚决执行竞赛的各项规定，加强对参赛人员的管理，做好赛前准备工作，督促选手带好证件等竞赛相关材料；在比赛期间要严格遵守比赛规则，不得私自接触裁判人员；竞赛过程中，未经裁判许可，领队、指导教师及其他人员一律不得进入竞赛现场；如对竞赛过程有疑议，由领队和指导教师负责以书面形式向大赛仲裁委员会反映，但不得影响竞赛进行；对申诉的仲裁结果，领队要带头服从和执行，并做好选手工作。参赛选手不得因申诉或对处理意见不服而停止竞赛，否则以弃权处理；领队和指导老师应及时查看有关赛项的通知和内容，认真研究和掌握本赛项竞赛的规程、技术规范和赛场要求，指导选手做好赛前的一切技术准备和竞赛准备。（三）参赛选手须知参赛选手应严格遵守赛场规章、操作规程和工艺准则，保证人身及设备安全，接受裁判员的监督和警示，文明竞赛；参赛选手应按照规定时间抵达赛场，凭身份证、学生证，完成入场检录、抽签确定竞赛赛位号，不得迟到早退；参赛选手凭竞赛赛位号进入赛场，不允许携带任何电子设备及其他资料、用品；参赛选手应在规定的时间段进入赛场，认真核对竞赛赛位号，在指定位置就座；参赛选手入场后，迅速确认竞赛环境状况，填写相关确认文件，并由参赛队长确认签字（竞赛赛位号）；参赛选手在收到开赛信号前不得启动操作。在竞赛过程中，确因计算机软件或硬件故障，致使操作无法继续的，经项目裁判长确认，予以启用备用计算机；赛项任务书及相关资料，均保存在竞赛环境的“大赛资料”中。参赛选手应在竞赛规定时间内完成任务书内容，并按照要求，将相应文档按要求进行提交；参赛选手需及时保存工作记录