大数据技术与应用

附件25：高职电子信息大类大数据技术与应用赛项技能竞赛规程、评分标准及选手须知一、竞赛内容赛项名称：大数据技术与应用赛项内容：以大数据技术与应用为核心内容，重点考察参赛选手在Hadoop平台环境下，对于大规模并行数据处理以及内存计算技术的应用能力。具体包括：1.掌握Hadoop平台环境部署与基本配置，了解基于大数据计算平台的常见应用；2．综合利用numpy、pandas、matplotlib、scikit模块和MapReduce技术、分布式存储系统HDFS、分布式计算框架MapReduce/Yarn、数据仓库Hive、Python等开发语言工具和技术，匹配和连接数据源，实现大数据的采集，提取、清洗、转换、分析、挖掘操作，产生分析结果，并且实现可视化呈现。3．依据项目应用需求和分析结果，完成数据分析报告的编写。二、竞赛方式本赛项为团体赛，每支参赛队由3名参赛选手组成。三、竞赛时量竞赛时间4小时，竞赛连续进行。四、名次确定办法名次确定办法原则上按照竞赛总成绩从高分到低分排序确立选手名次。总成绩相同时，完成时间较短者名次列前；成绩和完成时间均相同时，操作过程较规范者名次列前。五、评分标准与评分细则1．评分标准本赛项总分为100分，采取分项计分制（表1）。

表1考核环节及评分标准考核环节考核知识点和技能点分值Hadoop平台安装部署Hadoop平台安装部署和基本配置。15HDFS常用操作命令（查询文件类别、上传、删除文件、查询HDFS基本统计信息）。Hadoop集群的性能调优。数据抓取规则文件数据和关系型数据库数据抓取以及数据同步（同Hadoop/Hive数据同步）。30掌握Hive数据仓库导入、导出以及同Hadoop数据文件的转换，实现Hive数据管理常用命令。能够通过Python编程，使用streaming和MapReduce机制实现数据的抓取。数据清洗、整理、计算和表达基于MapReduce的HDFS文件系统的文件数据的数据查询、整理和计算。20结合Hadoop大数据平台相关技术实现对数据的分析和展现。应用Python编程工具，实现给定数据源的采集，提取、清洗、转换、分析、挖掘操作，产生分析结果，并且实现可视化呈现。综合分析综合应用数据抓取、清洗、整理、计算和表达等相关知识及技术，使用Python编程工具，实现对提供的数据源分析、展现，根据展现结果得出结论，并对结论进行分析，形成分析报告。30团队分工明确合理、操作规范、文明竞赛5合计1002．评分细则竞赛成绩评定实行“裁判长合权负责制”，负责组织评分裁判进行成绩评定。评分裁判负责对参赛队伍（选手）的比赛作品、比赛表现按赛项评分标准进行评定。成绩评定根据竞赛考核目标、内容对参赛队或选手在竞赛过程中的表现和最终成果做出评价。本赛项的评分方法为现场评分和结果评分，现场评分为5分，由现场裁判根据参赛队的操作规范以及综合表现情况进行评分；结果评分为95分，依据赛项评价标准，对参赛选手提交的竞赛成果进行评分。16．竞赛时间结束，选手应全体起立，结束操作。将资料和工具整齐摆放在操作平台上，经工作人员清点后可离开赛场，离开赛场时不得带走任何资料。17．参赛选手不得因各种原因提前离开赛场。如确因不可抗因素需要离开赛场的，须向现场裁判员举手示意，经裁判员许可并完成记录后，方可离开。18．凡在竞赛期间内提前离开的选手，不得返回赛场。19．在竞赛期间，未经赛项组委会批准，参赛选手不得接受其他单位和个人进行的与竞赛内容相关的采访。参赛选手不得将竞赛的相关信息私自公布。20．符合下列情形之一的参赛选手，经裁判组裁定后中止其竞赛:（1）不服从裁判员/监考员管理、扰乱赛场秩序、干扰其他参赛选手比赛，裁判员应提出警告，二次警告后无效，或情节特别严重，造成竞赛中止的，经裁判长确认，中止比赛，并取消竞赛资格和竞赛成绩。（2）竞赛过程中，由于选手人为造成计算机、仪器设备及工具等严重损坏，负责赔偿其损失，并由裁判长裁定其竞赛结束与否、是否保留竞赛资格、是否累计其有