《大数据分析技术》课程标准

《大数据分析》课程标准一、课程基本信息课程名称：大数据分析课程类型：专业技能核心课学时学分：48学时，3学分（其中：实践24学时）适用专业：大数据二、课程定位本课程主要定位于分布式数据存储、数据分析等岗位。它是从事大数据可视化展示的必备课程，在整个课程体系中有重要作用，本课程的前导课程是Linux操作系统、大数据环境搭建与运维。后续课程：网络爬虫与数据采集、NoSQL数据库技术及应用。本教材主要以Hadoop生态体系为主线使用大数据离线项目贯穿详细讲解其各组件的功能和使用方法，包括Hadoop介绍、HDFS分布式文件系统、MapReduce计算框架、Hive数据仓库工具、Sqoop数据迁移工具。全书知识点的讲解由浅入深，内容系统全面，使每一位读者都能有所收获，也保持了整本书的知识深度，可帮助开发人员快速实现大数据的离线分析。三、课程目标（一）总体目标通过学习本课程，需要掌握数据分析的常用方法及工具，掌握Hadoop生态体系中各组件的作用，掌握HDFS分布式文件系统的使用方法包括HDFSShell、Python操作HDFS等，掌握MapReduce数据清洗方法能够实现数据的清洗，掌握Hive数据库的使用方法、掌握数据的导入导出操作、掌握SparkSQL实现数据分析方法、掌握使用Sqoop进行数据的导入导出操作。（二）具体目标1．知识目标通过本课程的学习，掌握数据分布式存储方法，掌握大数据清洗的程序编写规则和编写语法，掌握向集群提交任务的方法，掌握使用Hive进行数据统计和存储的方法，掌握数据的迁移操作。2．素质目标引导学生诚实、守信、认真、严谨、踏实，具有较强的自信心、进取心。在学习过程中具有与人际交往、沟通、团队协作和处理公共关系的能力。在完成项目过程中具有自学能力、获取信息的能力，以及一定的组织、管理能力、具有敬业爱岗的职业意识和良好的职业道德意识。通过技能技术领域学习增强学生的民族自信心与自豪感，增强学生的爱国情怀、工匠精神，使学生明白他们是中国技术的未来的接班人，增强其不忘初心，砥砺前进，为中国梦努力奋斗的使命感，增强对社会主义核心价值观的理解，增强学生对国家发展的信心。教学内容与要求（一）确定教学内容的原则以学生为本由于数据分析方法及应用是一门理论与实际相结合的课程，需要学生动手上机实操，在设计教学内容时以操作为主，理论讲解为辅，让学生多动手操作实践。启发创造原则最大限度地调动学生学习的积极性和自觉性，激发他们的创造性思维，从而使学生在融会贯通地掌握知识和技能的同时，引导学生发挥想象，在实例的基础上进行个性化的创作，充分发展自己的创造性能力。联系实际原则教学内容必须要与实际相结合，让学生感受到课程的真实性，从而提高学生学习的积极性，激发学生的学习兴趣。（二）课程学时安排本课程基本教学学时为48学时，其中包括实践学时24学时，当教学计划安排的学时超出本课程的学时范围时，可根据就业面向的需要对超出部分的学时做适当调整。（三）课程学习内容设计与参考学时章节教学内容教学内容教学方法建议学时项目一初识电商产品数据的处理与分析任务一电商产品数据背景及数据分析概述技能点1电商产品数据背景技能点2大数据分析概念技能点3大数据分析应用场景技能点4大数据分析指标任务二电商产品数据处理与分析项目准备技能点1大数据分析工具简介技能点2大数据分析组件技能点3大数据分析流程技能点4大数据分析企业级应用教学方法：互动提问，案例分析，视听教学等理论4实践4项目二电商产品数据分布式存储任务一使用HDFSShell管理电商产品数据技能点1什么是HDFS技能点2HDFS存储架构技能点3HDFS文件存取机制技能点4HDFSShell基础命令技能点6HDFSShell管理命令任务二使用hdfs库管理电商产品数据技能点1hdfs库简介技能点2hdfs库方法教学方法：互动提问，实操体验，案例分析、操作等理论4实践4项目三电商产品数据分布式处理任务一使用正则表达式匹配电商产品数据技能点1MapReduce简介技能点2YARN简介技能点3正则表达式任务二使用HadoopStreaming处理电商产品数据技能点1HadoopStreaming简介技能点2HadoopStreaming使用教学方法：互动提问、视听教学、案例讲解、操作等理论4实践4项目四电商产品数据离线分析任务一使用Hive创建电商产品数据库技能点1Hive简介技能点2Hive数据库操作技能点3Hive表操作技能点4Hive数据操作任务二使用Hve对商产品数据统计技能点1算术运算技能点2数据查询任务三使用Spark创建基于电商产品数据的分布式数据容器技能点1SparkSQL简介技能点2DataFrame简介技能点3DataFrame创建任务四使用SparkSQL完成电商产品数据分析技能点1数据查看技能点2数据过滤技能点3数据处理技能点4数据存储教学方法：互动提问、视听教学、案例讲解、操作等理论4实践4项目五电商产品数据实时分析任务一创建数据流技能点1流式计算简介技能点2SparkStreaming简介技能点3DStream简介技能点4DStream创建任务二使用SparkStreaming对电商产品数据实时分析技能点1DStream转换操作技能点2DStream窗口操作技能点3DStream输出操作技能点4SparkStreaming启动与停止教学方法：互动提问、视听教学、案例讲解、操作等理论4实践4项目六电商产品数据迁移任务一根据电商产品数据统计结果创建数据表并查看技能点1Sqoop简介技能点2Sqoop连接器技能点3Sqoop配置数据库密码方式技能点4列出所有数据库技能点5列出中的所有表任务二使用Sqoop将Hive中电商产品数据统计结果导出技能点1Sqoop数据导入与导出技能点2其他常用命令教学方法：互动提问，案例分析，视听教学、操作等。理论4实践4五、课程标准适用范围适用于高职大数据技术专业。六、关于课程标准的说明本课程是校企合作开发课，是专业必修课程，也是专业核心课，在大数据课程体系中的占据重要位置，与Python程序设计、Linux操作系统及后续课程大数据应用开发、分析、可视化起到了承上启下的作用。课程时间分配表供参考，在保证达到教学要求的前提下，教学过程中可根据具体情况对内容次序和课时分配做适当的调整。七、考核及成绩评定方式（一）考核方式：考试（二）成绩评定办法成绩评定构成：单元测验分数/作业分数*40%+实践分数*20%+期末考试分数*40%＝总成绩（100分）成绩评定细则：单元测验/作业：4课时一次测验/作业，根据完成情况给予评价。实践：完成实训/实验指导书中规定的每个实训项目，根据实训/实验报告给予评价。期末考试：理论考试，覆盖各教学单元的基本技术原理及应用，着重考察对重点教学内容的综合掌握情况。鼓励将过程考核、实际能力考核、全面考核等理念贯彻到课程考核中来，重点着眼于科学全面地评价学生综合素质，强化知识应用