《大数据开发技术》课程标准（含课程思政）

《大数据开发技术》课程标准学分：6学时：96（实践学时数：50）适用专业：大数据技术与应用开设学期：4教学环境：多媒体教室，机房一、课程性质和课程定位《大数据开发技术》课程是大数据技术与应用专业的专业核心课程，是融入课程思政教育的课程。本课程依据大数据技术与应用专业人才培养目标和相关职业岗位（群）的能力要求而设置，对本专业所面向的大数据应用开发岗位所需要的知识、技能和素质目标的达成起支撑作用。在课程设置上，课程的前置课程为《Hadoop大数据平台构建》、《Java核心技术》和《数据库技术与应用》，后继课程为专业综合实训，通过这些课程的学习，学生可以掌握大数据开发所需基本技能，为后续工作、学习奠定基础。二、课程培养目标（一）知识目标1.掌握HDFSJavaAPI操作2.掌握MapReduce常用编程组件的使用3.掌握ZookeeperJavaAPI操作4.掌握HBaseJavaAPI操作5.熟悉HBase的数据转移6.掌握Hive数据库和表操作7.掌握Hive的JDBC8.掌握Hive和HBase的整合9.掌握使用Sqoop进行数据的导入和导出10.掌握KafkaJavaAPI操作11.熟悉Kalka生产者拦截器的使用12.掌握Flume日志采集的编写13.掌握招聘网站分析系统的开发（二）职业技能目标1.具备使用HDFSJavaAPI对HDFS系统中文件进行增、删、改、查的能力2.具备使用MapReduce常用编程组件的能力3.具备使用ZookeeperJavaAPI完成对ZNode节点操作的能力4.具备HBaseJavaAPI对表进行增、删、改、查的能力5.具备使用HBase进行数据转移的能力6.具备使用Hive进行数据库和表操作的能力7.具备使用JDBC远程访问Hive的能力8.具备使用HiveQL对HBase的表进行操作的能力9.具备使用Sqoop进行数据的导入和导出的能力10.具备使用KafkaJavaAPI进行消息的创建与接收的能力11.具备使用Kafka生产者拦截器的能力12.具备使用Flume进行日志采集的能力13.具备使用Flume拦截器和选择器的能力14.具备完成招聘网站分析系统设计与开发的能力（三）职业素养和资格证书目标1.理解职业精神，形成良好的职业规范，建立职业责任感，增强职业荣誉感；2.注重强化学生工程伦理教育，培养学生精益求精的大国工匠精神，激发学生科技报国的家国情怀和使命担当；3.熟练使用国家通用语言文字进行沟通交流和编写软件开发过程中的相关文档，提高学生的爱国情怀；4.考取“1+X”国家工业和信息化部教育与考试中心组织的大数据应用开发（JAVA）中级证等相关的职业技能证书。三、课程内容与要求教学模块教学任务任务目标学时模块一搭建Hadoop开发环境配置大数据开发环境1、了解大数据技术架构2、熟悉IDEA的安装和常用配置3、掌握Windows中设置Hadoop开发环境4、掌握MAVEN的安装及本地仓库的设置2模块二分布式文件系统HDFSHDFSJavaAPI操作1、了解HDFS基本概念2、熟悉HDFS架构和原理3、掌握HDFSShell常用命令4、掌握HDFS文件/文件夹操作5、掌握使用I/O流操作HDFS文件6、掌握项目导出为jar包的操作12模块三分布式计算框架MapReduceJavaAPI编写MapReduce程序1、了解MapReduce的基本概念2、熟悉MapReduce的运行过程3、熟悉MapReduce编程规范4、掌握数据去重和单词计数程序的编写8模块四分布式协调框架Zookeeper任务1ZookeeperJavaAPI操作1、了解Zookeeper基本概念2、熟悉ZookeeperShell操作3、掌握Zookeeper客户端操作4、掌握监听节点数据变化5、掌握节点增减变化10任务2监听服务器动态上下线1、了解Zookeeper的Watch机制2、熟悉Zookeeper监听服务器流程3、掌握服务器端向Zookeeper注册代码4、掌握客户端监听Zookeeper集群节点4模块五分布式列存储数据库HBase任务1HBaseJavaAPI1、了解HBase基本概念2、熟悉HBaseShell操作3、掌握HBase表操作6任务2HBase数据转移1、掌握HBase在不同表之间数据转移2、掌握HDFS数据转移至HBase4模块六数据仓库Hive任务1Hive库/表操作1、了解Hive基本概念2、掌握Hive数据库操作3、掌握Hive表操作4、掌握Hive自定义函数的编写4任务2HiveJDBC操作1、熟悉远程访问Hive数据的方法2、掌握JDBC程序访问Hive数据的流程2任务3Hive与HBase整合1、了解Hive与HBase整合的核心2、掌握Hive操作HBase的两种方式2任务4Hive日志分析1、掌握日志数据导入Hive的方法2、掌握日志分析方法2模块七数据迁移Sqoop任务1数据导入导出1、掌握MySQL表数据导入到HDFS、Hive、HBase中2、掌握HDFS、Hive、HBase中数据导出到MySQL表中2模块八分布式消息队列Kafka任务1KafkaJavaAPI操作1、了解Kaka基本概念2、熟悉Kafka命令行操作3、掌握创建生产者方法4、掌握创建消费者方法4任务2Kafka生产者拦截器1、了解拦截器的作用2、掌握创建时间拦截器3、掌握创建信息发送状态统计拦截器4、熟悉创建生产者4模块九海量数据采集Flume任务1Flume日志监控1、掌握Flume采集日志数据到控制台2、掌握Flume采集日志文件数到HDFS2任务2Flume拦截器1、熟悉Flume常见内置拦截器2、掌握Flume自定义拦截器2任务3Flume日志采集掌握Flume多节点采集数据2任务4Flume和Kafka整合掌握Flume采集数据写入Kafka2模块十招聘网站分析系统的开发开发招聘网站分析系统1、了解招聘网站分析系统2、掌握数据采集3、掌握数据预处理4、掌握数据仓库开发5、掌握数据分析6、掌握数据导出7、掌握日志分析系统报表展示22合计96四、课程的教学设计思想课程依据“模块教学、任务驱动”模式开发，调研大数据技术与应用相关岗位，将岗位需要的“理论知识”和“实践技能”相结合，提炼典型工作岗位需求，选择学习内容领域，设计学习任务。课程设计以岗位需求为基础，以职业能力培养为重点，以工作任务为导向，采用理实一体化模式，注重学生基础知识的学习和再学习能力的培养，将课程思政融入任务实施中。通过本课程的学习，使学生了解大数据开发体系结构，掌握大数据开发的各组件和JavaAPI的使用，同时帮助学生提升职业岗位需要的团队协作能力，语言表达能力，沟通能力和再学习能力，凸显课程的工具性作用。五、学习资源的选用（一）教材：《Hadoop大数据技术开发实战》，张伟洋著，清华大学出版社（二）参考教材：《Hadoop大数据技术原理与应用》黑马程序员著，清华大学出版社（三）教学资源：职教云平台、大数据教学资源及实验管理系统、项目案例、多媒体课件、实验指导书、试题库六、课程实施意见（一）设计思路课程教学内容以“项目导向、任务驱动”的教学模式为主，选取数据的采集、存储、清洗、分析等任务。按照任务分析和描述、任务实施、任务小结、任务拓展四步教学法开展教学。学生带着任务学知识、练技能，具有情景真实性、过程可操作性、结果可检验性的特点，主要培养目标是通过课程的学习，使学生具备大数据开发的能力，通过知识的学习和训练，激发学生创新意识和创新欲望，培养学生学习的积极性和主动性，达到对学生应具备的社会能力、学习能力和专业能力的进一步提升。（二）课程大纲和时间安排序号单元名称学时安排（学时）1模块一搭建Hadoop开发环境22模块二分布式文件系统HDFS123模块三分布式计算框架MapReduce84模块四分布式协调框架Zookeeper145模块五分布式列存储数据库HBase106模块六数据仓库Hive107模块七数据迁移Sqoop28模块八分布式消息队列Kafka89模块九海量数据采集Flume810模块十招聘网站分析系统的开发22合计96（三）课程实施方案1.模块一搭建Hadoop开发环境教学目标：了解大数据技术架构；熟悉IDEA的安装和常用配置；掌握Windows中设置Hadoop开发环境；掌握MAVEN的安装及本地仓库的设置教学重点难点：Idea、Maven的安装和设置教学方法：任务驱动法、讲授法教学形式：分组教学教学场景：机房教学时间：2学时2.模块二分布式文件系统HDFS教学目标：了解HDFS基本概念；熟悉HDFS架构和原理；熟悉HDFSShell常用命令；掌握HDFS文件/文件夹操作；掌握使用I/O流操作HDFS文件；掌握项目导出操作教学重点难点：HDFS文件操作；I/O流操作HDFS文件教学方法：任务驱动法、讲授法教学形式：分组教学教学场景：教学教学时间：12学时3.模块三分布式计算框架MapReduce教学目标：了解MapReduce的基本概念；熟悉MapReduce的运行过程；熟悉MapReduce编程规范；掌握数据去重和单词计数程序的编写教学重点难点：数据去重和单词计数程序教学方法：任务驱动法、讲授法教学形式：分组教学教学场景：机房教学时间：8学时4.模块四分布式协调框架Zookeeper教学目标：了解Zookeeper基本概念；熟悉ZookeeperShell操作；掌握Zookeeper客户端操作；掌握监听节点数据变化；掌握监听节点增减变化；掌握监听服务器动态上下线教学重点难点：Zookeeper客户端操作；监听节点变化；监听服务器动态上下线教学方法：任务驱动法、讲授法教学形式：分组教学教学场景：机房教学时间：14学时5.模块五分布式列存储数据库HBase教学目标：了解HBase基本概念；熟悉HBaseShell操作；掌握HBase表操作；掌握HBase在不同表之间数据转移；掌握HDFS数据转移至HBase教学重点难点：HBase表操作；HBase数据转移；教学方法：任务驱动法、讲授法教学形式：分组教学教学场景：机房教学时间：10学时6.模块六数据仓库Hive教学目标：了解Hive基本概念；掌握Hive数据库操/表操作；掌握Hive自定义函数的编写；掌握JDBC程序访问Hive数据的方法；掌握HBase表和Hive整合的实现；掌握Hive日志分析的方法教学重点难点：Hive数据库/表操作；JDBC程序访问Hive数据；HBase表和Hive整合；Hive日志分析教学方法：任务驱动法、讲授法教学形式：分组教学教学场景：机房教学时间：10学时模块七数据迁移Sqoop教学目标：掌握数据导入和导出教学重点难点：MySQL表数据导入到HDFS、Hive、HBase；HDFS、Hive、HBase数据导出到MySQL表教学方法：任务驱动法、讲授法教学形式：分组教学教学场景：机房教学时间：2学时8.模块八分布式消息队列Kafka教学目标：了解Kaka基本概念；熟悉Kafka命令行操作；掌握创建生产者方法；掌握创建消费者方法；掌握Kafka生产者拦截器教学重点难点：创建生产者和消费者；创建生产者拦截器链教学方法：任务驱动法、讲授法教学形式：分组教学教学场景：机房教学时间：8学时9.模块九海量数据采集Flume教学目标：掌握Flume采集日志文件数据到控制台和HDFS；熟悉Flume常见内置拦截器；掌握Flume自定义拦截器；掌握Flume多节点采集数据；掌握Flume采集数据写入Kafka的方法教学重点难点：Flume采集日志；Flume自定义拦截器；Flume多节点采集数据；Flume与Kafka整合教学方法：任务驱动法、讲授法教学形式：分组教学教学场景：机房教学时间：8学时10.模块十招聘网站分析系统的开发教学目标：教学重点难点：教学方法：任务驱动法、讲授法教学形式：分组教学教学场景：机房教学时间：22学时七、课程考核（一）考核方式成绩采用多维度考核方式，包括出勤10%+课堂表现20%+作业10%+期末考试成绩60%。（二）考核标准（各部分成绩所占比重和试题题型分布及分数分布）考试题包括填空题、选择题、判断题、编程题。模块五、七、八为本课程熟悉的内容，共占总成绩的30%，约30分左右；模块二、三、四、六、九为本课程的重点内容，总共占总成绩的70%，约70分左右。模块二、三、四、六、九涉及到所有题型，模块五、七、八主要出填空题、选择题和判断题。八、教学基本条件（一）教学团队基本要求1、良好的职业和个人素养，具有团队精神，责任感强2、熟悉高职教育规律、实践经验