《大数据开发基础》课程标准

《大数据开发基础》课程标准课程名称：大数据应用开发课程代码：3250578适用专业：软件技术专业（大数据方向）课程性质：专业必修课学时：72时（理论：36实践：36）学分：4学分一、课程概述（一）课程的地位和任务大数据技术的发展，已被列为国家重大发展战略。而在过去的几年里，无论是聚焦大数据发展的《促进大数据发展行动纲要》，还是《“十三五”规划》中都深刻体现了政府对大数据产业和应用发展的重视。目前国内大数据发展还处于加速期、转型期，数据与传统产业的融合还处于起步阶段，各行业对大数据分析和挖掘的应用还不理想。但随着市场竞争的加剧，各行业对大数据技术研究的热情越来越高，在未来几年，各领域的数据分析都将大规模应用。本课程是软件技术专业核心课程，大数据技术入门课程，前续课程为《Linux基础》、《关系数据库基础》、《程序设计基础》、《Java面向对象编程》。后续课程为《Python编程基础》、《Python数据分析与应用》等。学生学完前续课程后已具备程序开发基础，通过本课程为学生搭建起通向“大数据知识空间”的桥梁和纽带，以“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”为原则，为学生在大数据领域“深耕细作”奠定基础、指明方向。本课程将系统讲授大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、流计算、图计算、数据可视化以及大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase和MapReduce等重要章节，安排了入门级的实践操作，让学生更好地学习和掌握大数据关键技术。（二）课程设计思路本课程在注重大数据时代应用环境前提下，考虑大数据处理分析需求多样复杂的基本情况，从初学者角度出发，以轻量级理论、丰富的实例对比性地介绍大数据常用计算模式的各种系统和工具。考虑到当前大数据发展处于起步并逐步赶超先进的阶段，其应用领域丰富广泛，在教学过程中应注重掌握大数据分析的实践操作。本课程通过丰富简单易上手的实例，让学生能够切实体会和掌握各种类型工具的特点和应用。本课程采用“项目驱动、案例教学、一体化课堂”的教学模式开展教学。整个课程采用若干单元案例和小型综合案例，72学时完成教师与学生互动的讲练结合教学过程。课程的理论实践一体化教学过程全部安排在软件项目开发实训室进行，教学中以学生为中心，教师全程负责讲授知识，指导项目开发。二、培养目标与要求（一）总体目标与要求本课程的总体目标是针对大数据程序员岗位，重点培养让学生建立对大数据知识体系的认识，了解Hadoop架构及其各个组件，掌握大数据查询分析计算的典型工具，掌握大数据平台的搭建能力、大数据的采集、数据存储、计算模式等大数据的应用开发能力和相关文档的编写能力。（二）具体目标与要求1、素质①培养学生的团队分工协作精神②培养学生的沟通表达能力③培养学生的质量至上观念④培养学生的工作责任意识2、知识①了解Hadoop的来源与特点②掌握Hadoop分布式文件系统HDFS的重要概念、体系结构、存储原理和读写过程，并熟练掌握分布式文件系统HDFS的使用方法③掌握MapReduce的原理④掌握Hadoop分布式数据库⑤了解大数据处理中常用的实时流处理框架有哪些3、能力①会搭建Hadoop的环境②能够掌握相关的数据库管理、存储、分析计算等技术基础③通过对数据库的学习和编程设计，掌握MapReduce的编程模型④会使用MapReduce完成常用的功能⑤会搭建HDFSNameNode环境⑥会进行Hive的部署，及Hive中DDL与DML的操作⑦会使用Sqoop，知道常用的SQLonHadoop框架三、教学内容（一）课程教学安排进程安排、学习任务（项目）描述、结构与内容、目标与要求及学时分配见下下表：表1《大数据开发基础》课程教学内容设计表序号学习任务（项目）子任务（项目）教学内容课时数（理论/实践）目的要求（知识点、能力点、素质点）教学方式（教学方法、教学手段）教学场地1大数据概述大数据概述大数据发展；大数据概念及特征；大数据的产生和数据类型；大数据的计算模式；大数据的典型应用2/2了解大数据的发展、概念及特征；掌握大数据的典型应用；讲授教室机房一体化实训室2数据获取数据获取Scrapy环境搭建；爬虫项目创建；

采集目标数据项定义；

爬虫核心实现；

爬虫运行2/2熟悉网络爬虫；了解爬虫常用的方法，掌握爬虫环境的搭建；具有良好的职业道德。

演示教室机房一体化实训室3Hadoop基础Hadoop安装Hadoop概述；Hadoop原理；

Hadoop安装与配置

；Hadoop生态系统简介2/2了解什么是Hadoop；

理解Hadoop的基本原理；

了解Hadoop社区各攻击的作用；

掌握Hadoop单机和集群的安装配置。案例教学教室机房一体化实训室4HDFS基本应用实战命令行接口；实战Java接口；

数据流简介2/2了解什么是HDFS；

理解HDFS的特征及作用；

了解HDFS接口的分类；

掌握数据流的基本原理和读写方法。案例教学教室机房一体化实训室5MapReduce应用开发网站的点击量配置HadoopMapReduce开发环境；编写和运行第一个MapReduce程序之前的准备；MapReduce应用案例2/2了解Mapreduce的定义、功能和发展历程；理解Map过程与Reduce过程的工作模式与任务调度；掌握使用Hadoop进行分布式运算的方法与技能。案例教学教室机房一体化实训室6分布式数据库Hbase登陆注册功能HBase简介；

HBase接口；安装HBase集群

；HBaseShell

；HBaseAPI

；HBase综合实例2/2了解HBase包含3个重要组件；熟悉HBase的基本应用；掌握HBase的特点。案例教学教室机房一体化实训室7数据仓库工具Hive数据库操作Hive简介；Hive接口实战；Hive复杂语句实战；Hive综合实例2/2了解大数据仓库Hive的原理和基本概念；掌握熟悉简单的Hive命令。案例教学教室机房一体化实训室8开源集群计算环境Spark数据库的高级操作Spark简介；

Spark接口实战；

Spark编程之RDD

；Spark实战案例之统计1000万人口的平均年龄；SparkMLlib实战（聚类实战）

。2/2理解理解Spark的工作机制；了解如何根据实际需求选择合适的算子操作数据；

了解使用Spark提供的算子对数据进行转化；

熟悉对源数据结构格式进行分析。案例教学教室机房一体化实训室9流实时处理系统Storm分页实现Storm概述；

Storm安装与配置；2/2了解Storm所包涵的基本概念及应用；熟悉Storm的安装；掌握简单的测试方法及基本使用方法。案例教学教室机房一体化实训室10企业级、大数据流处理Apex用户登录程序（JavaBean）购物车ApacheApex简介；

ApacheApex开发环境配置；运行TopNWords应用2/2了解Apex的特点；

熟悉熟悉该应用的主要功能。案例教学教室机房一体化实训室11事件流OLAP之DruidJavaBean在电子商城中的典型应用Druid简介；Druid应用场所；Druid集群；Druid单机环境4/4熟悉单机环境下Druid的搭建。；掌握使用Druid进行加载和查询数据。案例教学教室机房一体化实训室12事件数据流引擎Flink用户登录程序（JavaBean+JavaBean）网站计数器Flink概述；Flink基本架构；单机安装Flink；Flink运行第一个例子

Flink集群部署4/4了解Flink系统中包含的主要进程间的作用；熟悉Flink的简单操作。案例教学教室机房一体化实训室13分布式文件搜索Elasticsearch购物网站Elasticsearch简介；Elasticsearch单节点安装；插件Elasticsearch—head安装；Elasticsearch的基本操作；综合实战4/4了解什么是Elasticsearch。；理解Elasticsearch的基本架构。；掌握掌握Elasticsearch安装方法及基本的应用。案例教学教室机房一体化实训室14实例电商数据分析JavaBean封装数据库操作背景与挖掘目标；分析方法与过程4/4熟悉用爬虫从网络获取数据进行预处理并导入到Hadoop。；熟悉对数据进行统计挖掘分析。案例教学教室机房一体化实训室（二）实验（实训）安排该课程的实训已融入了教学，是教学与实训同时进行，在教学安排中已体现实践，实践课与理论课各一半，分别为36节。实训环境均为教室机房一体化实训室，实训的设备要求为标准的计算机皆可，实训的软件环境已在教学过程中体现与完成安装。四、课程实施保障（一）教材的选用及编写建议1、教材的选用大数据技术与应用基础，陈志德等，人民邮电出版社，2017。该教材遵循“够用、实用”的原则，以真实任务为驱动，在真实环境中介绍局域网组件知识和技能，采用“理论实践一体化”的教学思想，符合“做中学，学中做”的教学理念，便于实现“教、学、做”三位一体。2、教材编写建议教材编写可以采用章节项目+理论知识+案例导入的方式展开，注重突出核心内容，注重实践与理论之间的相互联系，在突出内容阶段性的同时提高学生的动手能力。（二）教学参考资料推荐建议1、《Hadoop大数据开发》，林雪纲等，人民邮电出版社，2017。2、《基于Hadoop与Spark的大数据开发实战》，人民邮电出版社，肖睿、丁科、吴刚山。（三）主要教学方法建议1、课程组织形式本课程以培养岗位职业能力为核心，采用基于工作过程的案例教学。课程组坚持以大数据应用开发职业能力培养为主线，以技术应用为关键，以培养大数据开发与应用等岗位的职业能力为目标，以岗位工作任务为依据来选择教学项目，并将其转化为课程教学内容。2、教学方法针对大数据开发课程特点，结合软件企业对学生的实际需求，积极探索新颖、先进的教学方法，改进教学手段，优化教学资源，提高教学质量和教学效率。本课程采用“项目驱动，案例教学，一体化课堂”的教学模式开展教学。教学课程以“MACL”教学方法为主线。按照“项目展示→教师演示→学生模仿→课堂实践→总结提高”流程为组织教学过程。每个教学单元完成相应的实训工作任务，48课时内完成教师与学生互动的讲练结合教学过程。课程的理论实践一体化教学全过程全部安排在设施先进的多媒体机房进行，教学中以学生为中心，教师和企业现场专家全程负责讲授知识，答疑解惑、指导项目设计，充分调动师生双方的积极性，达成教学目标。3、学习场地、实训条件该课程要求在理论实践一体化教师（多媒体机房）开展教学，以实现“教、学、做“合一，同时要求安装多媒体教学软件，方便下发教学任务和收集学生课堂实践任务。还要求一个供学生项目开发、研讨学习的软件开发工作室，模仿在真实的职业环境中完成软件产品开发，体验企业文化，培养职业态度和习惯。（四）其他教学资源配置1、大数据入门第一课Hadoop基础知识2、Hadoop基础及演练3、大数据技术原理与应用（五）课程教学团队建议担任本课程的主讲教师需要熟练使用Linux操作系统，具有丰富的Java程序设计和Python开发经验，熟悉JavaWeb程序设计的相关技术；熟练使用MyEclipse开发工具和Hadoop开发环境以及常用的经典大数据开发工具。同时，需要具备较丰富的教学经验和较强的课堂组织能力。能理论联系实际，通过案例分析，充分调动学生学习的积极性，根据高职高专教育的实际情况，因材施教。并且能在教学工作中不断地学习，充实自己的知识结构和内涵，保证较高的教学质量，并应根据教学需要尽量聘请企业一线的有关人士作实训内容的教学。（1）打破传统的教学模式，注意教学方法的灵活性，建立多种教学媒体综合利用的运行机制，逐步建立适合学生个别化自主学习的支持服务体系和质量保证体系。（2）充分发挥学生的主动性，并能激发学生的学习热情，使学生会学习和主动学习。（3）培养学生发现问题、分析问题、解决问题的能力和探究意。（4）理论实践一体化，注重培养学生的实践能力。（5）项目课程在培训职业能力和传授相应知识的同进，必须重视职业道德和职业意识教育的渗透，帮助学生养成良好的个人品格和行为习惯，培养爱岗敬业精神、团队协作精神和创业精神，帮助学生树立质量意识、节约意识、安全意识、环保意识、文明施工的部分职业意识。五、考核评价标准本课程的考核改变单一的终结性评价方式，采用过程考核和结果考核相结合、理论考试和实践考核相结合的方式，其中实践考核所占比例为50%。理论部分考核学生对案例教学中各知识点综合应用的掌握情况，实践部分考核学生运用JSP进行Web项目开发的掌握情况以及综合项目实训的设计能力。灵活多样的考核方式可以全面考核学生的学习效果。表3课程考核方式考核项目考核方式比例过程考核态度纪律1.根据作业完成情况、课堂回答问题、课堂实践示范