职业技术学校云计算技术应用《大数据采集与处理》课程标准

《大数据采集与处理》课程标准课程代码[541215] 课程类别[专业核心课]学分[ 4.0] 学时[64]开课部门[信息工程系]适用专业[云计算技术应用]制定人[XXX]制定日期[202X年6月]审核人[XXX] 审核日期[202X年6月]一、课程性质与任务本课程是云计算技术应用专业的专业核心课程，是依据大数据技术与应用专业人才培养目标和相关职业岗位（群）的能力要求而设置的，对本专业所面向的大数据分析、大数据系统部署与运维、大数据产品技术支持岗位（群）所需要的知识、技能和素质目标的达成起支撑作用。二、课程目标（一）总体目标通过任务引领型的项目活动，要求学生保质保量的完成相关设计，撰写相关学习材料，培养学生较为系统的云端运维技术的基本技能以及诚实、守信、善于沟通、合作的品质，为提高专门化方向的职业能力奠定良好的基础。1.知识目标（1）了解大数据的来源；（2）理解网络数据采集的基本概念、基本原理和基本方法；（3）掌握数据预处理流程。2.技能目标（1）理解网络爬取相关的Web技术组成；（2）掌握掌握Web页面爬取的基本过程；（3）掌握掌握构建健壮Python爬虫程序的基本架构，能够借助各种程序工具实现页面信息爬取；（4）掌握爬取动态网站、富互联网应用网站的信息爬取方法，能够构建程序实现基本信息获取；（5）掌握Scrapy爬虫框架，能够借助这一框架设计健壮、高效的网络爬虫工具；（6）熟练使用Python的Numpy、Pandas、Matplotlib库进行数据的分析。3.素质目标（1）通过任务引领的项目教学，培养学生具有勤奋学习的态度，严谨求实、创新的工作作风；（2）通过完成任务，培养学生良好的心理素质和职业道德素质；（3）通过分组教学，相互合作，培养学生高度责任心和良好的团队合作精神；（4）通过分析问题、解决问题，培养学生一定的科学思维方式和判断分析问题的能力。三、课程设计（一）课程设计思路以企业的实际环境和需求为依据，选择项目进行学习情境设计，通过学习实践，培养学生在大数据处理能力。1.紧紧围绕职业岗位的实际需求，以职业能力培养为重点，与行业企业合作进行基于工作过程的课程开发与设计，充分利用与行业企业的合作优势，采用职业岗位工作过程导向职业岗位能力的方法，其过程在整个教学内容、教学环节中得到体现。2.课程根据岗位能力的需要设计教学内容，科学、合理设计每个教学环节，充分利用校内教学资源和实训基地，通过各种教学方法和手段的灵活运用，以及课堂教学和课外教学的紧密结合，将教、学、做融为一体，充分体现职业性、实践性和开放性的要求，提高学生的实践动手能力，增强毕业生就业竞争能力。3.根据课程内容和学生特点，因材施教，推行任务驱动、项目导向的符合职业教育特色的教学模式，灵活采用任务导入法、实践教学法、情景模拟教学法、课堂讨论总结法等多种教学方法，开拓了课堂教改新思路。（二）课程内容与教学要求1.课时分配表项目（或模块）名称序号任务内容学时分配备注大数据应用概述1数据的来源与采集方法12网络爬虫的基本概念、工作原理23网络爬虫的需求分析、发展历程1数据的采集4网络爬取相关Web技术85Web数据爬取解析、存储126Scrapy爬虫框架10数据预处理7Numpy库的使用88Pandas库的使用89Matplotlib库的使用14总学时642.任务设计项目（或模块）大数据应用概述任务1数据的来源与采集方法学时理论1实践一体化学习目标1.了解本门课的教学目的；2.了解本门课的基本内容；3.掌握数据的来源与采集方法。课程德育目标：1.培养学生严谨的科学素养。2.增强学生技术自信、民族自豪的爱国主义情怀。教学内容选择与安排：（挖掘和提炼专业课程蕴含的思政元素，如爱国情怀、创新意识、科学素养、人文精神、工匠精神等3个以上，找准思政元素融入点，描述课程教学中能将思想政治教育内容与专业知识技能教育内容有机融合的领域）序号授课内容思政元素与融入点授课形式与教学方法备注1掌握数据的来源爱国情怀：通过大数据安全的重要性，提升民族自豪感，培养爱国主义情怀。一体化教学2了解数据采集方法爱国主义情怀：通过数据采集求，增强学生在做数据分析方面的自信，提升学生创新。一体化教学项目（或模块）大数据应用概述任务2网络爬虫的基本概念、工作原理学时理论2实践一体化学习目标1.了解网络爬虫的基本概念；2.理解网络爬虫的工作原理。课程德育目标：1.培养学生严谨的科学素养。2.培养学生一丝不苟、精益求精的工匠精神。3.增强学生技术自信、民族自豪的爱国主义情怀。教学内容选择与安排：（挖掘和提炼专业课程蕴含的思政元素，如爱国情怀、创新意识、科学素养、人文精神、工匠精神等3个以上，找准思政元素融入点，描述课程教学中能将思想政治教育内容与专业知识技能教育内容有机融合的领域）序号授课内容思政元素与融入点授课形式与教学方法备注1网络爬虫的基本概念。科学素养：通过学习网络爬虫的基本概念，锻炼学生的严谨、举一反三学习态度。一体化教学2网络爬虫的工作原理。爱国主义情怀：网络爬虫的工作原理，增强学生在网络爬虫方面的自信，提升民族自豪感，培养爱国主义情怀。一体化教学项目（或模块）大数据应用概述任务3网络爬虫的需求分析、发展历程学时理论1实践一体化学习目标1.掌握网络爬虫的需求分析；2.了解网络爬虫的发展历程。课程德育目标：1.培养学生严谨的科学素养。2.培养学生一丝不苟、精益求精的工匠精神。教学内容选择与安排：（挖掘和提炼专业课程蕴含的思政元素，如爱国情怀、创新意识、科学素养、人文精神、工匠精神等3个以上，找准思政元素融入点，描述课程教学中能将思想政治教育内容与专业知识技能教育内容有机融合的领域）序号授课内容思政元素与融入点授课形式与教学方法备注1网络爬虫的需求分析。科学素养：通过网络爬虫的需求分析相关知识，锻炼学生的严谨、举一反三学习态度。一体化教学2网络爬虫的发展历程爱国主义情怀：网络爬虫的发展历程，增强学生在技术方面的自信，提升民族自豪感，培养爱国主义情怀。一体化教学项目（或模块）数据的采集任务4网络爬取相关Web技术学时理论实践一体化8学习目标1.掌握相关web技术概述；2.掌握网络爬取的入口URL；3.掌握网页下载的原理；4.掌握内容解析的对象；5.掌握存储数据的仓库。课程德育目标：1.培养学生严谨的科学素养。2.培养学生一丝不苟、精益求精的工匠精神。教学内容选择与安排：（挖掘和提炼专业课程蕴含的思政元素，如爱国情怀、创新意识、科学素养、人文精神、工匠精神等3个以上，找准思政元素融入点，描述课程教学中能将思想政治教育内容与专业知识技能教育内容有机融合的领域）序号授课内容思政元素与融入点授课形式与教学方法备注1学习网络数据采集，通过网络爬虫或网站公开API等方式从网站上获取数据信息的过程。科学素养：通过学习网络爬虫相关知识，锻炼学生的严谨、举一反三学习态度。一体化教学2学习存储数据的仓库。爱国主义情怀：通过存储数据的仓库，增强学生在技术方面的自信，提升民族自豪感，培养爱国主义情怀。一体化教学项目（或模块）数据的采集任务5Web数据爬取解析、存储学时理论实践一体化12学习目标1.掌握Web页面爬取的基本过程；2.掌握使用PythonUrllib实现单一Web页面爬取；3.掌握使用PythonRequests优化爬取过程；4.理解XPath基础；5.掌握XPath解析案例。课程德育目标：1.培养学生严谨的科学素养。2.培养学生一丝不苟、精益求精的工匠精神。教学内容选择与安排：（挖掘和提炼专业课程蕴含的思政元素，如爱国情怀、创新意识、科学素养、人文精神、工匠精神等3个以上，找准思政元素融入点，描述课程教学中能将思想政治教育内容与专业知识技能教育内容有机融合的领域）序号授课内容思政元素与融入点授课形式与教学方法备注1Web页面爬取的基本过程。科学素养：通过学习Web页面爬取的基本过程，锻炼学生的严谨、举一反三学习态度。一体化教学2学习XPath基础。爱国主义情怀：通过学习XPath基础，增强学生在技术方面的自信，提升民族自豪感，培养爱国主义情怀。一体化教学项目（或模块）数据的采集任务6Scrapy爬虫框架学时理论实践一体化10学习目标1.理解Scrapy爬虫框架概念；2.了解Scrapy爬虫模板应用；3.掌握定制Scrapy爬虫的中间件；4.掌握定制Scrapy爬虫的输出。课程德育目标：1.培养学生严谨的科学素养。2.培养学生一丝不苟、精益求精的工匠精神。教学内容选择与安排：（挖掘和提炼专业课程蕴含的思政元素，如爱国情怀、创新意识、科学素养、人文精神、工匠精神等3个以上，找准思政元素融入点，描述课程教学中能将思想政治教育内容与专业知识技能教育内容有机融合的领域）序号授课内容思政元素与融入点1学习Scrapy爬虫模板应用。科学素养：通过学习Scrapy爬虫模板应用，锻炼学生的严谨、举一反三学习态度。2定制Scrapy爬虫的输出。爱国主义情怀：通过定制Scrapy爬虫的输出增强学生在技术方面的自信，提升民族自豪感，培养爱国主义情怀。项目（或模块）数据预处理任务7Numpy库的使用学时理论实践一体化8学习目标1.了解数据分析简介；2.了解数据科学方法论；3.了解统计学简介；4.掌握Numpy库的使用。课程德育目标：1.培养学生严谨的科学素养。2.培养学生一丝不苟、精益求精的工匠精神。教学内容选择与安排：（挖掘和提炼专业课程蕴含的思政元素，如爱国情怀、创新意识、科学素养、人文精神、工匠精神等3个以上，找准思政元素融入点，描述课程教学中能将思想政治教育内容与专业知识技能教育内容有机融合的领域）序号授课内容思政元素与融入点授课形式与教学方法备注1数据科学方法论。科学素养：通过学习数据科学方法论的相关知识，锻炼学生的严谨、举一反三学习态度。一体化教学2Numpy库的使用。爱国主义情怀：通过Numpy库的使用增强学生在术方面的自信，提升民族自豪感，培养爱国主义情怀。一体化教学项目（或模块）数据预处理任务8Pandas库的使用学时理论实践一体化8学习目标1.掌握Pandas常用库的使用。2.了解数据预处理的多种方法。课程德育目标：1.培养学生严谨的科学素养。2.培养学生一丝不苟、精益求精的工匠精神。教学内容选择与安排：（挖掘和提炼专业课程蕴含的思政元素，如爱国情怀、创新意识、科学素养、人文精神、工匠精神等3个以上，找准思政元素融入点，描述课程教学中能将思想政治教育内容与专业知识技能教育内容有机融合的领域）序号授课内容思政元素与融入点授课形式与教学方法备注1了解数据预处理的概念是，在主要的处理以前对数据进行的一些处理。科学素养：通过学习数据预处理相关知识，锻炼学生的严谨、举一反三学习态度。一体化教学2熟悉Pandas常用库的使用。爱国主义情怀：通过Pandas常用库的使用增强学生在技术方面的自信，提升民族自豪感，培养爱国主义情怀。一体化教学项目（或模块）数据预处理任务9Matplotlib库的使用学时理论实践一体化14学习目标1.掌握使用Matplotlib库实现数据的可视化。课程德育目标：1.培养学生严谨的科学素养。2.培养学生一丝不苟、精益求精的工匠精神。教学内容选择与安排：（挖掘和提炼专业课程蕴含的思政元素，如爱国情怀、创新意识、科学素养、人文精神、工匠精神等3个以上，找准思政元素融入点，描述课程教学中能将思想政治教育内容与专业知识技能教育内容有机融合的领域）序号授课内容思政元素与融入点授课形式与教学方法备注1了解常见的数据变换过程。离散化、区间化、二元化、规范化（有的地方也成称为标准化）、特征转换与创建、函数变换。科学素养：通过学习数据变换过程相关知识，锻炼学生的严谨、举一反三学习态度。一体化教学2使用Matplotlib库实现数据的可视化。爱国主义情怀：通过使用Matplotlib库实现数据的可视化增强学生在技术方面的自信，提升民族自豪感，培养爱国主义情怀。一体化教学四、课程实施（一）教学方法建议1.情境教学行动导向教学是一种以行动或工作任务为导向的职业教育指导思想，由一系列的以学生为主题的教学方式和方法所构成。以学生为主体，关注学生的学习，而不是教师主导；强调在行动中学习，关注学生行为的改变。情境学习是其典型特征：（1）构建接近真实工作环境的教学情景，如教室与机房合为一体，即一体化教室或者网络实训室。（2）在工作过程中学习：在工作岗位上学习，如在校外实训基地参与项目实施。2.因材施教，灵活教学根据每个学生的个性差异，因材施教，采用适用的教学方法。在保证实现教学目标的前提下，教学在既面向全体学生进行，向他们提出统一要求的同时，又承认了学生的个性差异，根据学生的兴趣和能力，采取不同的教学措施，使学生的个性得到充分发展。（1）“问题式”教学对已理论知识掌握较差且学习不努力的学生，教学中采用“问题式”教学措施，引导学生寻找问题的症结和解决方案，使他们深刻理解该知识点的内容，避免今后配置中再犯同样的错误。（2）“兴趣式”教学针对理论基础知识掌握较好且爱学、想学的学生，教学中主要采用“兴趣式”教学措施，学生根据自己兴趣爱好，结合教师提供的网络环境，自行配置和规划网络，调试设备，锻炼了学生的设计思想，加强了专业综合能力。（3）“挖掘式”教学对于专业核心技能掌握比较快的学生，主要采用“挖掘式”教学措施，根据学生各自能力水平，采用“台阶式”，一步一步加强难度，充分挖掘学生的学习潜能，使各个层次学生的学习成绩都有所提高，同时个人难度要求不一，减轻了学生学习的心里负担，最大限度的提高学生自我完成的能力。（二）师资条件要求任职教师熟练掌握大数据处理技术、能够独立处理和解决实际工作的一般问题，参加过相关内容的系统化培训。熟知本课程《课程标准》的基本内容及其对本课程教学的基本要求、熟知本专业、本课程的知识体系，有较强的驾驭教材的能力、具有教育学、心理学的相关知识，并能灵活地运用到教育教学实践中、语言表达能力、课堂调