《大数据采集与预处理》课程标准

《大数据采集与爬虫》课程标准《大数据采集与预处理》课程标准CurriculumStandards

目录一、课程概述 四、考核与评价（一）考核构成为全面考核学生的学习情况，本课程主要以过程考核为主，考核涵盖项目任务全过程。一级指标二级指标线下部分（60%）平时考核（20%）过程性考核（30%）期末考试（50%）线上部分（40%）自主学习考核（50%）自主测评考核（50%）一级指标二级指标考核方式考核主体考核内容比例线下部分（60%）平时考核（20%）课堂表现任课教师出勤情况、课堂学习精神饱满、在平台上积极回答问题、展示成果、积极参与小组活动等各方面50%学习态度任课教师课堂、课后积极提出问题、按时提交作业、积极帮助同学解决课程相关问题等方面50%过程性考核（30%）作业一任课教师由教师布置课后作业，分数由教师给出5%作业二任课教师由教师布置课后作业，分数由教师给出5%作业三任课教师由教师布置课后作业，分数由教师给出5%作业四任课教师由教师布置课后作业，分数由教师给出5%随堂小组项目汇报任课教师由教师给出主题和方向，学生自行组成学习小组，分组完成项目，并使用PPT在课堂上向全班进行讲解和汇报10%期末考试（50%）理论考试任课教师在最后一周课堂上完成理论考试100%线上部分（40%）自主学习考核（50%）在线平台自主学习情况在线学习平台根据每周实际教学进度及平台学习情况（网络资源学习进度百分比）给分100%自主测评考核（50%）在线平台自主测评情况在线学习平台根据平台上的练习和测试情况给分100%（二）项目考核形式和评价标准各单元考核方式见表4-1至表4-8。4-1教学项目1考核评价标准项目名称：环境搭建项目承接人姓名：考核内容扣分标准小计1、Python的基础知识（5分）叙述条理准确、完善。叙述条理不清楚、不准确，（每处扣1分）。2、Python编程的环境搭建。（20分）叙述流程准确、完善。叙述条理不清楚、不准确，（每处扣2分）。3、PyCharm安装、部署和应用。（20分）正确。不正确（扣10分）。4、素质（25分）学习态度（25分）考勤（15分）能按照正常上课时间学习，不迟到，不早退，按时完成任务。上课每迟到或早退一次扣2，扣完为止。缺课一次扣5分实训报告（10分）优秀：按时完成报告，且整洁、合理要素齐全一般：按时完成报告，且不够整洁、要素齐全（扣2分）差：不能按时完成，且不够整洁、内容不齐全（扣6分）5、测量（10分）根据项目实施任务书上要求完成数据测量任务6、小组互评（10分）：7、方案设计及实施报告（10分）：表4-2教学项目2考核评价标准项目名称：实现简单数据采集项目承接人姓名：考核内容扣分标准小计1、网络爬虫的基本概念和道德法律（5分）叙述搭建方法内容准确、完善。叙述条理不清楚、不准确，（每处扣1分）。2、Python爬虫的工作过程（15分）叙述原理内容准确、完善。叙述条理不清楚、不准确，（每处扣2分）。3、实现简单数据采集操作（20分）正确。不正确（每处扣2分）。4、素质（20分）学习态度（10分）考勤（10分）能按照正常上课时间学习，不迟到，不早退，按时完成任务。上课每迟到或早退一次扣2，扣完为止。缺课一次扣5分实训报告（15分）优秀：按时完成报告，且整洁、合理要素齐全一般：按时完成报告，且不够整洁、要素齐全（扣2分）差：不能按时完成，且不够整洁、内容不齐全（扣6分）操作规范（10分）正确安装、规范操作。5、个人评价（15分）根据项目实施任务书上要求完成个人评价6、小组评价（15分）：7、方案设计及实施报告（10分）：表4-3教学项目3考核评价标准项目名称：存储数据项目承接人姓名：考核内容扣分标准小计1、MySQL的基本概念，PyMySQL和MySQL的区别（10分）叙述numpy基础理论和引用方法，准确、完善。叙述条理不清楚、不准确，（每处扣2分）。2.CSV和JSON的基础知识（10分）使用准确、完善。不清楚、不准确，（每处扣2分）。3、实现数据类型转换和保存（30分）使用准确、完善不正确（错一步扣2分）。5、素质（20分）学习态度（10分）考勤（10分）能按照正常上课时间学习，不迟到，不早退，按时完成任务（扣0分）。上课每迟到或早退一次扣2，扣完为止。缺课一次扣10分，缺课2次及以上，取消考核资格实训报告（10分）优秀：按时完成报告，且整洁、合理要素齐全（扣0分）一般：按时完成报告，且不够整洁、要素齐全（扣2分）差：不能按时完成，且不够整洁、内容不齐全（扣6分）操作规范（10分）规范操作（扣0分）。6、测量（10分）根据项目实施任务书上要求完成数据测量任务7、小组评价（10分）：8、方案设计及实施报告（10分）：表4-4教学项目4考核评价标准项目名称：requests库技术应用案例项目承接人姓名：考核内容扣分标准小计1、页面结构分析方法（10分）叙述pandas基础理论和引用方法，准确、完善。叙述条理不清楚、不准确，（每处扣2分）。2、动态和静态数据的基本概念（10分）使用准确、完善。不清楚、不准确，（每处扣2分）。3、requests库编写爬虫代码获取指定的静态和动态数据（30分）使用准确、完善步骤错误一个（扣2分）。5、素质（20分）学习态度（10分）考勤（10分）能按照正常上课时间学习，不迟到，不早退，按时完成任务（扣0分）。上课每迟到或早退一次扣2，扣完为止。缺课一次扣5分实训报告（10分）优秀：按时完成报告，且整洁、合理要素齐全一般：按时完成报告，且不够整洁、要素齐全（扣2分）差：不能按时完成，且不够整洁、内容不齐全（扣6分）操作规范（10分）规范操作。6、测量（10分）根据项目实施任务书上要求完成数据测量任务7、小组评价（10分）：8、方案设计及实施报告（10分）：表4-5教学项目5考核评价标准项目名称：Selenium和ChromeDriver技术应用案例项目承接人姓名：考核内容扣分标准小计1、Selenium库和ChromeDriver作用和用途（10分）叙述工作原理内容准确、完善。叙述条理不清楚、不准确，（每处扣2分）。2、Selenium和ChromeDriver的安装、配置和应用（40分）叙述原理内容准确、完善。叙述条理不清楚、不准确，（每处扣2分）。3、素质（20分）学习态度（10分）考勤（10分）能按照正常上课时间学习，不迟到，不早退，按时完成任务。上课每迟到或早退一次扣2，扣完为止。缺课一次扣5分实训报告（10分）优秀：按时完成报告，且整洁、合理要素齐全一般：按时完成报告，且不够整洁、要素齐全（扣2分）差：不能按时完成，且不够整洁、内容不齐全（扣6分）操作规范（10分）规范操作。4、测量10分）根据项目实施任务书上要求完成数据测量任务5、小组评价（10分）：6、方案设计及实施报告（10分）：表4-6教学项目6考核评价标准项目名称：Scrapy技术应用案例项目承接人姓名：考核内容扣分标准小计1、Scrapy爬虫框架的工作原理（15分）叙述工作原理内容准确、完善。叙述条理不清楚、不准确，（每处扣1分）。2、Scrapy组件介绍。（15分）叙述原理内容准确、完善。叙述条理不清楚、不准确，（每处扣2分）。3、Scrapy及其组件安装部署和应用（20分）能正确连接。错误一个（扣2分）。4、素质（20分）学习态度（10分）考勤（10分）能按照正常上课时间学习，不迟到，不早退，按时完成任务。上课每迟到或早退一次扣2，扣完为止。缺课一次扣5分实训报告（10分）优秀：按时完成报告，且整洁、合理要素齐全一般：按时完成报告，且不够整洁、要素齐全（扣2分）差：不能按时完成，且不够整洁、内容不齐全（扣6分）操作规范（10分）规范操作（扣0分）。5、测量（10分）根据项目实施任务书上要求完成数据测量任务6、小组评价（10分）：7、方案设计及实施报告（10分）：表4-7教学项目7考核评价标准项目名称：数据采集与可视化案例项目承接人姓名：考核内容扣分标准小计1、业务网站二手房的网页结构和内容分析（10分）叙述工作原理内容准确、完善。叙述条理不清楚、不准确，（每处扣1分）。2、requests库编写爬虫代码获取指定数据（15分）叙述原理内容准确、完善。叙述条理不清楚、不准确，（每处扣2分）。3、BeautifulSoup实现数据的解析（10分）叙述原理内容准确、完善。叙述条理不清楚、不准确，（每处扣2分）。4、flask和echarts数据可视化15分）叙述原理内容准确、完善。叙述条理不清楚、不准确，（每处扣2分）。5、素质（20分）学习态度（10分）考勤（10分）能按照正常上课时间学习，不迟到，不早退，按时完成任务上课每迟到或早退一次扣2，扣完为止。缺课一次扣5分实训报告（10分）优秀：按时完成报告，且整洁、合理要素齐全一般：按时完成报告，且不够整洁、要素齐全（扣2分）差：不能按时完成，且不够整洁、内容不齐全（扣6分）操作规范（10分）规范操作。6、测量（10分）根据项目实施任务书上要求完成数据测量任务7、小组评价（10分）：8、方案设计及实施报告（10分）：表4-8教学项目8考核评价标准项目名称：业务网站模拟登陆、数据采集与保存项目承接人姓名：考核内容扣分标准小计1、业务网站的网页结构和内容分析（10分）叙述工作原理内容准确、完善。叙述条理不清楚、不准确，（每处扣1分）。2、模拟登录的过程流程（15分）叙述原理内容准确、完善。叙述条理不清楚、不准确，（每处扣2分）。3、数据获取的过程（10分）叙述原理内容准确、完善。叙述条理不清楚、不准确，（每处扣2分）。4、数据保存的过程15分）叙述原理内容准确、完善。叙述条理不清楚、不准确，（每处扣2分）。5、素质（20分）学习态度（10分）考勤（10分）能按照正常上课时间学习，不迟到，不早退，按时完成任务上课每迟到或早退一次扣2，扣完为止。缺课一次扣5分实训报告（10分）优秀：按时完成报告，且整洁、合理要素齐全一般：按时完成报告，且不够整洁、要素齐全（扣2分）差：不能按时完成，且不够整洁、内容不齐全（扣6分）操作规范（10分）规范操作。6、测量（10分）根据项目实施任务书上要求完成数据测量任务7、小组评价（10分）：8、方案设计及实施报告（10分）：表4-9教学项目9考核评价标准项目名称：大数据Hadoop平台的Flume数据采集框架——日志数据采集应用项目承接人姓名：考核内容扣分标准小计1、Hadoop核心组件和生态圈理解（10分）叙述工作原理内容准确、完善。叙述条理不清楚、不准确，（每处扣1分）。2、Flume的安装和基本配置（15分）叙述原理内容准确、完善。叙述条理不清楚、不准确，（每处扣2分）。3、文件夹的数据采集（10分）叙述原理内容准确、完善。叙述条理不清楚、不准确，（每处扣2分）。4、TCP端口数据采集（15分）叙述原理内容准确、完善。叙述条理不清楚、不准确，（每处扣2分）。5、素质（20分）学习态度（10分）考勤（10分）能按照正常上课时间学习，不迟到，不早退，按时完成任务上课每迟到或早退一次扣2，扣完为止。缺课一次扣5分实训报告（10分）优秀：按时完成报告，且整洁、合理要素齐全一般：按时完成报告，且不够整洁、要素齐全（扣2分）差：不能按时完成，且不够整洁、内容不齐全（扣6分）操作规范（10分）规范操作。6、测量（10分）根据项