数据采集与网络爬虫课程设计课程教学大纲

《数据采集与网络爬虫课程设计》课程教学大纲一、课程基本信息课程名称数据采集与网络爬虫课程设计Trainingfordataacquisitionandwebcraw1er课程代码课程性质必修授课学期5学分/学时1/16课内学时16理论学时0实验学时0实训（含上机）16实习0其他0适用专业数据科学与大数据专业授课语言中文对先修的要求具备用Python进行实际问题编程的能力，，已修Python程序设计，数据结构与算法分析，数据采集与网络爬虫等课程对后续的支撑为大数据分析与应用案例、深度学习等课程提供数据采集和实践基础。课程思政设计在课程设计实践中，从实际问题出发，坚定学生专业自信，同时要求学生要以保护国家机密遵守网络安全为前提进行，在爬取数据时遵纪守法，同时鼓励学生利用自己所学知识，为国家和社会各类资源的安全做出贡献。创新创业教育设计在课程设计的选题阶段，引导学生爬取什么数据、如何爬取数据。引导学生对方案的可行性分析和合理的程序设计，并对自身的设计方案有创新的探索与实践。课程简介课程定位：数据采集与网络爬虫课程设计是数学与计算科学学院数据科学与大数据专业在学习了PythOn程序设计，数据结构与算法分析，数据采集与网络爬虫之后配I≡003,它为后续课程大数据分析与深度学习等酬数据采集和实践基础。主要学习内容：本课程教学是学生在教师指导下，根据选定的课程设计项目，综合运用所学的网络爬虫课程理论知识体系，包括获取网页、解析网页、存储数据、数据分析及可视化等应用于具体的数据采集与网络爬虫中去。从项目的需求分析、爬虫方案设计、代码编写、程序调试和运行等训练任务，最终撰写完整规范的课程设计报告，并按照安排参加答辩，讲清楚各自的工作内容并回答相关的问题。核心学习结果：本课程学习目的是使数据科学与大数据专业的学生获得以

下能力与素养：1）在解决实际问题的时候，应用数据采集与爬虫的能力，采集数据处理实际问题；2）用用砰羽时用1?I1W雁但团前而aP1P11?!而丽而囱丽雨主要教学方法：本课程主要采取教师简要介绍理论知识，布置课题任务，学生分组上机运用Py1hon软件进行数据采集解决实际问题。二、课程目标及对毕业要求指标点的支撑序号课程目标支撑毕业要求指标点毕业要求1目标1：掌握数据采集与网络爬虫中发送请求、解析网页、数据存储等技术的基本知识、原理及方法，能够用Python编写网络爬虫进行数据采集、数据存储、数据预处理及初步的数据分析（支撑毕业要求指标点2.2）2.2掌握计算机科学的基本知识、原理、方法，并会应用到大数据科学等领域。2知识掌握：掌握数学、自然科学、计算机科学、数据科学与大数据技术所需要的专业知识，具有国际视野，了解大数据科学领域的国际形势和发展动态，并能将所学知识用于解释大数据科学领域中的复杂问题。2目标2：能够根据数据挖掘的需要设计出合理、有效的数据采集方案，通过数据采集与网络爬虫的技术来解决数据获取的实际问题。并能够将实验方案整理成规范的分析报告。（支撑毕业要求指标点4.3）4.3利用大数据科学的专业知识、针对实际问题的具体情况、结合文献资料对模型进行分析，采用恰当的方法、仪器设备、数据分析软件对特定问题的数据模型进行算法优化，并能够写出规范的分析报告和解决方案。4设计/开发解决方案：能够针对数据科学与大数据技术应用的特定需求，设计适当的流程、方案，选取合适的技术予以实现，并在设计或开发的过程中考虑经济、社会、健康、安全、法律、文化及环境因素。三、教学内容及进度安排序号教学内容学生学习预期成果课内学时教学方式支撑课程目标1课程设计任务布置：引导学生综合应用所学的爬虫知识去解决现实生活中具体的数据采集与网络爬虫任务（如豆瓣电影影评数据爬取与分析、大数据岗位人才招聘信息的分析与挖掘等）。发现有价值，并适合作课程设计的问题，通过综合分析确定课程设计内容2布置任务讨论上机目标1目标22任务实施：指导学生根据任务完成具体的爬虫代码编写并进行数据预处理及简单的数据分析。进一步发现不足，作出优化。能根据实际问题的需要编辑合适的爬虫程序并进行数据预处理及简单的数据分析。10讨论上机目标1目标2

3课程设计撰写：指导学生撰写规范的分析报告并进行答辩PPT。能够写出规范的分析报告和解决方案4讨论上机目标2四、课程考核该课程采用案例设计的形式考核，具体要求如下：（1）最多5人组成一队。（2）最终以研究报告的形式提交，一般应包含程序页、数据页、数据分析处理和附录等内容。数据科学与大数据专业的考核序号课程目标（支撑毕业要求指标点）考核内容评价依据及成绩比例（%）成绩比例（%）课程设计报告PPT答辩1目标1：掌握数据采集与网络爬虫中发送请求、解析网页、数据存储等技术的基本知识、原理及方法，能够用Python编写网络爬虫进行数据采集、数据存储、数据预处理及初步的数据分析（支撑毕业要求指标点2.2）课程设计过程中对爬虫技术的掌握程度。4015552目标2：能够根据实际问题的需要设计出合理、有效的数据采集方案，通过数据采集与网络爬虫的技术来解决数据获取的实际问题。并能够将实验方案整理成规范的分析报告。（支撑毕业要求指标点4.3）所完成的课程设计作品的难度、复杂度以及代码量。课程设计报告的规范性及质量。301545合计7030100注：各类考核评价的具体评分标准见《附录：各类考核评分标准表》（说明：1.评价依据主要有：平时表现、作业、案例分析、实验/实习/调研报告、上机、考试等，应根据该课程实际设置的考核方式填写，不够可以加列；2.各考核方式逐一填写评分标准表）五、教材及参考资料[1]江吉彬，张良均等.Python网络爬虫技术[M],北京：人民邮电出版社，2019,9787111505064.[2]范传辉.Python爬虫开发与项目实战[M],北京：机械工业出版社,2017,978发11563877.[3]胡松涛.Python网络爬虫实战[M],北京：清华大学出版社,2016,9787302457879.⑷韦玮.精通Python网络爬虫：核心技术、框架与项目实战[M],北京：机械工业出版社,2017,9787111562085.六、教学条件需要使用学生大数据实验室，电脑安装了Windows7>Office2010>Anoconda3/Python3.6、Pycharm等正版软件进行实战训练。

附录：各类考核评分标准表课程设计报告的考核评分标准教学目标要求评分标准权重（%）90-10080-8960-790-59目标1：掌握数据采集与网络爬虫中发送请求、解析网页、数据存储等技术的基本知识、原理及方法，能够用Python编写网络爬虫进行数据采集、数据存储、数据预处理及初步的数据分 析（支撑毕业要求指标点2.2）Bython爬虫程序编写精简有效,描述HHiwmiT11T11?]回画0的加西曲000及初步的数据分析团Python爬虫程序编写有效,描述基本团团团团回函3团团团团团团团函3团团团酿画（匏0面1团盟及简单的数据分析。Python爬虫程序编写基本有效00E0000300000SEEB000000SE≡0我皿Python爬虫程序编写失败，思路不清，不能进行网络数据爬取。40目标2：能够根据数据挖掘的需要设计出合理、有效的数据采集方案，通过数据采集与网络爬虫的技术来解决数据获取的实际问题。并能够将实验方案整理成规范的分析报告。（支撑毕业要求指标点4.3）能够合理、有效的设计数据采集方案且分析报告形式规范。团团胴合理、有效的设计数据采集方案且报告形式相对规范。胴团团合理、有效的设计数据采集方案，报告形式比较规范。国有效的设计数据采集方案，报告形式不规范。30注：评分标准的分数段划分可以根据课程需要自行设计。

PPT答辩的考核评分标准教学目标要求评分标准权重（%）90-10080-8960-790-59目标1掌握数据采集与网络爬虫中发送请求、解析网页、数据存储等技术的基本知识、原理及方法，能够用Python编写网络爬虫进行数据采集、数据存储、数据预处理及初步的数据分 析（支撑毕业要求指标点2.2）团数据采集与网络爬虫设计 中002EEE0000团团团数据采集与网络爬虫设计中00002EE000000S33E□Ξ0000团数据采集与网络爬虫设计中Ξ□00[∏∏ZEE0Ξ□Ξ0SZEEE□回的3团团回国亚00数据采集与网络爬虫设计中的3团团回国亚Ξ00Ξ00∣∏32E15目标2：能够根据数据挖掘的需要设计出合理、有效的数据采集方案，通过数据采集与网络爬虫的技术来解决数据获