数据采集与预处理 教学大纲

_____________大学____________课程教学大纲课程名称(中)：数据采集与预处理课程名称(英)：Datacollectionandpreprocessing课程编号：开课单位：软件工程学院预修课程：Python基础、Python数据可视化、Web网页设计适用专业：计算机、电子类1年级研究生课程性质：非学位课（软件工程、电子信息）学时：22学分：2考核方式：考查一、教学目的与要求（说明本课程同专业培养目标、研究方向、培养要求的关系，及与前后相关课程的联系）本课程是计算机科学与技术和软件工程专业方向选修课。通过本课程的学习，使学生掌握数据采集与预处理的基础知识，掌握在不同的业务情景和工具框架下的编程设计方法。具体如下：从内容上，使学生了解数据采集和预处理的基本背景及现在的发展现状，初步了解相关的工具和框架。从能力方面，要求学生掌握针对网页数据的采集方法，知道常用的爬虫框架，能在Pcharm的基础上部署爬虫程序；掌握基本的数据预处理方法，了解常用的数据预处理方法和所需三方库。从教学方法上，采用启发、引导的教学方法，结合多媒体教学方式，提高学生学习兴趣。该课程的前续课程为：Python基础、Python数据可视化、Web网页设计。通过前续课程的学习，让学生对Python的基本使用和相关三方库有所熟悉，同时对网页结构和设计也具有一定掌握，在此基础上能够更好地参与到本课程的学习中。在本课程中，将使学生对数据采集和预处理理论有深入的了解，并通过学习使学生掌握数据采集常用框架，以及数据预处理常用方法。课程内容简介本课程以数据采集和预处理为主题，对相关技术的使用，应用以及发展方向进行概述，与此同时进行项目案例的实操方式，对数据采集与预处理的系统知识进行了详细讲解，旨在帮助学生形成数据采集与预处理程序设计的基本思维方式，并通过实际搭建爬虫平台，编写相应的数据预处理程序代码，掌握分析和处理数据的基本方法和编程实现，为深入学习数据分析的内容打下坚实的基础。主要章节和学时分（含相应章节内容的教学方式，如理论教学、实验教学、上机、自学、综述文献等）主要章节章节主要内容简述教学方式学时第一章数据采集与预处理概述1.1数据采集简介1.2数据预处理简介1.3Python数据采集与预处理常用库理论教学2第二章数据采集与存储2.1数据类型与操纵2.2网页抓取：爬虫基础2.3解析库的使用2.4数据存储理论教学2第三章数据采集进阶3.1Ajax数据的爬取3.2使用Selenium抓取动态渲染页面3.3爬虫框架介绍3.4Scrapy爬虫框架理论教学2第四章数据清洗与转换4.1数据清洗概述4,2缺失数据处理4.3异常值和重复值处理4.4数据转换理论教学2第五章数据规整与分组聚合5.1数据规整5.2数据分组聚合理论教学2第六章豆瓣电影排行榜数据爬取与预处理6.1豆瓣电影榜数据采集目标6.2豆瓣网页结构分析6.3创建爬虫6.4数据预处理理论教学+上机实验2+2第七章Scrapy与Selenium采集股市每日点评数据并可视化7.1采集目标和准备工作7.2大盘每日点评网页结构分析7.3使用Scrapy与Selenium爬取信息7.4数据预处理与可视化理论教学+上机实验2+2第八章房屋住房租金数据预处理8.1情景提出与目标分析8.2数据描述与探索8.3数据预处理理论教学+上机实验2+2(此页可附页)四、采用教材（正式出版教材要求注明教材名称、作者姓名、出版社、出版时间；自编教材要求注明是否成册、编写者姓名、编写者职称、字数等）《数据采集与预处理》，安俊秀主编，人民邮电出版社，2024年五、教学参考书目（至少列三部国内外有影响的教学参考书目，并注明作者姓名、出版社、出版时间）1、WesMcKinney.利用Python进行数据分析[M].徐敬一,译.北京:机械工业出版社，2018．2、崔庆才.Python3网络爬虫开发实战[M].北京:人民邮电出版社,2018．3、JacquelineKazil,KatharineJarmul.Python数据处理[M].张亮,吕家明,译.北京:人民邮电出版社,2017.六、审批大纲编写人签字姓名职称学位是否硕导所在单位备注1安俊秀教授硕士是软件工程学院234课程承担学院审核意见：负责人签章：年月日课程主管学院审核意见：负责人签章：年月日研究生处审核意见：负责人签章：