《网络爬虫项目实践》课件-项目二：特殊网页数据获取（教案）

项目二特殊网页数据获取教案课程名称：网络爬虫项目实践课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分本章学时：3学时材料清单《网络爬虫项目实践》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标在互联网中，一些网页无须登录即可访问，但有些网页需要登录才能够访间，例如在新浪微博中，登录后才能访问用户的第二页信息。通过三个任务，任务1，数睿思网模拟登录，任务2，通过古诗词网数据爬取，任务3，通过微信网页代理爬虫文章信息，让学生掌握表单登录实现模拟登录的流程、验证码的识别、使用代理处理反爬虫。基本要求掌握使用Requests库实现请求掌握使用Chrome开发者工具查找模拟登录需要的相关信息掌握表单登录的流程会安装Tesseract工具，会配置环境熟悉PIL和tesseract库能够利用pytesseract识别简单的图形验证码使用Flask+Redis维护代理池抓取索引页内容设置代理分析详情页内容保存数据信息至mongoDB问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。在爬取网页时，都有哪些特殊网页？在互联网中，一些网页无须登录即可访问，但有些网页需要登录才能够访问，需要哪些技术来实现？反爬虫方式有哪些？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。针对特殊网页，如何爬取？如何应对反爬虫？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。复杂验证码如何识别？爬取到的数据如何进行数据分析？主要知识点、重点与难点主要知识点Requests库实现请求Chrome开发者工具查找模拟登录需要的相关信息表单登录的流程PIL和tesseract库pytesseract识别简单的图形验证码Flask+Redis维护代理池抓取索引页内容设置代理分析详情页内容保存数据信息至mongoDB重点(1)表单登录的流程(2)PIL和tesseract库(3)pytesseract识别简单的图形验证码(4)Flask+Redis维护代理池(5)抓取索引页内容(6)设置代理(7)分析详情页内容(8)保存数据信息至mongoDB难点(1)Flask+Redis维护代理池(2)设置代理教学过程设计理论教学过程Requests库实现请求表单登录的流程PIL和tesseract库的使用Flask+Redis维护代理池实验教学过程(1)使用Requests库实现请求(2)使用Chrome开发者工具查找模拟登录需要的相关信息(3)安装Tesseract工具，配置环境(4)利用pytesseract识别简单的图形验证码(5)使用Flask+Redis维护代理池(6)抓取索引页内容(7)设置代理(8)分析详情页内容(9)保存数据信息至mongoDB教材与参考资料教材李程文，唐建生，冯欣悦．网络爬虫项目实践[M]．西安：西安电子科技大学出版社．2023．参考资料[1] 赵国生，王健．python网络爬虫技术与实战[M]．北京：机械工业出版社．2021．[2] 黑马程序员．Pyth