项目6 终端协议分析-爬取某音乐PC客户端和App客户端数据 教案

项目6终端协议分析——获取某音乐PC客户端和App客户端数据教案课程名称：Python网络爬虫技术课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论24学时，实验40学时）总学分：4.0学分本章学时：8学时材料清单《Python网络爬虫技术（第2版）（微课版）》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标分析目前互联网数据获取的现状，获取数据逐渐从Web端转向了PC端和APP客户端。而后介绍了HTTPAnalyzer工具的基本功能，利用HTTPAnalyzer工具进行抓包，以及通过抓包分析获得在酷我音乐PC客户端搜索的数据。紧接着了解并设置Fiddler工具，通过Fiddler工具得到酷我音乐App客户端的JSON格式数据，利用Fiddler工具抓取的包，对酷我音乐App客户端的图片信息进行爬取。基本要求了解HTTPAnalyzer工具的基础知识。掌握酷我音乐PC客户端数据的爬取流程。了解Fiddler工具的基础知识。掌握HTTPAnalyzer和Fiddler工具的抓包和数据分析方法。掌握酷我音乐App客户端的数据分析方法。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。（1）如何从网络中获取相关数据？（2）现实生活中可以使用哪些数据获取的技术？（3）该如何进行数据爬取？（4）Python语言编写爬虫有哪些优势？（5）通过Web端爬取数据的一般流程是什么？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。PC客户端和APP客户端抓包的完整流程是怎样的？抓包软件的能够应用在那些场景？HTTPAnalyzer和Fiddler有哪些优缺点？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。有没有更好的APP客户端抓包方案（例如使用安卓模拟器等）？Python语言用于做数据分析有哪些优势？如何从抓取的数据包中快速定位要爬取的资源？主要知识点、重点与难点主要知识点（1）了解HTTPAnalyzer工具的基础知识。（2）掌握酷我音乐PC客户端数据的爬取流程。（3）了解Fiddler工具的基础知识。（4）掌握HTTPAnalyzer和Fiddler工具的抓包和数据分析方法。（5）掌握酷我音乐App客户端的数据分析方法。重点抓包的概念、流程与应用场景。HTTPAnalyzer和Fiddler工具的常用功能。难点抓包的概念与流程。教学过程设计理论教学过程（1）HTTPAnalyzer的安装。（2）HTTPAnalyzer的基本功能。（3）使用HTTPAnalyzer进行抓包。（4）对酷我客户端抓取的数据包进行分析。（5）对数据包内容进行解析和数据提取。（6）编写爬虫下载歌手数据。（7）Fiddler工具的安装。（8）Fiddler工具的基本功能。（9）设置Android系统的手机。（10）利用Fiddler工具进行抓包测试。（11）分析酷我音乐App客户端数据。（12）编写爬虫下载首页图片。实验教学过程通过HTTPAnalyzer抓包分析获得在酷我音乐PC客户端搜索的数据。使用Fiddler工具对酷我音乐App客户端的图片信息进行爬取。教材与参考资料教材池瑞楠．Python网络爬虫技术（第2版）（微课版）[M]．人民邮电出版社．2023．参考资料江吉彬．Python网络爬虫技术[M]．人民邮电出版社