




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
豆瓣电影排行榜爬虫预期结果爬取豆瓣电影的热门榜,获取热门榜信息并生成excel文件实现数据可视化成果演示1.py-VisualStudioCode2022-06-2214-21-12.mp4设计思路以及代码展示豆瓣网未登陆的情况下无法采集数据,requests.get会返回418,418的意思是被网站的反爬程序识别返回的结果,所以采集之前要先登录网站,并且复制网站的User-Agent和Cookie信息,并且把User-Agent和Cookie转化为字典格式,网页鼠标右键——检查——Network——Doc——F5刷新网址(这步很重要)——选择Name下面的‘top250?start=0&filter=’——Headers——Cookie,User-Agent(位于cookie下面)User-Agent和Cookie在网站的位置如下:
可以看到,页面上每个电影的名称都是一个链接,链接会跳到电影的详情页。由于每一个页面上能看到的电影信息有限,所以需要进入电影的详情页,才可以采集电影的详细信息。首先采集页面上25部电影的链接采集每部电影的详细信息在每一部电影的详情页面,我们采集的信息包括:电影名称、豆瓣评分、评分人数、导演、编剧、主演、类型、制片国家/地区、语言、上映日期、片长、又名、IMDb链接。代码如下总代码展示(基础版)代码优化通过观察可以看出,豆瓣电影top250榜单总共有10个页面,每个页面有25部电影,总共250部电影。并且,这10个页面的网址有一定的规律性,那就是网址中的
start
位置,第1个页面start=0,第2个页面start=25,第10个页面start=225,可以推测出这10个页面的网址中的start呈现出[0,25,50,75,100,125,150,175,200,225]的序列分布规律。于是可以通过python循环自动生成10个网址,并且
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 【正版授权】 ISO/IEC TS 18661-4:2025 EN Programming languages,their environments,and system software interfaces - Floating-point extensions for C - Part 4: Supplementary functions
- 光纤采购合同范例
- 买卖安装服务合同范例
- 出售公司简易合同范例
- 二零二五年度英语夏令营英语教学成果展示合同
- 药店员工合同协议书(2025年度)-药品研发与技术支持
- 二零二五年度智能化合同公司管理制度及执行细则
- 二零二五年度农产品电商平台风险管理与控制合同
- 2025年度办公室员工安全教育与保障合同范本
- 2024秋七年级英语上册 Unit 3 Body Parts and Feelings Lesson 14 Colours and Feelings教学实录 (新版)冀教版
- 泰戈尔-飞鸟集中英文版全
- 车间现场管理培训
- 中小学生心理健康教育课件
- (正式版)CB∕T 4548-2024 船舶行业企业相关方安全管理要求
- 财务管理与成本控制实施方案三篇
- 智慧养老服务平台建设总体要求
- 酒店厨房消防知识培训普及消防知识课件
- 2024年山东青岛高中高一自主招生物理试卷试题(含答案)
- 2024年江苏海事职业技术学院单招职业适应性测试题库及答案1套
- 2024年江苏旅游职业学院单招职业适应性测试题库及参考答案
- 多囊肾的教学查房
评论
0/150
提交评论