已阅读5页，还剩6页未读， 继续免费阅读
版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
Scrapy抓取AJAX数据应用场景应用案例应用场景/01当前很多新网站在很多地方采用了ajax(异步JavaScript和XML)，大大提高了页面加载的速度。但是对于一些数据抓取来说，就增加了复杂度，ajax数据从源代码里找不到。如下案例，一篇文章页面中的评论信息和哪些专题进行了收录，都在源代码中看不到。应用场景应用案例/02
首先，使用抓包工具Fiddler或Chrome"检查"进行分析。文中使用的是Chrome工具。Chrome--"检查"--切换到“Network”，这时候刷新一下网页。找到发送收录专题的请求(request)。
应用案例
一个页面通常会有几十个请求（这个页面有89个），包括网页文档（document）,脚本（script）,图片（jpeg）,还有一种类型叫xhl就是XMLHttpRequest，就是异步请求类型。然后比较名字，找到所要的请求。点击它，就看到完整的URL了。
应用案例
注意，这个URL放到地址栏访问发现并不没有返回我们所要的数据，而是一个404页面。但看一下返回的Response，就是我们所需要的JSON数据。
应用案例
最后解析JSON,这一步就比较简单，引入json包，进行解析。当然做这步时，需要先发送一个请求
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年储能技术多元化在新能源储能电站建设中的技术创新与突破报告
- 人工智能驱动的航天器任务ants自适应规划-洞察阐释
- 初中阅读名著题目及答案
- 中医基础理论：疾病与环境
- 处方知识考试试题及答案
- 储能运维面试题库及答案
- 2025水电装修合同相关法律条款
- 2025短期工劳务合同样本
- 初中期中考试试题及答案
- 初中教师面试题库及答案
- 法律文书写作能力测试题库及解答分析
- 2025合作合同范本：两人合伙协议书模板
- DB31/T 595-2021冷库单位产品能源消耗指标
- 2025年计算机Photoshop操作实务的试题及答案
- 2024-2030全球WiFi 6移动热点行业调研及趋势分析报告
- 2025年广东省广州市越秀区中考物理一模试卷（含答案）
- 中医针灸治疗脑梗塞后遗症的应用实践
- 2025年宁夏宁东开发投资有限公司招聘笔试参考题库含答案解析
- 小学三年级下册英语（牛津上海一起点）全册语法知识点总结
- 上海市嘉定区2023-2024学年三年级下学期期末数学试卷
- 河南省学校结核病疫情处置技术方案（试行）
评论
0/150
提交评论