版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
urllib代理原理了解urllib中的代理uest对象
代理介绍对象
代理介绍对象
代理介绍e
我们在做爬虫的过程中经常会遇到这样的情况，最初爬虫正常运行，正常抓取数据，一切看起来都是那么美好，然而一杯茶的功夫可能就会出现错误，比如403Forbidden，这时候打开网页一看，可能会看到“您的IP访问频率太高”这样的提示。出现这种现象的原因是网站采取了一些反爬虫措施。比如，服务器会检测某个IP在单位时间内的请求次数，如果超过了这个阈值，就会直接拒绝服务，返回一些错误信息，这种情况可以称为封IP。
代理介绍e
既然服务器检测的是某个IP单位时间的请求次数，那么借助某种方式来伪装我们的IP，让服务器识别不出是由我们本机发起的请求，不就可以成功防止封IP了吗？一种有效的方式就是使用代理。
代理介绍e
基本原理：代理实际上指的就是代理服务器，英文叫作proxyserver，它的功能是代理网络用户去取得网络信息。形象地说，它是网络信息的中转站。在我们正常请求一个网站时，是发送了请求给Web服务器，Web服务器把响应传回给我们。
代理介绍e
如果设置了代理服务器，实际上就是在本机和服务器之间搭建了一个桥，此时本机不是直接向Web服务器发起请求，而是向代理服务器发出请求，请求会发送给代理服务器，然后由代理服务器再发送给Web服务器，接着由代理服务器再把Web服务器返回的响应转发给本机。这样我们同样可以正常访问网页，但这个过程中Web服务器识别出的真实IP就不再是我们本机的IP了，就成功实现了IP伪装，这就是代理的基本原理。
代理介绍e
代理的作用：突破自身IP访问限制，访问一些平时不能访问的站点。访问一些单位或团体内部资源。提高访问速度：通常代理服务器都设置一个较大的硬盘缓冲区，当有外界的信息通过时，同时也将其保存到缓冲区中，当其他用户再访问相同的信息时，则直接由缓冲区中取出信息，传给用户，以提高访问速度。隐藏真实IP。
代理介绍e
既然服务器检测的是某个IP单位时间的请求次数，那么借助某种方式来伪装我们的IP，让服务器识别不出是由我们本
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 公路交通标志牌制作工艺与应用考核试卷
- 英语语法巩固与应用考核试卷
- 文言知识检测精校版苏教鸿门宴全解
- 小学语文北师大版古诗词教案设计
- 地理知识的精髓
- 正方形结构的特点总结
- 血糖调节人教版教材的实践解读
- 北师大版三年级下册炮手学习内容
- 精炼表达四年级苏教版语文缩句讲解
- 人教版一年级口算习题
- 2024年山东省济南市中考英语试卷
- 重庆市北碚区水土街道公开选拔11名农村本土人才及社区后备干部（高频重点提升专题训练）共500题附带答案详解
- 译林版六年级上册英语1-8单元-单元测试卷(含答案)sc
- 文物运输合同
- 中华人民共和国安全生产法题库
- 中国新闻传播史第六讲教学课件
- 建筑工程模板安装与拆除工艺、标准、安全
- 《商品信息采集与处理》职业活动教学设计(第二章)
- 2024投资代客理财服务协议书
- 2024年《动漫艺术概论》自考复习题库（附答案）
- IMS-MOM 盘古信息MOM智能制造系统介绍
评论
0/150
提交评论