信息采集之Python-urllib网页爬取_第1页
已阅读1页，还剩7页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、网页爬取原理我们在浏览器中看到的是一幅幅优美的画面，但这其实是由浏览器解释才呈现出来的。实质它是一段HTML代码结合了 JS以及CSS等相关内容。2Urllib网页爬取示例import urllib2response = urllib2.urlopen(http:/)print response.read() 这个例子中，真正的程序就两行，把它保存成 demo.py，进入该文件的目录，执行如下： python demo.py3Urllib网页爬取方法 我们来分析这几行Python代码import urllib2response = urllib2.urlopen(http:/)print re

2、sponse.read() 第2行response = urllib2.urlopen(http:/) 首先我们调用的是urllib2库里面的urlopen方法，传入一个URL。这个网址是百度首页，协议是HTTP协议。4Urllib网页爬取方法urlopen一般接受三个参数，它的参数如下： urlopen(url, data, timeout) 第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。第一个参数URL是必须要传送的，在这个例子里面我们传送了百度的URL5Urllib网页爬取方法第二和第三个参数是可以不传送的，data默认为空

3、None，timeout默认为socket._GLOBAL_DEFAULT_TIMEOUT 执行urlopen方法之后，返回一个response对象，返回信息便保存在这里面。 print response.read()（直接打印出了该对象的描述）response对象有一个read方法，可以返回获取到的网页内容。 6Urllib网页爬取方法7构造Requset 其实上面的urlopen参数，可以传入一个request请求，它其实就是一个Request类的实例，构造时需要传入Url,Data等等的内容。 比如上面的三行代码，可以改写如下：import urllib2request = urllib2.Request(http:/)response = urllib2.urlopen(request)print response.read() 运行结果是完全一样的，只不过中间多了一个request对象。通过构建一个request，服务器响应请求得到应答，这样逻辑上清晰明确。参考资料8Web S

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论