第10章 网络爬虫VIP

第10章网络爬虫爬虫爬取网页的流程抓取网页数据解析网页数据学习目标了解掌握熟悉掌握了解网络爬虫的概念及分类12熟悉网络爬虫爬取网页的详细流程掌握抓取网页的过程，会使用requests抓取网页34掌握解析网页的过程，会使用bs4解析网页数据目录☞点击查看本节相关知识点爬虫爬取网页的流程10.210.1网络爬虫概述☞点击查看本节相关知识点10.3抓取网页数据10.4解析网页数据10.5实例12:龙港房地产爬虫知识架构10.3爬取网页数据1浏览网页过程2使用requests模块抓取网页知识架构1网页数据结构分析2解析网页的过程和技术3使用Beautiful

Soup

4解析网页数据10.4

解析网页数据10.1网络爬虫概述什么是网络爬虫网络爬虫又称为网页蜘蛛、网络机器人，它是一种按照一定的规则自动地爬取万维网信息的程序或脚本。网络爬虫分类根据使用场景，网络爬虫可分为两种：通用爬虫（（ScalableWebCrawler），又称全网爬虫。聚焦爬虫（FocusedCrawler），又称主题网络爬虫（TopicalCrawler）。10.1网络爬虫概述1.通用爬虫将爬取对象从一些种子URL扩充到整个Web上的网站为门户站点搜索引擎和大型Web服务提供商采集数据爬取范围和数量巨大，要求高速、高存储空间，对爬取顺序要求较低通常采用并行工作方式2.聚焦爬虫选择性地爬取与预先定义好的主题相关的页面相对节省硬件和网络资源涉及数据量小、更新快可很好地满足一些特定人群对特定领域信息的需求10.2爬虫爬取网页的流程爬虫爬取网页的流程首先选取一些网页，将这些网页的链接地址作为种子URL。将（1）中的种子URL放入到待抓取URL队列中。爬虫从待抓取URL队列（队列先进先出）中依次读取URL，并通过DNS解析URL，把链接地址转换为网站服务器所对应的IP地址。将（3）中生成的IP地址和网页相对路径名称交给网页下载器。网页下载器将相应网页的内容下载到本地。10.2爬虫爬取网页的流程爬虫爬取网页的流程将（5）中下载的网页存储到页面模块中，等待建立索引以及后续处理；与此同时，将已下载的网页URL放入到已抓取URL队列中，以避免重复抓取网页。从（6）中下载的网页中抽取出所有链接信息，检查其是否已被抓取，若未被抓取，将这个URL放入待抓取URL队列中。重复步骤（2）~（7），直到待抓取URL队列为空。10.3抓取网页数据浏览网页过程通过一张图来描述浏览网页的过程，具体如图所示。10.3抓取网页数据HTTP消息格式浏览网页的过程中，浏览器会向服务器发起HTTP请求，也会接收服务器返回的HTTP响应。HTTP是网络中用于传输HTML等超文本的应用层协议，它规定了HTTP请求消息与HTTP响应消息的格式。请求消息由请求行、请求头、空行和请求参数四部分组成，示例代码如下：1.请求消息GET/HTTP/1.1Host:User-Agent:Mozilla/5.0(WindowsNT5.1;rv:25.0)Gecko/20100101Firefox/25.0Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8Accept-Language:zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3Accept-Encoding:gzip,deflateConnection:keep-aliveusername=jack请求行请求方式HTTP协议版本请求头信息空行参数10.3抓取网页数据响应由状态行、响应报头、空行和响应正文组成，示例代码如下：2.响应消息HTTP/1.1200OKServer:TengineConnection:keep-aliveDate:Wed,30Nov201607:58:21GMTCache-Control:no-cacheContent-Type:text/html;charset=UTF-8Keep-Alive:timeout=20Vary:Accept-EncodingPragma:no-cacheX-NWS-LOG-UUID:bd27210a-24e5-4740-8f6c-25dbafa9c395Content-Length:180945<!DOCTYPEhtmlPUBLIC"-//W3C//DTDXHTML1.0Transitional//EN"....响应行响应头信息空行响应消息协议版本状态码状态码描述信息10.3抓取网页数据使用requests模块抓取网页Python中的第三方模块requests是转为人类设计的HTTP模块，该模块支持发送请求，也支持获取响应。requests模块提供了很多发送HTTP请求的函数，常用的请求函数具体如表所示。1.发送请求函数功能说明requests.request()构造一个请求，支撑以下各方法的基础方法requests.get()获取HTML网页的主要方法，对应于HTTP的GET请求方式requests.post()向HTML网页提交POST请求的方法，对应于HTTP的POST请求方式10.3抓取网页数据Requests模块提供的Response类对象用于：动态地响应客户端的请求；控制发送给用户的信息；动态地生成响应，包括状态码、网页的内容。Response类的常用属性如表所示。2.获取响应属性说明status_codeHTTP请求的返回状态，200表示连接成功，404表示失败textHTTP响应内容的字符串形式，即URL对应的页面内容encoding从HTTP请求头中猜测的响应内容编码方式apparent_encoding从内容中分析出的响应编码的方式（备选编码方式）contentHTTP响应内容的二进制形式10.3抓取网页数据示例：使用requests模块抓取百度网页。importrequestsbase_url=''res=requests.get(base_url)#发送GET请求#获取响应状态码print("响应状态码：{}".format(res.status_code))#获取响应内容的编码方式print("编码方式：{}".format(res.encoding))#更新响应内容的编码方式为utf-8res.encoding='utf-8‘#获取响应内容print("网页源代码：\n{}".format(res.text))10.4解析网页数据HTMLHTML是用来描述网页的一种语言，它包含了文字、按钮、图片、视频等各种复杂的元素，不同类型的元素通过不同类型的标签表示，例如，图片使用img表示，段落使用p标签表示，布局通过div标签排列嵌套形成。10.4解析网页数据分析网页结构10.4解析网页数据解析网页过程了解了网页结构以后，可以借助网页解析器（用于解析网页的工具）从网页中解析提取出有价值的数据，或者是新的URL链接，过程如图所示。网页源码字符串网页解析器价值数据新URL列表10.4解析网页数据解析网页技术基于文本的特征来匹配或查找指定数据可以处理任何格式的字符串文档正则表达式基于HTML/XML文档的层次结构来确定达到指定节点的路径更适合处理层级比较明显的数据XPath和BeautifulSoup用于JSON文档的数据解析JSONPathre模块lxml模块beautifulsoup4json模块10.4解析网页数据解析工具的性能比较抓取工具速度使用难度安装难度re最快困难无（内置）lxml快简单一般beautifulsoup4慢最简单简单10.4解析网页数据BeautifulSoup4BeautifulSoup

4（简称bs4）是一个HTML/XML解析器主要功能是解析和提取HTML/XML数据支持CSS选择器、Python标准库中的HTML解析器、lxml的XML解析器bs4模块bs4模块会将复杂的HTML文档换成树结构（HTMLDOM），这个结构中的每个节点都是一个Python对象，这些对象可以归纳为如下四种：bs4.element.Tag类：表示HTML中的标签，最基本的信息组织单元。它有两个非常重要的属性，分别为表示标签名字的name属性，表示标签属性的attrs属性。bs4.element.NavigableString类：表示HTML中标签的文本（非属性字符串）。bs4.BeautifulSoup类：表示HTMLDOM中的全部内容。bs4.element.Comment类：表示标签内字符串的注释部分，是一种特殊的NavigableString对象。10.4解析网页数据bs4解析网页数据的一般流程HTML网页创建BeautifulSoup类对象搜索节点find_all等方法访问节点包括名称、属性、文本123按节点名称按节点属性值按节点文本10.5实例12：龙港房地产爬虫实例12：龙岗房地产爬虫利用网络爬虫技术抓取龙港房地产网站首页的楼房信息，抓取出页面中的部分数据，包括详细地址、详情链接、房型、户型、面积、出售价格、登记时间，并以Excel表格的形式存放到本地。需求：分析：构建龙港房地产爬虫项目需要以下三