《Python程序设计》课件-项目八 获取豆瓣读书Top250网站信息 爬取豆瓣读书Top250网站数据

Python程序设计与应用爬取豆瓣读书Top250网站数据房晓东主讲教师爬取豆瓣读书Top250网站数据怎么准确高效率地保存250本书的详细信息呢？使用网络爬虫爬取豆瓣读书Top250网站单个页面数据爬取豆瓣读书Top250网站数据Python学习目标什么是requests模块requests模块爬取网页requests模块爬取百度网站首页和爬取豆瓣读书Top250网站单个页面数据Python学习目标网页内容爬取不完整或未获取响应内容的原因HTTP消息格式解决网页内容爬取不完整问题爬取豆瓣读书Top250网站数据爬取网页数据requests爬取网页信息的第三方模块方便向网站发送HTTP请求响应结果requests模块在使用之前要先安装爬取豆瓣读书Top250网站数据函数功能说明requests.request()构造一个请求，支撑以下各方法的基础方法equests.get()获取HTML网页的主要方法，对应于HTTP的GET请求方式requests.post()向HTML网页提交POST请求的方法，对应于HTTP的POST请求方式如何模拟浏览器向网站发送HTTP请求，获取响应呢？requests模块提供很多发送HTTP请求的函数requests模块还提供了Response类对象用于动态地响应客户端的请求、控制发送给用户的信息，并动态地生成响应，包括状态码、网页的内容。爬取豆瓣读书Top250网站数据属性说明Status_codeHTTP请求的返回状态，200表示连接成功，404表示失败textHTTP响应内容的字符串形式，即URL对应的页面内容encoding从HTTP请求头中猜测的响应内容编码方式apparent_encoding从内容中分析出的响应编码的方式(备选编码方式)contentHTTP响应内容的二进制形式Response类的常用属性运行结果可以看到响应状态码为200，表示已成功处理请求，但在响应内容中的中文内容是乱码，这是为什么呢？爬取豆瓣读书Top250网站数据造成中文乱码的原因获取内容的编码方式和实际编码方式不匹配PyCharm【Ctrl+F】快捷键搜索栏导入requests豆瓣读书Top250网站首页网址保存到url发送GET请求爬取豆瓣读书Top250网站首页HTTP状态码418是一个非标准的HTTP状态码Python爬取豆瓣读书Top250网站数据程序运行结果中可看到响应状态码为418，为什么响应内容为空呢？服务器返回418状态码时，服务器认为这是一个爬虫的请求修改请求头信息添加代理IP延长请求间隔时间完整爬取网页内容网站反爬虫策略设置验证码限制IP访问频率爬取豆瓣读书Top250网站数据网页内容爬取不完整或未获取响应内容是因为网站反爬虫策略导致的。请求信息HTTP请求消息与HTTP响应消息的格式由请求行、请求头、空行和请求参数四部分组成爬取豆瓣读书Top250网站数据浏览器会向服务器发起HTTP请求，也会接收服务器返回的HTTP响应。请求信息响应消息HTTP请求消息与HTTP响应消息的格式由请求行、请求头、空行和请求参数四部分组成爬取豆瓣读书Top250网站数据浏览器会向服务器发起HTTP请求，也会接收服务器返回的HTTP响应。由状态行、响应报头、空行和响应正文组成GoogleChrome浏览器【F12】开发者工具“网络”面板服务器headers中的User-Agent判断访问者通过什么工具发送请求Python允许用户修改User-Agent来模拟浏览器访问，通过携带请求头发送请求的方法，解决网页爬取不完整问题。语法格式：headers参数接收字典形式的请求头。请求头字段名作为key，字段对应的值作为value。爬取豆瓣读书Top250网站数据了解了什么是requests模块能使用requests模块爬取百度网站首页和爬取豆瓣读书Top250网站单个页面数据爬取豆瓣读书Top250网站数据如何使用requests模块爬取网页爬取豆瓣读书Top250网站数据课程小结了解网页内容爬取不完整或未获取响应内容的原因HTTP消息格式解决网页内容爬取不完整问题，解决爬取豆瓣读书Top250