《数据采集技术》课件-Scrapy shell

ScrapyshellScrapyshellscrapyshell是一个交互式终端可以在不运行Spider的情况下，测试和调试自己的数据提取代码，测试XPath或CSS表达式属于scrapy命令行工具Scrapyshell在编写spider时终端提供了交互性测试表达式代码的功能可以测试任何类型的代码它本就是一个常规的PythonshellScrapyshell一般使用标准Python终端如果安装了IPython，Scrapyshell将优先使用Ipython（替代标准Python终端）启动ScrapyShell语法：scrapyshell<url>url可以为空或本地的一个文件启动ScrapyShell语法：scrapyshell<url>启动ScrapyShell语法：scrapyshell<url>使用Scrapyshell三种快捷命令：快捷命令描述shelp()打印可用对象和快捷命令的帮助列表fetch(request_or_url)根据给定的request或URL获取一个新的response对象，并更新原有的相关对象view(response)使用本机的浏览器打开给定的response对象。该函数会在response的body中添加一个<base>标签，使得外部链接（如图片）能正确显示使用Scrapyshell内置对象描述crawler指定当前Crawler对象spider处理URL的spiderrequest最近获取到的页面的Request对象response包含最近获取到的页面的Response对象settings当前的Scrapy设置使用Scrapyshell内置对象：内置对象描述crawler指定当前Crawler对象spider处理URL的spiderrequest最近获取到的页面的Request对象response包含最近获取到的页面的Response对象settings当前的Scrapy设置使用Scrapyshell示例：使用Scrapyshell示例：使用Scrapyshellresponse对象有多个属性response.status响应状态码response.url响应地址response.bodyresponse.text文本形式的http正文是response.body经过response.encoding解码得到的response.text=response.body.decode(response.encoding)示例：response对象示例：response对象response的解析response解析说明response.xpath()使用xpath路径查询特定元素，返回一个selector列表对象response.css()使用css_selector查询元素，返回一个selector列表对象selector对象通过xpath方法调用返回的是seletor列表response.xpath()示例response的解析extract()使用xpath请求到的对象是一个selector对象，需要进一步使用extract()方法拆包，转换为unicode字符串response的解析如果提取不到值会报错extract_first()提取seletor列表中的第一个值如果提取不到值会返回一个空值response.css()示例：response的解析本讲小结1启动ScrapyShell2ScrapyShell