大数据采集与预处理（微课版） 课件 项目4 基于框架实现动态网页数据采集与存储

项目四

基于框架实现动态网页数据采集与存储目录Content1使用Scrapy框架完成新闻公告页面数据采集与存储项目导言零

Scrapy是Python的一个应用Twisted异步处理的第三方应用程序框架，用户只需要定制开发几个模块即可实现一个爬虫，用来快速爬取网站并从页面中抓取网页内容以及各种图片。学习目标零知识目标了解Scrapy相关概念熟悉Scrapy框架的设置掌握文本解析与内容存储精通内存存储逻辑技能目标具备项目创建的能力具备使用Scrapy操作命令创建Scrapy项目的能力具备解析网页中文本的能力具备网页数据采集能力素养目标具有较好的团队精神具有高度的责任感具备很强的学习和沟通能力具有清晰思路、较强的逻辑思维能力任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹任务技能Scrapy简介及安装Scrapy简介、Scrapy安装、Scrapy项目结构、Scrapy项目构建流程Scrapy操作指令在操作系统的任何位置均可以使用的全局命令应用于Scrapy项目中的项目命令字段定义及Scrapy设置自定义字段、项目设置、通用参数设置文本解析XPath选择器、CSS选择器内容存储文件存储、管道存储任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹1Scrapy简介及安装Scrapy是Python的一个第三方应用程序框架，主要用于爬取网站并从页面中提取结构数据。（1）Scrapy简介任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹ItemPipeline管道，负责处理Spider中获取到的Item，并进行详细分析、过滤、存储等内容的后期处理。Spiders爬虫，主要用于对Response进行处理，从特定的网页中分析提取数据，并在获取Item字段需要的数据后，将网络地址提交给引擎，再次进入Scheduler。Scheduler即调度器，接收ScrapyEngine的Request请求，多个请求会在整理排序后，等待ScrapyEngine需要时返回给ScrapyEngine。Scrapy

EngineScrapy引擎，能够进行系统数据流的处理、事务的触发等，完成Spiders、ItemPipeline、Downloader、Scheduler等模块之间数据的传输、信号的传递。Downloader下载器，通过ScrapyEngine的Requests请求下载网页内容，并返回包含网页内容的Response，然后由ScrapyEngine提交给Spiders进行处理。Scrapy框架任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹（2）Scrapy安装Scrapy属于Python的第三方框架，可以使用pip安装、wheel安装和源码安装等安装方式，并且在通过pip方式安装Scrapy时，会自动安装lxml、pyOpenSSL、Twisted、PyWin32等相关的依赖库。打开cmd命令窗口，输入“pipinstallscrapy”进入Python的交互式命令行，通过import引入Scrapy进行安装验证Step1Step2任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹（3）Scrapy项目结构任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹01030405060702items.py字段定义文件scrapy.cfg项目配置文件middlewares.py中间件设置文件spiders爬虫文件存储目录settings.py项目设置文件pipelines.py项目管道文件MySpider.py爬虫文件任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹（4）Scrapy项目构建流程通过Xpath或CSS选择器解析XML文档6文本解析在爬虫文件中，根据需求选择通用参数，爬取页面数据5通用参数设置4项目设置修改settings.py文件对项目名称、并发请求、爬取策略、项目管道等进行设置3爬虫文件创建通过genspider命令在spiders目录中创建爬虫文件2字段定义修改items.py文件代码，明确抓取的目标字段7修改pipelines.py代码，通过管道的设置实现爬取内容的存储数据存储1项目创建通过startproject命令创建爬虫项目任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹2Scrapy操作指令全局命令命令描述-h查看可用命令的列表fetch使用Scrapydownloader提取的URLrunspider未创建项目的情况下，运行一个编写好的spider模块settings规定项目的设定值shell给定URL的一个交互式模块startproject用于创建项目version显示Scrapy版本view使用Scrapydownloader提取URL并显示在浏览器中的内容genspider使用内置模板在spiders文件下创建一个爬虫文件bench测试scrapy在硬件上运行的效率任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹项目命令命令描述crawl用来使用爬虫抓取数据，运行项目check检查项目并由crawl命令返回list显示本项目中可用爬虫（spider）的列表edit可以通过编辑器编辑爬虫parse通过爬虫分析给定的URL任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹3字段定义及Scrapy设置（1）自定义字段

在进行网页内容的爬取时，明确目标是不可或缺的一个步骤。在Scrapy中，通过修改items.py文件中代码进行字段的自定义操作即可明确爬取的目标。语法格式：#导入scrapy模块importscrapy#定义包含scrapy.Item参数的类classScrapynameItem(scrapy.Item):#definethefieldsforyouritemherelike:#自定义字段name=scrapy.Field()#通过提示pass任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹除了通过“scrapy.Field()”方法外，还可以通过import命令从Scrapy中先引入Item和Field，之后直接使用即可。语法格式：#导入scrapy的Item参数和Field方法fromscrapyimportItem,Field#定义包含scrapy.Item参数的类classScrapynameItem(Item):#自定义字段name=Field();#通过提示pass任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹items.py文件中包含的内容仅为字段的定义，还需在MySpider.py文件中通过类名称引入items.py文件中class定义的类并实例化字段对象，之后通过“对象[字段名称]=值”的方式进行赋值操作。语法格式：importscrapy#导入ScrapynameItem类fromScrapyName.itemsimportScrapynameItemclassMyspiderSpider(scrapy.Spider):defparse(self,response):item=ScrapynameItem()item["name"]="值"任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹（2）项目设置Scrapy中项目的设置通过settings.py文件，通过指定项目属性和属性值定义设置项目，包括项目名称设置、并发请求设置、爬虫中间件设置等。任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹（3）通用参数设置通用spider参数参数描述scrapy.Spider通用SpiderCrawlSpider指定规则爬取网站XMLFeedSpider通过迭代节点分析XML内容任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹（1）XPath选择器4文本解析符号和方法描述nodeName选取此节点的所有节点/根节点//选择文档中的所有匹配节点.当前节点..当前节点的父节点@选取属性*匹配任何元素节点@*匹配任何属性节点Node()匹配任何类型的节点text()获取文本内容Xpath路径表达式包含符号和方法任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹在Scrapy中，路径表达式通过xpath()方法应用。语法格式：importscrapy#从scrapy.selector中导入Selectorfromscrapy.selectorimportSelectorclassMyspiderSpider(scrapy.Spider):name='MySpider'allowed_domains=['域名列表']start_urls=['网址列表']defparse(self,response):#构造Selector实例sel=Selector(response)#解析HTMLxpath=sel.xpath('表达式')pass任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹

在Scrapy中，CSS路径表达式通过css()方法应用。（2）CSS选择器语法格式：importscrapy#从scrapy.selector中导入Selectorfromscrapy.selectorimportSelectorclassMyspiderSpider(scrapy.Spider):name='MySpider'allowed_domains=['域名列表']start_urls=['网址列表']defparse(self,response):#构造Selector实例sel=Selector(response)#解析HTMLcss=sel.css('表达式')pass任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹（1）文件存储5内容存储语法格式：scrapycrawl爬虫文件名称path在Scrapy中，可以使用crawl命令的“-o”参数，在运行Scrapy项目时将数据保存到本地JSON、CSV等文件中。任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹（2）管道存储语法格式：ITEM_PIPELINES={'ScrapyProject.pipelines.ScrapyprojectPipeline':300,}Scrapy中管道的使用需要先在settings.py文件添加ITEM_PIPELINES参数，进行管道的启用。任务4-1：使用Scrapy框架完成新闻公告页面数据采集与存储壹ITEM_PIPELINES参数说明参数描述ScrapyProject项目名称pipelines管道文件名称ScrapyprojectPipeline'管道中包含的类名称300执行管道的优先级，值为0~1000，数字越小，管道的优先级越高，优先调用4-1：任务实施贰切换到命令行，进入PressRelease的项目，使用genspider命令在spiders目录中创建一个名为job的爬