《数据采集技术》课件-Scrapy 框架的基本操作

Scrapy框架的基本操作Contents知识目标技能目标素养目标掌握Scrapy框架的基本操作和标准流程提高我们的数据采集和处理能力培养良好的信息素养和道德意识Scrapy框架操作步骤Scrapy爬虫的流程大致分为以下四个步骤创建一个新的爬虫项目明确想要抓取的目标制作爬虫开始爬取网页存储爬取内容（一般通过管道进行）新建项目明确目标创建spider存储数据新建项目命令格式如下：scrapystartproject项目名称在终端使用命令创建Scrapy项目示例新建项目新建一个Scrapy项目项目目录结构如下：创建Spider创建Spider分为以下三个步骤：提取数据运行spider创建spider创建爬虫创建爬虫的命令格式如下：scrapygenspider爬虫名称"爬取域"创建Spider创建Spider示例创建Spider文件内容如下所示:新创建的爬虫文件baidu.py创建Spider新创建的爬虫文件baidu.py文件内容如下所示:创建Spider/board?platform=pc&sa=pcindex_entry以百度热搜榜为示例，该页面的内容如下图所示抓取内容就是页面中热搜榜的数据定义起始URLclassBaiduSpider(scrapy.Spider):name='baidu'allowed_domains=['']

start_urls=['/board?platform=pc&sa=pcindex_entry']创建Spiderdefparse(self,response):withopen("hotlist.html","w",encoding="utf-8")asfile: file.write(response.text)处理响应对象创建Spider定义parse方法，对响应对象进行处理运行Spider命令格式为：运行爬虫scrapycrawl爬虫名称示例运行SpiderScrapy框架的基本操作实操案例定义起始URLclassBaiduSpider(scrapy.Spider):name='baidu'allowed_domains=['']

start_urls=['/board?platform=pc&sa=pcindex_entry']创建Spider本讲小结创建scrapy项目1scrapystartprojectmySpider生成spider2cdmySpiderscrapygenspiderbaidu“”本讲小结定义start_urls，定义parse()方法3运行spider4scrapycrawlbaidu本讲小结创建scrapy项目1scrapystartprojectmySpider生成spider2cdmySpiderscrapygenspiderbaidu“”定义start_urls，定义parse()方法3运行spider4scrapycrawlbaidu课后作业1创建第一个Scrapy项目2抓取热点新闻3熟悉Scrapy框架的基本操作Scrapy框架操作步骤Scrapy爬虫的流程大致分为以下四个步骤创建一个新的爬虫项目明确想要抓取的目标制作爬虫开始爬取网页存储爬取内容（一般通过管道进行）新建项目明确目标创建spider存储数据Scrapy框架操作步骤Scrapy爬虫的流程大致分为以下四个步骤创建一个新的爬虫项目明确想要抓取的目标制作爬虫开始爬取网页存储爬取内容（一般通过管道进行）新建项目明确目标创建spider存储数据制作Spider定义一个容器保存要爬取的词条数据Scrapy提供了Item类用来表示实体数据制作SpiderItem对象类似于词典(dictionary-like)的API用于声明可用字段的简单语法简单的容器，保存了爬取到得数据提供了：制作Spideritem.py文件未修改前如下：修改后：制作Spideritem.py文件未修改前如下：修改后：制作Spider提取数据观察源码，定位目标数据。制作Spider提取数据修改后的baidu.py内容如下：（这里希望在讲解每一行的时候有一条红色下划线指向该行）返回结果后就退出循环return返回的是生成器yield制作Spider提取数据修改后的baidu.py内容如下：返回结果后就退出循环return返回的是生成器yield制作Spider提取数据修改后的baidu.py内容如下：（这里希望在讲解每一行的时候有一条红色下划线指向该行）解析技术框架本身提供了一套机制来帮助用户获取信息Selectors制作Spider运行爬虫输入“scrapycrawlbaidu”存储数据目前只在控制台看到输出结果存储数据目前只在控制台看到输出结果存储数据-o选项可以输出指定格式的文件：scrapycrawlbaidu-ohotlist.csv存储数据以下命令对应多种输出格式scrapycrawlbaidu-ohotlist.csvscrapycrawlbaidu-ohotlist.jsonscrapycrawlbaidu-ohotlist.xmlscrapycrawlbaidu-ohotlist.picklescrapycrawlbaidu-ohotlist.mar