2023学年完整公开课版python爬虫框架scrapy

Python爬虫框架Scrapy1.了解Python爬虫框架Scrapy的简介

2.学习Python爬虫框架Scrapy的安装

3.掌握Python爬虫框架Scrapy的实例1、爬虫框架Scrapy的简介scrapyScrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。Scrapy原设计用来屏幕抓取,但它也可以用来访问API来提取数据：1、爬虫框架Scrapy的简介scrapyScrapyEngine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。Downloader（下载器）：负责下载ScrapyEngine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给ScrapyEngine(引擎)，由引擎交给Spider来处理。Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。ItemPipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。DownloaderMiddlewares（下载中间件）：一个可以自定义扩展下载功能的组件。SpiderMiddlewares（Spider中间件）：一个可以自定扩展和操作引擎和Spider中间通信的功能组件。1、爬虫框架Scrapy的简介2、Python爬虫框架Scrapy的安装安装Scrapy框架：这里如果直接pip3installscrapy可能会出错。所以你可以先安装lxml：pip3installlxml(已安装请忽略)。安装pyOpenSSL：在官网下载wheel文件。安装Twisted：在官网下载wheel文件。安装PyWin32：在官网下载wheel文件。下载地址：/~gohlke/pythonlibs/配置环境变量：将scrapy所在目录添加到系统环境变量即可。最后安装scrapy，pip3installscrapy

3、Python爬虫框架Scrapy的实例情境1新创建一个目录，按住shift-右键-在此处打开命令窗口:创建scrapy项目scrapystartprojecttutorial即可创建一个tutorial文件夹文件夹目录如图：3、Python爬虫框架Scrapy的实例情境2例如以爬取猫眼热映口碑榜为例子来了解一下:创建scrapy项目在spiders文件夹下创建一个maoyan.py文件，你也可以按住shift-右键-在此处打开命令窗口，输入：scrapygenspider文件名要爬取的网址。3、Python爬虫框架Scrapy的实例情境3item是保存爬取数据的容器，使用的方法和字典差不多:定义Item我们打开items.py，之后我们想要提取的信息有：index(排名)、title(电影名)、star(主演)、releasetime(上映时间)、score(评分)于是我们将items.py文件修改成这样。

3、Python爬虫框架Scrapy的实例情境4再次打开spider来提取我们想要的信息:修改spider修改成这样：3、Python爬虫框架Scrapy的实例情境5打开命令窗口，输入：scrapycrawlmaoyan(项目的名字):运行3、Python爬虫框架Scrapy的实例情境5如果我们想保存为csv、xml、json格式，可以直接使用命令：保存scrapycrawlmaoyan-omaoyan.csvscrapycrawlmaoyan-omaoyan.xmlscrapycrawlmaoyan-omaoyan.json在该文件夹下，按住shift-右键-在此处打开命令窗口，输入：1.Python爬虫框架Scrapy的简介

2.Python爬虫框架Scrapy的安装

3.Pyth