《大数据导论》课件-3.5.3Scrapy项目搭建_第1页
《大数据导论》课件-3.5.3Scrapy项目搭建_第2页
《大数据导论》课件-3.5.3Scrapy项目搭建_第3页
《大数据导论》课件-3.5.3Scrapy项目搭建_第4页
《大数据导论》课件-3.5.3Scrapy项目搭建_第5页
已阅读5页，还剩9页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

大数据导论Scrapy项目搭建————数据采集需求说明Scrapy项目开发可以有多种方式，可以使用Python自带的可视化开发工具

IDLE，也可以使用其它支持Python开发的开发工具。

本课将基于IDEA集成开发环境讲解搭建一个爬取新浪网的新闻模块的Scrapy项目。

需求说明爬取字段：标题数据目标HTML区域：<divid="xy-impcon"></div>创建项目

1、打开IDEA，“新建项目”2、项目类别选择“Python”3、ProjectSDK选择本机安装的python版本，点击“下一步”创建项目

4、设置项目名：SinaProject5、设置项目位置，本课项目位置是E:\TeachProjects\PythonProjects\SinaProject6、点击完成创建项目

此时，SinaProject项目还仅仅是普通的python项目。7、点击IDEA的左下角的“Terminal”8、输入创建Scrapy项目的命令，项目名为GetNews。

scrapystartprojectGetNews可以看到工程列表中已新增了一个GetNews的文件夹Scrapy常用命令创建项目：scrapystartprojectxxx进入项目：cd

xxx

#进入某个文件夹下创建爬虫：scrapygenspiderxxx（爬虫名）（网站域名）生成文件：scrapycrawlxxx-oxxx.json(生成某种类型的文件)运行爬虫：scrapycrawlXXX列出所有爬虫：scrapylist获得配置信息：scrapysettings[options]新增item模型

Item用来定义结构化数据字段，用来保存爬取到的数据。

可以通过创建一个scrapy.Item类，并且定义类型为scrapy.Field的类属性来定义一个Item（可以理解成类似于ORM的映射关系）

在Items.py文件中，创建一个NewsItem类，和构建item模型（model），添加news_title属性，如图。编写爬虫1、点击IDEA的左下角的“Terminal”2、切换到GetNews项目：cdGetNews3、输入创建爬虫的命令：

scrapygenspidernews""

此时，在项目下的spider目录下，已新增了一个news.py的爬虫文件编写爬虫打开spider目录下的news.py爬虫文件，做如图修改。由于需要在IDEA中执行，确保name值与爬虫类名一致。编写爬虫

修改爬虫的parse方法，对response对象解析提取数据。

这里使用了Xpath对爬取的内容进行解析。

本课中，仅打印出爬取的标题，不做存储。运行爬虫打开setting.py文件，设置忽略robots.txt规则，修改。

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论