财经大数据技术应用基础 课件 网络爬虫概述_第1页
财经大数据技术应用基础 课件 网络爬虫概述_第2页
财经大数据技术应用基础 课件 网络爬虫概述_第3页
财经大数据技术应用基础 课件 网络爬虫概述_第4页
财经大数据技术应用基础 课件 网络爬虫概述_第5页
已阅读5页，还剩3页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

网络爬虫概述爬虫的概念网络爬虫（又称网页蜘蛛、网络机器人等），是一种按照一定的规则、自动抓取网络数据的程序或者脚本。爬虫技术曾经被广泛的应用于互联网搜索引擎。使用过互联网和浏览器的人都知道，网页中除了供用户阅读的文字信息之外，还包含一些超链接。网络爬虫系统正是通过网页中的超链接信息不断获得网络上的其它页面。网络数据采集的过程就像一个爬虫或者蜘蛛在网络上漫游，所以才被形象的称为网络爬虫或者网络蜘蛛。爬虫的应用网络爬虫的应用领域十分广泛，经常应用于以下方面：ABCDE搜索引擎舆情监控新闻聚合行业数据社交应用爬虫的原理网络爬虫的基本原理是用户（客户端）向服务器发送访问请求，服务器接收到客户端请求后，验证请求的有效性，然后向客户端发送响应内容，客户端接收并将内容展示出来。简单来说，爬虫就是模拟用户浏览网页的操作，通过模拟浏览器向网站发送请求，获取资源后提取有用的数据并保存。原则上只要浏览器能够做到的事情，爬虫都能做到。网络爬虫可以爬取的数据类型主要有以下几种类型：HTML文档01JSON格式化文本02二进制文件等03爬虫的基本流程爬虫的基本工作流程如下所示：通过URL向服务器发送HTTP请求。保存的方式可以是把数据存为文本，也可以把数据保存到数据库，或者保存为特定的jpg、MP4等格式的文件。对返回的响应内容进行解析，提取所需要的数据。若服务器正常响应，会返回一个Response，Response的内容便是所要获取的内容，类型可能有HTML、JSON、二进制数据（图片、视频等）等类型。HTTP协议在访问网页时，服务器把网页传给浏览器，实际上就是把网页的HTML代码发送给浏览器，让浏览器显示出来，而浏览器和服务器之间的传输协议即是HTTP。HTTP协议即超文本传输协议，是互联网上应用最为广泛的一种网络协议，所有网页文件都必须遵守这一标准，设计HTTP最初的目的就是提供一种发布和接收HTML页面的方法。HTTP协议是一种基于“请求与响应”模式的、无状态的应用层协议，采用URL作为定位网络资源的标识符。URLURL是统一资源定位符，也就是网址。URL是对互联网上资源位置和访问方法的一种简洁表示，是互联网上标准资源的地址。

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论