Seo必须理解的搜索引擎收录网站原理_第1页
Seo必须理解的搜索引擎收录网站原理_第2页
Seo必须理解的搜索引擎收录网站原理_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Seo必须理解的搜索引擎收录网站原理

搜索引擎爬虫，蜘蛛，机器人是什么?-搜索引擎收录原理搜索引擎为了能够让自己的数据库足够的强大，足够的全面，不分昼夜的在网络上寻找新的，更可靠的信息，但是随着网络时代到来，网络信息爆炸式的整张，人工根本不可能完成这样的任务，因此，搜索引擎拥有者开发出来一套程序，用来不分昼夜的抓去信息，然后整理，分类信息，最后将这些信息索引到自己的数据库中。这种不分昼夜抓取网站信息的程序的名字很多，比如：蜘蛛，爬虫，机器人，探测器。一般搜索引擎可以同时派出N多个爬虫程序，它们通过URL一个页面一个页面的抓去网站的标题，描述，图片，网站内容等，然后把抓去回来的信息放在专用的仓库中，等待索引。但是网站的设计者，并不能保证自己设计的网站是天衣无缝的，都会有很多问题：比如说网页中出现死链接，网页内容过多等，都导致爬虫程序无法正确的抓取完整个页面的内容，或许爬虫只抓去了这个页面的头部，在抓去身子的时候发现自己存储信息的地方不够了，不得不离开。所以我们在设计网站的时候都应该注意这些问题，建议各位网站设计者能够把网页设计的容易让爬虫接受。Google的两个爬虫程序原理介绍下面我们以搜索引擎中做的最好的google为例，分析搜索引擎是如何抓取信息，如何处理信息。Google爬虫程序拥有2种：刷新爬虫，和深度探测爬虫，刷新爬虫部分昼夜的将抓取来的信息放在一个特定的数据库中，由于刷新爬虫个和主要索引程序一起提供搜索结果，有的时候您会发现，你的页面更新突然出现在搜索结果页面，但是过了一会又突然消失了，这是因为刷新爬虫在不停的抓去信息，不停的重写，给我的感觉是刷新爬虫的存储机制影响比较像数据结构中的栈，先进后出，后就进先出，消失的这段时间各位seo不要着急，还是那个样子不停的更新1月后就会慢慢出现在搜索结果中，不过现在可能等待时间没有那么长。如果你的页面已经在搜索引擎的索引中出现，刷新爬虫一旦发现你的更新，爬虫程序会很快的将您的更新显示出来，但是还是不够稳定，要一直等到深度爬虫更新主要索引，您的页面才能够足够的稳定。下面我们用简单的流程介绍下搜索引擎收录过程：刷新爬虫程序》发现信息》抓取信息》放在专用数据库》等待索引整理》索引整理(深度爬虫访问主要索引)》索引完成，某关键词的排名都已经计算好》等待用户搜索》奉上结果。搜索引擎提供的结果有几种?搜索结果提供的搜索结果有二种，建议各位seoer都应该做上，本人正在学习中，希望能得到高手指点一二。三种搜索结果1内容索引结果2特别索引结果，前者是对网页的关键词，标题，描述，链接源头文字等文字形式的索引和压缩。后者包

人人文库> 全部分类> 专业文献 > IT计算机

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论