


下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
搜索引擎收录页面流程原理和方式分析
搜索引擎收录页面实际上就是在互联网上进行数据采集,这是搜索引擎最基础的工作,而搜索引擎的内容都来自后台的庞大的URL列表,通过这些URL,不断的收录,储存及维护,而学习搜索引擎收录的流程,收录原理及收录方式,有效的提高搜索引擎对网站的收录的数量!1.页面收录流程在互联网中,URL是每个页面的入口地址,”蜘蛛程序”通过这些URL列表抓取到页面的,“蜘蛛”不断的从这些页面中获取URL资源及存储页面,并加入URL列表,如此不断的循环,搜索引擎就可以从互联网中获取到足够的页面。URL是页面的入口,则域名则是网站的入口,搜索引擎就是通过域名进入网站,挖掘URL资源,换而言之搜索引擎在互联网中抓取页面的首要任务就是要有庞大的域名列表,在不断的通过域名,进入网站抓取网站中的页面,而对于咱们而言,想搜索引擎收录,首要条件就是加入搜索引擎的域名列表,常见加入搜索引擎的域名列表的有以下两种方式通过与有质量的“外链”,使搜索引擎在抓取“别人”的网站页面时发现我们的网站,从而实现对网站的收录,这种方法主动权在我们手上,(只要我们有足够多的“外链”)且收录速度比第一种方法快,根据外部链接的数量、质量相关性,一般2-7天就会被搜索引擎收录2.页面收录原理通过学习“页面收录流程”可以掌握加快网站被收录的方法,接着来学习页面收录原理,从而提高搜索引擎收录的数量!如果把一个网站页面组成的页面看做是一个有向图,从指定的页面出发,沿着页面中的链接,按照某种特定的策略对网站中的页面进行遍历。不停地从URL列表中移出已经访问的URL,并存储原始页面,同时提取原始页面中的URL的信息:再将URL分为域名及内部URL两大类,同时判断URL是否被访问过,将未访问过的URL加入URL列表中。递归地扫描URL列表,直至耗尽所有URL资源为止。经过这些工作,搜索引擎就可以建立庞大的域名列表、页面URL列表并储存足够多的原始页面。3.页面收录方式知道了“页面收录流程”和“页面收录原理”然而在搜索引擎中要获取相对重要页面,就涉及到了搜索引擎的页面收录方式,页面收录方式是指搜索引擎抓取页面时所使用的策略,目的是为了能在互联网中筛选出相对重要的信息,页面收录的方式的制定取决于搜索引擎对网络结构的理解。如果使用相同的抓取策略,搜索引擎在同样的时间内可以在某一网站中抓取到更多的页面资源,则会在该网站停留更长的时间,收录的页面数自然也就多了。因此,加深对搜索引擎页面收录方式的认识,有利于为网站建立友好的结构,提高被收录的数量。搜索引擎搜收录页面的方式主要要有“广度优先”、“深度优先“及”用户提交“(用户提交暂时不讲)三种,认识这三种页面收录方式及各自的优缺点!广度优先如果把整个网站看做一棵树,首页就是根,每个页面就是叶子。广度优先是一种横向的页面抓取方式,先从树的较浅层开始抓取页面,直接抓完同层次的所有页面后才进入下一层。因此,在对网站进行优化时,我们应该把网站相对重要的信息展示在层次比较浅的页面上(例如:在首页推荐一些热门的内容)。反过来,通过广度优先的抓取方式,搜索引擎就可以首先抓取到网站中相对重要的页面。首先,”蜘蛛“从网站的首页出发,抓取首页上所有连接指向的页面,形成页面集合A,并分析出A中所有页面中的链接:在跟踪这些链接抓取下一层的页面,形成页面集合B:就这样递归地从浅层页面中解析出链接,再从深层页面,直至满足某个设定的条件才停止抓取进程深度优先与广度优先的抓取方式相反,深度优先首先跟踪浅层页面中的某一连接后逐步抓取深层页面,直至抓完最深层的页面才返回浅层页面再跟踪其另一链接,继续向深层页面抓取,这是一种纵向的页面抓取方式。使用深度优先的抓取方式,搜索引擎可以抓取到网站中较为隐蔽、冷门的页面,这样就能满足更多用户的需求。首先,搜索引擎会抓取网站的首页,并提取首页中的链接:再沿着其中的一个连接抓取到页面A-
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 初二班主任九月份工作总结
- 社团工作总结
- 采购员个人年终工作总结
- 二年级下学期班务工作计划
- 农村单间出租合同范例
- 支行银企战略合作协议书范本
- 企业租房协议普通
- 湖北省二手车买卖合同协议书范本
- 餐厅经营托管合同范本
- 包工维修合同范例
- DB11∕T 2077-2023 城市副中心 新型电力系统10kV及以下配电网设施配置技术规范
- 屋顶分布式光伏电站专项施工方案
- 不合格产品处置管理制度
- 2024年中考语文考点专题复习标点符号含解析
- 2024年浙江省中考科学试卷
- 广东省2024年中考数学试卷(含答案)
- 湖北省黄冈市(2024年-2025年小学三年级语文)人教版随堂测试(下学期)试卷(含答案)
- 2024中国软件供应链安全分析报告-2024.08-56正式版
- 省属企业阳光采购监督管理办法
- 项目四任务1:认识毫米波雷达(课件)
- 银行保安服务 投标方案(技术标)
评论
0/150
提交评论