揭秘搜索引擎收录问题_第1页
揭秘搜索引擎收录问题_第2页
揭秘搜索引擎收录问题_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

揭秘搜索引擎收录问题

1、内容违法2、robots协议有误由于robots协议的复杂性，导致有小部分站长在创建robots协议的出现错误误导了spider，常见的错误有以下几种：(1)、颠倒了顺序错误写成：User-agent:*Disallow:GoogleBot正确的应该是：User-agent:GoogleBotDisallow:*(2)、把多个禁止命令放在一行中例如错误写成：Disallow:/css//cgi-bin//images/正确的应该是：Disallow:/css/Disallow:/cgi-bin/Disallow:/images/(3)、行前有大量空格例如写成：Disallow:/cgi-bin/尽管在标准没有谈到这个，但是这种方式很容易出问题。(4)、404重定向到另外一个页面当Robot访问很多没有设置robots.txt文件的站点时，会被自动404重定向到另外一个Html页面。这时Robot常常会以处理robots.txt文件的方式处理这个Html页面文件。虽然一般这样没有什么问题，但是最好能放一个空白的robots.txt文件在站点根目录下。(5)、采用大写。例如USER-AGENT:EXCITEDISALLOW:虽然标准是没有大小写的，但是目录和文件名应该小写：user-agent:GoogleBotdisallow:(6)、语法中只有Disallow，没有Allow错误的写法是：User-agent:BaiduspiderDisallow:/john/allow:/jane/(7)、忘记了斜杠/错误写作：User-agent:BaiduspiderDisallow:css正确的应该是：User-agent:BaiduspiderDisallow:/css/……3、网站设计问题这种情况在前几年的企业站中比较常见，最常见的情况是，整站flash，整站js，蜘蛛无法抓取，对于这样的网站，改版是最好的选择，相关讨论很多，这边就不赘述了4、网站不稳定程序顶部：starttime=timer程序尾部：response.Write(timer-starttime)&"ms"经过排查了几个执行时间超过350ms的问题页面以后，网站访问情况趋于稳定，一个更新周期以后网站就被收录了。5、关联惩罚所谓城门失火，殃及池鱼，如果某个网站被搜索引擎封杀，同时你的网站又不幸地被搜索引擎判定，2者之间有密切的关系，那么很遗憾，收录就是不可能的事情了，特别是百度，对于一些站群，垃圾站，seo过度站点的封杀极为严厉。关联惩罚分为三种，域名关联，服务器关联，链接关联。6、内容质量不高百度在"站长FAQ"中指出，百度不收录"复制自互联网上的高度

人人文库> 全部分类> 专业文献 > IT计算机

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论