盘点：关于ROBOTS协议的六大事件

盘点：关于ROBOTS协议的六大事件

首先再解释下ROBOTS协议，所谓ROBOTS协议就是可以让站长通过设置，让网站的内容不出现在搜索引擎中，而这君子协议也只是一种公约，并不构成任何法律效力，那么现在我们假设ROBOTS协议失效，那些关于ROBOTS的历史会走向怎样的另一种可能。历史事件一，Facebook屏蔽谷歌搜索FACEBOOK中的内容，只要谷歌想抓取，放到搜索引擎上，从技术角度来说是没有丁点难度的。但是直到今天谷歌都没有抓取FACEBOOK中的海量用户内容，而这些海量的内容对谷歌来讲是巨大的损失。那么假如没有robots协议，谷歌便可以随意抓取，而facebook根本无力抵抗，其用户生产的UGC内容就会肆意的出现在谷歌的搜索结果中，而facebook依靠用户UGC生成出的内容护城河也将功亏一篑，用户要想搜索好友不通过facebook搜索而是绕过facebook直接从谷歌所搜就可以，这对facebook来说就无法构成闭环，必将损失惨重。历史事件二，默多克旗下新闻屏蔽谷歌搜索从传统媒体起家的默多克，对于搜索引擎的态度相当不友善，默多克曾将雅虎谷歌等搜索引擎都说成是”网络寄生虫“。当然，谷歌的回应很简单，如果不想让贵站的内容出现在搜索结果中，请使用robots协议禁止我们抓取即可。随后默多克在09年开始展开计划，对谷歌等搜索引擎展开行动，对旗下多家新闻网站屏蔽搜索爬虫。谷歌便不再抓取。那么现在我们假设没有robots协议的话，谷歌就会肆无忌惮的继续抓取新闻网站的内容，很可能就成为了真正的“寄生虫”，并且还会与默多克集团的官司不断。好在谷歌遵守了，直接堵住了默多克的嘴，而随后默多克也无话可说。历史事件三，淘宝屏蔽百度搜索2008年百度有啊C2C平台上线，利用搜索优势打算与阿里正面竞争。淘宝采取对抗措施，屏蔽百度抓取淘宝内容，而百度也无可奈何，只能望内容兴叹。如果没有robots协议的话，那么淘宝就没有办法屏蔽百度，百度就可以依然肆无忌惮的抓取淘宝的海量内容，让阿里的计划全盘落空，哑巴吃黄连。而好在百度遵守规则，通过遵守规则与阿里竞争，哪怕最后百度有啊以失败告终，也没越过雷池一步。历史事件四，京东屏蔽一淘京东与阿里想来水火不容，京东屏蔽支付宝，屏蔽新浪微博登录，而屏蔽阿里系的一淘搜索自然也在情理之中，是一种正常的商业竞争行为。而一淘失去京东的商品搜索结果，对自身损失也可谓极大。好的，那么假如现在没有ROBOTS协议，阿里也同样可以毫无压力的抓取京东的内容，充实自己的一淘搜索结果，京东也只能隔空骂阿里流氓并且束手无策。当然，好在大家都是按照规矩竞争，阿里的一淘就算做的再差也没有去抓取京东的内容。历史事件五，优酷同时屏蔽百度与谷歌搜索08年末由于优酷面临宽带运营的成本压力，所以在段时间内屏蔽了搜索引擎以减轻自己的服务器压力。而如果当时没有ROBOTS协议的话，那么所搜索引擎的抓取将使优酷面临更巨大的成本压力，难以过冬，甚至很有可能命悬一线。而ROBOTS协议，给了优酷喘息的机会。历史事件六，QQ空间QQ空间自从诞生以来就只对旗下的搜搜开放，而对百度和谷歌等一直是屏蔽措施，我们无法在百度和谷歌上搜索到QQ空间的大量内容。直到2012年，QQ空间才终于将内容向其他搜索引擎开放。如果没有ROBOTS协议的话，那么从QQ空间诞生之初就是百度谷歌等搜索引擎的囊中之物了，腾讯运营的再好，内容也会被别人家拿去，而腾讯也无法对旗下的搜搜进行保护。结语：商业竞争从来都是生死存亡之事，