没有ROBOTS协议互联网历史会怎样

没有ROBOTS协议，互联历史会怎样_名家观点_突袭

近日百度与360的ROBOTS终于宣判，以360败诉并赔偿百度70万告终。这是360又一次败诉案例，而ROBOTS到底是什么？ROBOTS失效又意味着什么？或许我们换个角度能够获得一些答案，假如ROBOTS失效，那些关于ROBOTS的历史事件会怎样发展？

首先再解释下ROBOTS协议，所谓ROBOTS协议就是可以让站长通过设置，让站的内容不出现在搜索引擎中，而这君子协议也只是一种公约，并不构成任何法律效力，那么现在我们假设ROBOTS协议失效，那些关于ROBOTS的历史会走向怎样的另一种可能。

历史事件一，Facebook 屏蔽谷歌搜索

FACEBOOK中的内容，只要谷歌想抓取，放到搜索引擎上，从技术角度来说是没有丁点难度的。但是直到今天谷歌都没有抓取FACEBOOK中的海量用户内容，而这些海量的内容对谷歌来讲是巨大的损失。

那么假如没有robots协议，谷歌便可以随意抓取，而facebook根本无力抵抗，其用户生产的UGC内容就会肆意的出现在谷歌的搜索结果中，而facebook依靠用户UGC生成出的内容护城河也将功亏一篑，用户要想搜索好友不通过facebook搜索而是绕过facebook直接从谷歌所搜就可以，这对facebook来说就无法构成闭环，必将损失惨重。

历史事件二，默多克旗下屏蔽谷歌搜索

从传统媒体起家的默多克，对于搜索引擎的态度相当不友善，默多克曾将雅虎谷歌等搜索引擎都说成是”络寄生虫“。

当然，谷歌的回应很简单，如果不想让贵站的内容出现在搜索结果中，请使用robots协议禁止我们抓取即可。

随后默多克在09年开始展开计划，对谷歌等搜索引擎展开行动，对旗下多家站屏蔽搜索爬虫。谷歌便不再抓取。那么现在我们假设没有robots协议的话，谷歌就会肆无忌惮的继续抓取站的内容，很可能就成为了真正的“寄生虫”，并且还会与默多克集团的官司不断。

好在谷歌遵守了，直接堵住了默多克的嘴，而随后默多克也无话可说。

历史事件三，淘宝屏蔽百度搜索

2008年百度有啊C2C平台上线，利用搜索优势打算与阿里正面竞争。淘宝采取对抗措施，屏蔽百度抓取淘宝内容，而百度也无可奈何，只能望内容兴叹。

如果没有robots协议的话，那么淘宝就没有办法屏蔽百度，百度就可以依然肆无忌惮的抓取淘宝的海量内容，让阿里的计划全盘落空，哑巴吃黄连。

而好在百度遵守规则，通过遵守规则与阿里竞争，那怕最后百度有啊以失败告终，也没越过雷池一步。

历史事件四，京东屏蔽一淘

京东与阿里想来水火不容，京东屏蔽支付宝，屏蔽新浪微博登录，而屏蔽阿里系的一淘搜索自然也在情理之中，是一种正常的商业竞争行为。而一淘失去京东的商品搜索结果，对自身损失也可谓极大。

好的，那么假如现在没有ROBOTS协议，阿里也同样可以毫无压力的抓取京东的内容，充实自己的一淘搜索结果，京东也只能隔空骂阿里流氓并且束手无策。

当然，好在大家都是按照规矩竞争，阿里的一淘就算做的再差也没有去抓取京东的内容。

历史事件五，优酷同时屏蔽百度与谷歌搜索

08年末由于优酷面临宽带运营的成本压力，所以在段时间内屏蔽了搜索引擎以减轻自己的服务器压力。

而如果当时没有ROBOTS协议的话，那么所搜索引擎的抓取将使优酷面临更巨大的成本压力，难以过冬，甚至很有可能命悬一线。

而ROBOTS协议，给了优酷喘息的机会。

历史事件六，空间

空间自从诞生以来就只对旗下的搜搜开放，而对百度和谷歌等一直是屏蔽措施，我们无法在百度和谷歌上搜索到空间的大量内容。直到2012年，空间才终于将内容向其他搜索引擎开放。

如果没有ROBOTS协议的话，那么从空间诞生之初就是百度谷歌等搜索引擎的囊中之物了，腾讯运营的再好，内容也会被别人家拿去，而腾讯也无法对旗下的搜搜进行保护。

结语：商业竞争从来都是生死存亡之事，而大家规定ROBOTS出协议，就是为了在与搜索引擎出现利益竞争时能够自我保护的君子协议，如果没有该协议那么每次必将是搜索引擎占尽优势，而站则只能哑巴吃黄连。

搜索引擎诞生之初本可以不需要robots，因为自己是优势方，并没有必要给自己设计一个对自己不利的规则，来障碍自己在未来的横行无阻。而偏偏是自己为自己戴了这个紧箍咒，这更像是一种西方式的文明结晶，是对他人私有内容的肯定，以及对权力的自我约束，是人类文明延生到互联的表现。

阅读（726）

名家观点,