今天看了一文章说是淘宝网禁止百度蜘蛛,也看了它的截图,心想不会这这么回事吧,我就来来淘宝网,来看下它的robots.txt,果然不假,真的截图一样,就是禁止了百度蜘蛛一爬行,从下面robots.txt中我们可以看到:
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
代表是什么意思你也知道,这就很有意思了,我在百度site下,有93.6万网页,用时0.001s,百度蜘蛛是百度用来抓取各网站内容的一套自动程序，屏蔽百度蜘蛛主要是不想被百度收录，或者担心抓取给服务器带来压力,淘宝这个主动也有这个方面的原因.看来网站太大也有担心的时候,嘿嘿!