当前位置 »威客网 » 新闻中心 »随意修改robots.txt不利于搜索引擎收录你的站

随意修改robots.txt不利于搜索引擎收录你的站

2016年8月17日来源:威客网小分类:阅览器

新闻摘要:Robots.txt是用来告诉bot的访问权限,因Robots.txt协议并不是一个规范,而只是约定俗成的,通常大多数搜索引擎会识别这个元数据,不索引这个页面,以及这个页面的链出页面,使用方法是将robots.txt文件放在网站根目录下。举

Robots.txt是用来告诉bot的访问权限,因Robots.txt协议并不是一个规范,而只是约定俗成的,通常大多数搜索引擎会识别这个元数据,不索引这个页面,以及这个页面的链出页面,使用方法是将robots.txt文件放在网站根目录下。举例来说,当搜索引擎访问一个网站(比如p>

经本人的试验,对于一个遵守Robots.txt协议的蜘蛛,如果你修改Robots.txt过于频繁,可直接导致将你的站“冷”处理!本人的站就已进入该黑洞了,之前百由于不想让百度蜘蛛收录商品列表的老页面,就直接B了百度蜘蛛访问此页,过了约3天,效果果真明显,小CO还暗喜这蜘蛛真听话,于是乎又想到网站内之前使用的几个页面。现在也用不上了,而此前已被搜索引擎收录了N多页,居家设计现在一起B了,于是修改了Robots.txt,这一改不要紧,两于过去了,小CO再也高兴不起来了,可爱的百度蜘蛛再也不哪么勤快了(之前每天在站内爬2万以上),狗狗名字大全现在几天也不到2万,晕死。。。上了当就得找原因:上边说过了,一旦B了某个页面,蜘蛛就不索引这个页面,以及这个页面的链出页面,偶的就中了这个奖了!很多人放出了他们自己修改的robots.txt文件,但都忽略了百度蜘蛛的爬行规律:并不是进入一个版块后,就按照人类思维,按文章列表顺序爬行的,我从自己的站点,已经证实这个问题:

比如文章列表第一篇爬完后,并不是接着爬第二篇,而是从第一个篇内容页中的“热点文章”等继续爬(这就要求站内的贯通性较好!)。从DZ官站的收录页URL就可以看出这个点,如果随意屏蔽/forum.php?mod=redirect* 或者/forum-redirect*这样的路径,在线电子贺卡制作可能会导致大部分网页不被收录。

不要用人的思维习惯来判断蜘蛛程序的规律。很多站长放了robots.txt后,就发现百度很少收录自己的内页,很可能就是这个原因。所以用robots.txt文件来解决重复收录问题,是很危险的,从程序上做根本解决才是上策!小CO是上当了。希望有?

(站长网首发,作者p>

注:相关网站建设技巧阅读请移步到建站教程频道。

,【全文完】