教你robots.txt设置方法技巧

2月 28, 2012 SEO点滴

在SEO优化网站当中,做好robots.txt至关重要因为每个搜索引擎抓取网站信息第一步就是爬去robots.txt文件来引导搜索引擎爬取;合理的使用robots文件能够更好的集中网站的权重,避免一些不想被搜索引擎查看的文件抓取,是非常必要的一种SEO手段,但是好多做seo的朋友对于robots的文件使用不是特别了解,仅仅知道Disallow是禁止,allow是允许,以及一些常用的搜索引擎的访问禁止写法,对于在复杂的一些不知道如何去写,其实本人开始也对于robots不知道如何着手去写,但是随着做seo时间推移,以及经验的丰富,笔者总结出了一套自己设置robots的方法,首先为大家介绍在robots设置当中需要注意的一些事项:

1、作为搜索引擎最先访问的目录,过长的robots文件也会影响蜘蛛的爬取速度,所以对于禁止搜索引擎的网页,可以适度的去使用noffollow标记,使其不对该网站传递权重。

2、对于Disallow和Allow的设置是有先后顺序之分的,搜索引擎会根据第一个匹配成功的Allow与Disallow来确定首先访问那个url地址。

3、在robots设置当中关于Disallow当中/和//的区别。在robots文件设置当中,Disallow:/abc是禁止访问abc.html和/abc/123.html等文件,而对于disallow:/abc/来说,是允许对于/abc.html进行访问,但是对于/abc/123.html是进行禁止的。

4、在robots设置当中“*”和“$”的设置,其中”$” 匹配行结束符。”*” 匹配0或多个任意字符。

更多详细的信息可以参看百度搜索帮助中心-禁止搜索引擎收录的方法。

好了掌握了这些知识,你可能会说我还是不知道如何去设置robots文件,那么该怎么办呢?

首先,确定你需要禁止的内容,然后注册谷歌管理员工具,通过搜索引擎查找你想禁止内容的写法,然后登陆谷歌管理员工具,选择网站配置>抓取工具的权限>测试robots.txt把你想要禁止内容的语法填入文本框当中,然后点击下面进行测试,会出现测试的结果,如果有错误,根据错误提示在进行相应的修改就可以了。

同时,谷歌管理员工具下面也有相应的robots设置方法,也可以进行参考。

在robots文件设置完成以后,在末尾加上以sitemap:空格网站地图的url,可以让搜索引擎机器人更好的抓取网站的更链接。

好了掌握以上知识,在robots的设置当中相信会轻松很多,如果还有什么不懂的地方,跟帖提问就可以了。
原文作者 :SVmm明_仴ミ

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注