福州seo|福建seo >> 福州SEO优化 >> SEO优化重要环节:robots协议设定

SEO优化重要环节:robots协议设定

作者:SEO技术 分类: 福州SEO优化 发布于:2015-8-2 23:28 ė563次浏览 60条评论
robots协议定义

spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围,也是你对搜索引擎制定的一个如何索引你的网站的规则。

Robots协议用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取;可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面。这里归纳下robots协议的作用有如下几点:


1、屏蔽网站内的死链接。2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。3、阻止搜索引擎索引网站隐私性的内容。

robots.txt文件放在哪里?

robots.txt文件应该放置在网站根目录下。首先会检查该网站中是否存在 这个文件。

robots格式

User-agent: *

Disallow:

allow:

User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

Disallow:代表禁止   allow:代表允许“*”和”$”的含义Baiduspider支持使用通配符”*”和”$”来模糊匹配url。“$” 匹配行结束符。“*” 匹配0或多个任意字符。


福建SEO博客为大家列举常见robots协议写法:

User-agent:*Disallow:或者User-agent:*Allow:/

a ,禁止所有搜索引擎访问网站的所有部分。

User-agent:*Disallow:/

b,禁止百度索引你的网站。

User-agent:BaiduspiderDisallow:/

c,禁止Google索引你的网站。

User-agent:GooglebotDisallow:/

d,禁止除百度以外的一切搜索引擎索引你的网站。

User-agent:BaiduspiderDisallow:User-agent:*Disallow:/

e,禁止除Google以外的一切搜索引擎索引你的网站。

User-agent:GooglebotDisallow:User-agent:*Disallow:/

f,禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问img目录。

User-agent:*Disallow:/admin/Allow:/img/

g,禁止和允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。

User-agent:*Disallow:/admin/*.php$Allow:/admin/*.asp$

h,禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,如:index.php?id=1213)。

User-agent:*Disallow:/*?*

本文出自 福州seo|福建seo,转载时请注明出处及相应链接。

分享本文至:

俗话说:SEO大神都喜欢发表自己的观点!那么你呢?

电子邮件地址不会被公开。必填项已用*标注


Ɣ回顶部