福州seo|福建seo >> 福州SEO优化 >> 怎样建立robots.txt文件

怎样建立robots.txt文件

作者:SEO技术 分类: 福州SEO优化 发布于:2015-8-15 23:56 ė634次浏览 60条评论
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),您可以在您的网站中创建一个纯文本文件robots.txt,在文件中声明该网站中不想被robot访问的部分或者指定搜索引擎只收录特定的部分。
 


robots.txt文件的用处是非常大的,它在网站建设和SEO优化中起着很关键的作用。搜索引擎在访问任意网站的网页之前,都会查看是否存在阻止它们访问特定网页的robots.txt文件。

我们给出样本,并且应该把robots.txt文件放置在网站根目录下: 

User-agent: {SpiderNameHere} 
Disallow: {FileNameHere} 

譬如,如果您想告诉Excite搜索引擎的Spider(ArchitextSpider),不检索您站点中三个特定页面,您可这样操作: 

User-agent: ArchitextSpider 
Disallow: /orderform.html 
Disallow: /product1.html 
Disallow: /product2.html 

如果您不想让Excite的Spider检索在abc目录下的def.htm文件: 

User-agent: ArchitextSpider 
Disallow: /abc/def.htm 

不检索整个mydirectory目录: 

User-agent: ArchitextSpider 
Disallow: /mydirectory/ 

不让所有Spider检索: 

User-agent: * 

不检索整个站点: 

Disallow: / 

我们给出其他实例: 

User-agent: ArchitextSpider 
Disallow: /abc/def.htm 

User-agent: Infoseek 
Disallow: /ghi/jkl.htm 

User-agent: ArchitextSpider 
User-agent: Infoseek 
Disallow: /abc/def.htm 
Disallow: /ghi/jkl.htm 

本文出自 福州seo|福建seo,转载时请注明出处及相应链接。

分享本文至:

俗话说:SEO大神都喜欢发表自己的观点!那么你呢?

电子邮件地址不会被公开。必填项已用*标注


Ɣ回顶部