福州seo|福建seo >> 福州SEO优化 >> WordPress网站robots.txt作做

WordPress网站robots.txt作做

作者:SEO技术 分类: 福州SEO优化 发布于:2015-8-2 23:48 ė628次浏览 60条评论
首先我们先简单了解下robots是什么有什么用途?



Robots是以一种网络爬虫协议,全称是“网络爬虫排除标准”,通过robots规则,可以规范爬虫抓取行为,不仅可以规范哪个搜索引擎爬虫可以或不可以抓取,还能告诉它们哪些文件类型可以抓取。



接下开始编写WordPress的robots.txt

User-agent: *   #这里的*代表的所有的搜索引擎种类,*是一个通配符

Disallow: /wp-admin/#禁止所有引擎抓取网站wp-admin目录

Disallow: /wp-includes/#禁止所有引擎抓取网站wp-includes目录

Disallow: /wp-content/plugins/#禁止所有引擎抓取网站wp-content目录下的plugins目录

Disallow: /wp-content/themes/#禁止所有引擎抓取网站wp-content目录下的themes目录

Disallow: /comments/feed/   #禁止搜索引擎爬虫抓取评论订阅

Disallow: /*/trackback#禁止所有引擎抓取网站包含和的目录下的trackback目录(包含子目录)

Disallow: /*?replytocom=    #禁止搜索引擎爬虫抓取评论回复链接

Disallow: /*/comment-page-* #禁止搜索引擎爬虫抓取评论分页链接

Disallow:/?s=* #屏蔽搜索引擎蜘蛛抓取搜索结果页面

Disallow: /?p=* #禁止所有引擎爬虫抓取内容页的动态链接,如果未使用固定链接则忽略

Sitemap: http://www.xxx.com/sitemap_baidu.xml   #改为你的sitemap地址

本文出自 福州seo|福建seo,转载时请注明出处及相应链接。

分享本文至:

俗话说:SEO大神都喜欢发表自己的观点!那么你呢?

电子邮件地址不会被公开。必填项已用*标注


Ɣ回顶部