福州seo|福建seo >> 福州SEO优化 >> robots文件到底要不要?该怎么写合适

robots文件到底要不要?该怎么写合适

作者:SEO技术 分类: 福州SEO优化 发布于:2015-7-24 23:50 ė594次浏览 60条评论
robots文件到底要不要放?

有些人满不在乎这个问题,认为这个可有可无,影响也不大。

可是,我的答案是放,一定要放。

有些时候或许真的没有什么影响,可是根据蜘蛛爬行的规则,进入一个跟目录,首先爬行的就是robots.txt文件,里面可以通过设置告诉蜘蛛要爬行哪些文件,不要爬行哪些文件,既然有这样的规则,那么robots文件就一定要放进去。seo其实是一个细节决定胜负的行业,你连这小小的规则都不放在眼里,谈何优化呢?

那么,robots文件该怎么写呢?

其实对于一般的企业网站,也不需要弄得那么复杂。

放开蜘蛛,正常运行:
User-agent: *
Disallow: /Manage/

禁止蜘蛛:
User-agent: *
Disallow: /
一般就这么两句就够了。如果确实想禁掉某些文件,再用disallow就可以了。
对于有伪静态处理的,那么就要禁止蜘蛛抓取动态路径了。
还有就是,蜘蛛是从上到下抓取的,所以当上下句矛盾的时候,是以上面一句为准的。
我这个博客用的是php程序的,我的robots.txt文件是:
User-Agent: *
Disallow: /*?*
Disallow: /*tag*
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-config.php

仅供参考。

本文出自 福州seo|福建seo,转载时请注明出处及相应链接。

分享本文至:

俗话说:SEO大神都喜欢发表自己的观点!那么你呢?

电子邮件地址不会被公开。必填项已用*标注


Ɣ回顶部