福州seo|福建seo >> 福州SEO优化 >> 教你如何识别伪装的百度蜘蛛(Baiduspider)

教你如何识别伪装的百度蜘蛛(Baiduspider)

作者:SEO技术 分类: 福州SEO优化 发布于:2015-7-24 23:47 ė602次浏览 60条评论

百度蜘蛛,是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容,然后分门别类建立索引数据库, 使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。

通常来说,蜘蛛百度蜘蛛常见的ip段只有2个,一个是电信(220.181.108.*)、一个是网通(123.125.71.*)。很多人认为不同ip段的Baiduspider代表着不同的的权重,其实这是一个很荒诞的误区!百度Baiduspider没有权重之说,电信、网通多线路同时访问各大网站,分工合作而已!

下面进入主题,谈谈如何识别伪装的Baiduspider:

1、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

2、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器(win+r,输入cmd调出) 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

baiduspider-220-181-108-92.crawl.baidu.com

3、在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

 

以上方法来自百度官方文件,Ian的电脑系统是win7的,亲测了第二种方法,上面的是本人测试的结果截图。图中解析出ip为220.181.108.92的Baiduspider“名称”为“baiduspider-220-181-108-92.crawl.baidu.com”,后缀符合上述的“*.baidu.com 或*.baidu.jp”,因此可以判断出ip为220.181.108.92是真正的Baiduspider。

一般需要判断辨别Baiduspider真伪的情况在网站运营推广中比较罕见,一般用在遇到网站被大规模攻击采集的时候。

本文出自 福州seo|福建seo,转载时请注明出处及相应链接。

分享本文至:

俗话说:SEO大神都喜欢发表自己的观点!那么你呢?

电子邮件地址不会被公开。必填项已用*标注


Ɣ回顶部