Pigji.com
美国vps、国外主机评测!

如何判断访客IP是不是百度蜘蛛爬虫,Google蜘蛛的真假识别

最近查看网站访客日志,发现很多IP伪装成百度蜘蛛ip或者google蜘蛛的UA。那么有效的分辨真假百度蜘蛛,识别IP地址是不是google官方IP。甄选出伪装百度google等知名搜索引擎的假冒IP进行拉黑,我们才能有效的维护网站的稳定,防止被恶意访客消耗服务器资源与带宽。

百度蜘蛛的UA

百度搜索蜘蛛: Baiduspider/2.0
百度渲染蜘蛛:Baiduspider-render/2.0

通过IP段分辨是否为真正的百度蜘蛛:

百度蜘蛛IP段大全:https://www.pigji.com/304.html 百度诊断

百度蜘蛛Baiduspider以及真伪检测

在windows系统下,可以使用nslookup命令反向解析ip,识别IP地址是不是真正的百度官方的IP地址。
下方是我们一个访客日志,UA显示是来自百度和Google的爬虫

116.179.32.227 - -  "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
220.181.108.161 - - "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
66.249.75.249 - -  "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

在WIN桌面左下角点击WIN图标:输入cmd 打开命令处理器
然后输入 nslookup ip地址

nslookup 116.179.32.227

反查IP是否来源百度,如下图:

真假百度蜘蛛爬虫查询识别

从上图可以看到站长测试的二个IP是来自百度和Google官方,是真实的蜘蛛爬虫不是伪造的。

也可以用 “tracert+ip”来查询:

tracert 66.249.64.222

来查看是否google的蜘蛛bot,可以看到显示

crawl-66-249-64-229.googlebot.com 的路由

另外我们可以去:
百度搜索资源平台:抓取诊断几次,等于手动让百度模拟爬行你的站长一次。再查看网站日志可以看到百度的爬虫记录。
百度搜索资源平台-抓取诊断:
https://ziyuan.baidu.com/crawltools/

好了,如何判断一个ip是不是百度蜘蛛的IP,如何正确识别百度蜘蛛Baiduspider的真伪检测,分辨真假百度爬虫IP地址,就到这里呢。

赞(7)
未经允许不得转载:猪机博客 » 如何判断访客IP是不是百度蜘蛛爬虫,Google蜘蛛的真假识别

相关推荐

  • 暂无文章

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址