Pigji.com
国外主机推荐,主机评测!

2021最新搜索引擎蜘蛛名称UA(user-agent)集合

搜索引擎对一个网站很重要,是很多网站重要的流量来源。熟悉各大搜索引擎的蜘蛛就显得必要呢。蜘蛛爬得勤快,网页收录也快。通过分析网站访问日志:查看访问者的user-agent,我们也可以了解哪些搜索蜘蛛过来爬行过你的网站页面:

1、 百度蜘蛛:Baiduspider Baiduspider-image baiduboxapp Baiduspider-render

2、 谷歌蜘蛛:Googlebot (很勤奋的蜘蛛) Googlebot-Image Google-Read-Aloud Googlebot-Video

3、 360蜘蛛:360Spider (很勤奋的蜘蛛)

4、 搜狗蜘蛛:SogouSpider, Sogou web spider

5、 神马蜘蛛:YisouSpider (UC浏览器默认搜索sm.cn的蜘蛛)

6、 必应蜘蛛:bingbot BingPreview

7、 有道蜘蛛:YoudaoBot,YodaoBot

8、 MSN蜘蛛:msnbot,msnbot-media

9、 雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!

10、 Yandex蜘蛛:YandexBot (俄罗斯搜索引擎)

11、 DNSPOD监控蜘蛛:DNSPod-Monitor

12、 MJ12bot:MJ12bot (英国SEO分析页面蜘蛛)

13、 SEMrush:SemrushBot (美国SEO综合分析网站的蜘蛛)

14、 头条蜘蛛:Bytespider (今日头条旗下:高频抓取 被很多站长封禁后 有所改善)

15、 华为蜘蛛:AspiegelBot ( 华为旗下Aspiegel公司 疯狂高频爬行无节制 )

以上蜘蛛:对于国内中文用户为主的站长来说。 主要是 百度 Google Sogou搜狗 Bing 360搜索 神马 头条 这几个蜘蛛比较重要。
然后有时候我们会遇到一些恶意IP冒充搜索引擎的蜘蛛UA进行攻击。
查看主要搜索引擎的蜘蛛IP大全:https://www.pigji.com/304.html

搭建个人网站,可以看看这些国外VPS:
美国便宜VPS主机 | 美国高速VPS | 美国 香港建站主机

END 主要搜索引擎的蜘蛛UA名称,搜索引擎蜘蛛爬虫UA汇总。百度、Google、Bing、搜狗、头条、神马搜索 等各大搜索引擎蜘蛛爬虫UA汇总,就介绍到这里呢。

赞(2)
未经允许不得转载:猪机博客 » 2021最新搜索引擎蜘蛛名称UA(user-agent)集合

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址