搜索引擎蜘蛛爬虫名大全

对于seo们清楚掌握主流搜索引擎的爬虫名称十分的关键,因为当分析网站日志的时候来分析爬取情况,以及如果为了保护站点内容的时候的需要屏蔽搜索引擎爬取,这两者都要基于清楚的了解搜索引擎对应的名称才能实现。掌握各大搜索引擎蜘蛛爬虫,对我们开展网站SEO优化具有挺大作用;作者搜集了各大搜索引擎的蜘蛛爬虫UA,便于你需要时查看。


百度蜘蛛:BaiduSpider

百度公司还有其它几个蜘蛛:Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap),都不常见。

百度蜘蛛爬虫UA:

PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

移动端:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

图片:“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”


谷歌蜘蛛:Googlebot

有人说谷歌蜘蛛是GoogleBot,官方谷歌蜘蛛最新名称为Googlebot,还发现了Googlebot-Mobile,看名字是应该是抓取wap内容的。谷歌蜘蛛爬虫UA:“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”,图片:“Googlebot-Image/1.0”。


360蜘蛛:360Spider

它是一个十分“勤奋抓爬”的蜘蛛。360蜘蛛爬虫UA:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);



搜狗蜘蛛:Sogou News Spider

搜狗公司还有其它几个蜘蛛:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider。搜狗蜘蛛爬虫UA:“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”


必应蜘蛛:bingbot

必应蜘蛛爬虫UA:“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”


关注公众号“SEO_Study”回复“爬虫名大全”获取


另外还发现了如:YandexBot、AhrefsBot和ezooms.bot这些国外蜘蛛,如果我们的用户不在国外那么对中文网站用处很小,那是完全可以也是应该屏蔽的。因为,各大搜索引擎蜘蛛(机器人)来我们网站抓取下载内容,是非常耗费我们的网站资源的。所以作为站长,需要根据用户选择对我们的流量有利的几个常用的允许抓取,其余的都可以通过robots来加以屏蔽其抓取。

但是对于蜘蛛的屏蔽建议用黑名单也就是屏蔽不希望被你抓取的搜索引擎,不推荐使用白名单的方法来设置robots因为我们不排除,搜索引擎的蜘蛛不会改名字,如果不能及时的发现,那么对于网站的影响还是超级大。


申明:本站内容仅代表个人观点,仅供学习参考;未经授权任何个人或组织单位不得复制、转载、摘编以及其它形式的应用!

本站文章可能使用到互联网上的资料,若对您造成困扰,请联系 kk19@foxmail.com除理

本文地址:https://www.chateach.com/seo/seozhishi/337

相关文章

  • 长尾关键词

    关键词建设,长尾关键词

    什么是长尾关键词,不管网站权重高低,长尾词的建设在SEO优化中起着至关重要的作用,长尾关键词不仅可以提升目标关键词的排名,其次长尾关键词占据着更多的流量

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2122
    • 关键词建设
    • 长尾关键词
  • IP地址段表达方式

    IP地址,IP区间段,ip表达式

    ip/8/16/24,IP大家在熟悉不过了,但是大家真的了解IP吗?如何表示一段区间的IP端呢?在网站优化的时候IP的屏蔽是经常需要做的一件事,如果需要屏蔽的IP都在一个段区间内,你还在一个个屏蔽吗,有没有一种快速屏蔽一段IP的方法吗。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 3220
    • IP地址
    • IP区间段
    • ip表达式
  • 新站SEO关注哪些数据

    新站优化数据指标

    一个新站的优化我们应该关注哪些数据来判定站点目前处于一个什么样的情况。对于新站来说我们迫切希望的是可以快速的获取排名权重,但是我们又可以通过哪些数据来分析优化流程是否有问题,是否是一个正常的发展呢?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2775
    • 新站优化数据指标
  • 什么是反向链接,及其作用

    什么是反向链接

    什么是反向链接,及其作用对于SEO优化中起着什么作用呢?反向链接的种类非常的多,只要满足上述指向关系。比如常见的友情链接、网页目录、外部链接等等都可以认定是外链形式的反向链接。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2550
    • 什么是反向链接
  • seo优化是什么意思?

    seo优化

    什么是SEO优化,SEO(Search Engine Optimization)搜索引擎优化,通过利用搜索引擎的规则提高网站在有关搜索引擎内的自然排名,是一种不消耗额外广告费的一种推广手。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 994
    • seo优化
  • 搜索引擎高级搜索指令大全

    高级搜索指令大全

    搜索引擎高级搜索指令大全。普通的搜索肯定需要会,但是有一些特殊的搜索是SEO必修课程。下面就来介绍一下搜索引擎的特殊搜索——高级搜索指令。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1818
    • 高级搜索指令大全
  • 什么是闭站保护,无法申请闭站保护怎么办?

    闭站保护,seo

    闭站保护是什么,闭站保护对于站点有什么作用;但是如果站点无法申请闭站保护又要如何应对呢?今天潘某人SEO就以一次闭站的经历分享来告诉大家如何正常的处理闭站保护。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 937
    • 闭站保护
    • seo
  • https网站对排名有好处吗

    https网站,排名因素

    对于网站劫持这种情况,网站可以把站点从http升级为https,对网站数据的传输进行加密,可以有效的提升网站的安全性。那么网站升级https对于站点有哪些影响呢?对于网站的排名有什么影响呢?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 907
    • https网站
    • 排名因素
  • “搜索引擎蜘蛛分权重吗?”——揭秘SEO圈里的重大误区

    蜘蛛,搜索引擎

    在SEO(搜索引擎优化)的世界里,有一句话几乎每个新手都听过:“你这个网站权重太低,蜘蛛都不来爬!”于是很多人开始焦虑:“是不是我网站没权重,搜索引擎蜘蛛根本瞧不上我?”“大站发文章秒收录,我这小站三天都不来爬,是不是被歧视了?”

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 311
    • 蜘蛛
    • 搜索引擎
  • 用户喜欢的内容的样子,续集

    SEO优化

    SEO优化回归本质是内容的优化,内容的核心是基于用户的需求,那么你了解用户吗?用户真正想要的内容是怎么样呢?当你搞明白了这个问题,相信对于的SEO优化会有很大的帮助。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 919
    • SEO优化
  • 如何精准选择高质量友链

    友链

    在互联网的世界里,链接就是通往各个角落的桥梁。特别是友情链接,作为双向导出的外链形式,它对网站的影响远超你的想象。然而,如何进行有效的友情链接交换,避免对自身网站造成不利影响呢?今天,潘某人SEO就来和大家探讨一下友情链接交换的那些事儿。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 462
    • 友链
  • SEO如何正确的进行工作交流沟通

    SEO,工作交流,沟通

    今天这个话题就非常的有意思,不管是不是从事SEO都可以看一下,和每个人息息相关,就是在工作中如何正确的进行交流。大家觉得交流沟通的重点是什么?我说是解决问题大家没有意见吧!交流沟通最终的目的必然是解决问题。但是在现实中,大部分的交流沟通是没有结果的。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 755
    • SEO
    • 工作交流
    • 沟通
  • 网站收录速度和权重的关系

    收录和权重的关系

    网站收录速度和权重的关系,对于搜索引擎来说,对于网站的重视程度如何和这个权重并没有直接的关系,建议大家还是更多关机没人访客数的变化,这个才是重要,网站存在意义就是作为用户抓取的一个平台,而不是为了去做多好看的权重。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1624
    • 收录和权重的关系
  • SEO关键词布局优化方案

    SEO优化方案

    网站的关键字布局一直是大多数seoer注重的一个关键方面。关键字布局与用户的需求相关。然后,根据对有效竞争对手的分析,总体规划布局是合理的。你对网站的关键词布局出了问题怎么办?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1554
    • SEO优化方案
  • 共享ip服务器对seo优化的影响

    seo优化的影响,共享ip

    目前的服务器大致可以分为两种,一种是虚拟主机,还有一种是实例主机。这两者在seo层面最值得关注就是ip的共享问题。那么共享ip是否会对seo优化造成影响,那么这篇文章值得一看。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1173
    • seo优化的影响
    • 共享ip
  • 如何选择合适的编程语言构建SEO友好的网站

    编程语言,SEO友好

    决定搜索引擎优化(SEO)优化的最终结果的因素很多,网站的编程语言可以算作是重要的因素之一,并且编程语言的选择是网站的开端,并且后期更改的代价是非常大的,因此选择正确的编程语言对于SEO优化是非常的重要的。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1010
    • 编程语言
    • SEO友好
  • 百度快照对排名的影响

    快照排名的关系

    百度快照是搜索引擎在抓取页面时候,保留的一份纯文本文档。就是当网站无法访问的时候,访客可以通过快照了解页面的基本的内容;或者说你当前的网络环境很差的时候,因为百度快照是一个纯文本内容,你可以在网络速度极慢的时候还是可以顺利的打开快照页面。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1412
    • 快照排名的关系
  • 网站优化中如何做好图片的优化

    网站优化,图片优化,alt标签

    网站优化中图片优化你做对了吗,很多站点忽视了页面图片的优化,这会让你损失点不少流量,如果你还没有意识到,容潘某人SEO为你细细道来。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 941
    • 网站优化
    • 图片优化
    • alt标签