搜索引擎蜘蛛爬虫名大全

对于seo们清楚掌握主流搜索引擎的爬虫名称十分的关键,因为当分析网站日志的时候来分析爬取情况,以及如果为了保护站点内容的时候的需要屏蔽搜索引擎爬取,这两者都要基于清楚的了解搜索引擎对应的名称才能实现。掌握各大搜索引擎蜘蛛爬虫,对我们开展网站SEO优化具有挺大作用;作者搜集了各大搜索引擎的蜘蛛爬虫UA,便于你需要时查看。


百度蜘蛛:BaiduSpider

百度公司还有其它几个蜘蛛:Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap),都不常见。

百度蜘蛛爬虫UA:

PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

移动端:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

图片:“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”


谷歌蜘蛛:Googlebot

有人说谷歌蜘蛛是GoogleBot,官方谷歌蜘蛛最新名称为Googlebot,还发现了Googlebot-Mobile,看名字是应该是抓取wap内容的。谷歌蜘蛛爬虫UA:“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”,图片:“Googlebot-Image/1.0”。


360蜘蛛:360Spider

它是一个十分“勤奋抓爬”的蜘蛛。360蜘蛛爬虫UA:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);



搜狗蜘蛛:Sogou News Spider

搜狗公司还有其它几个蜘蛛:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider。搜狗蜘蛛爬虫UA:“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”


必应蜘蛛:bingbot

必应蜘蛛爬虫UA:“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”


关注公众号“SEO_Study”回复“爬虫名大全”获取


另外还发现了如:YandexBot、AhrefsBot和ezooms.bot这些国外蜘蛛,如果我们的用户不在国外那么对中文网站用处很小,那是完全可以也是应该屏蔽的。因为,各大搜索引擎蜘蛛(机器人)来我们网站抓取下载内容,是非常耗费我们的网站资源的。所以作为站长,需要根据用户选择对我们的流量有利的几个常用的允许抓取,其余的都可以通过robots来加以屏蔽其抓取。

但是对于蜘蛛的屏蔽建议用黑名单也就是屏蔽不希望被你抓取的搜索引擎,不推荐使用白名单的方法来设置robots因为我们不排除,搜索引擎的蜘蛛不会改名字,如果不能及时的发现,那么对于网站的影响还是超级大。


申明:本站内容仅代表个人观点,仅供学习参考;未经授权任何个人或组织单位不得复制、转载、摘编以及其它形式的应用!

本站文章可能使用到互联网上的资料,若对您造成困扰,请联系 kk19@foxmail.com除理

本文地址:https://www.chateach.com/seo/seozhishi/337

相关文章

  • 百度信风算法

    百度信风算法,翻页诱导

    百度信风算法是打击翻页诱行为的算法, 是为了防止站点通过利用翻页进行诱导,从而保护用户的浏览体验。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2234
    • 百度信风算法
    • 翻页诱导
  • TAG标签的好处

    TAG标签的好处

    ​TAG标签对于SEO优化有一定的作用,但是使用不当很有可能起到反向作用。对于TAG标签的优化,对于网站内容的布局能力是十分考验的,没有强大的内容和技术支撑是很难达到理想的效果的。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2046
    • TAG标签的好处
  • 百度spider抓取频次原则及调整方法

    百度spider,抓取频次

    Baiduspider根据上述网站设置的协议对站点页面进行抓取,但是不可能做到对所有站点一视同仁,会综合考虑站点实际情况确定一个抓取配额,每天定量抓取站点内容,即我们常说的抓取频次。那么百度搜索引擎是根据什么指标来确定对一个网站的抓取频次的呢?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 645
    • 百度spider
    • 抓取频次
  • 【图解】C位直达后台操作说明

    C位直达

    如何在C位直达活动页查看规则、领取词包、上传内容以及查看收益,有兴趣参与C位直达的小伙伴们,千万不能错过这篇干货文章哦!

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1251
    • C位直达
  • 优化标题关键词可以提升排名吗?

    标题关键词,网站排名

    很多人有一个疑问,把需要排名的关键词插入标题是不是就可以提升这个关键词的排名吗?有可能可以提升排名,也有可能非凡没有提升还会有负面作用,说了等于没说哈!这个需要根据实际情况具体分析,不是绝对的。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1027
    • 标题关键词
    • 网站排名
  • SEO如何处理过期或失效页面如何处理

    过期失效页面处理

    在网站优化中我们遇到这些情况,有的页面是具有时效性的比如电商之类的网站。商品交易完成之后,商品之后不再出售了,那么这个页面其实算是是个过期页面,对于这种页面是具有一定流量的,如果我们删除这个页面那么其实是有一定损失的,对于这类过期页面我们可以用以下方法处理。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2585
    • 过期失效页面处理
  • 网站被K了怎么办?流量暴跌、排名下降如何自救?

    流量,排名,降权

    网站被K的症状有哪些?多久能恢复?又该如何操作自救?在SEO的世界里,每天都像在过山车上——你永远不知道第二天等你的是惊喜还是惊吓。一夜之间,流量归零、关键词排名全掉、收录彻底消失……这就是“网站被K”的真实写照。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 214
    • 流量
    • 排名
    • 降权
  • 移动站SEO优化要点

    移动站优化

    进入2015年之后,很多用户从PC端向移动端迁移.但目前很多企业并没有建设专门的移动站,这也使得移动手机网站的SEO优化工作还处于探索阶段。分享移动站SEO优化的七个方法,具体可以从这几方面来了解(此经验适合新手)

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2073
    • 移动站优化
  • SEO优化内容的发展趋势

    SEO优化

    2022-07-14百度搜索资源平台发布了打击盗版网文站点公告,从中其实可以对seo未来的发展趋势有了大概的预测。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 596
    • SEO优化
  • “TF-IDF”算法与网站SEO关系

    TF-IDF算法

    “TF-IDF”算法与网站SEO关系?这个算法决定着什么样的词可以成为网站的关键词,同时决定着页面在搜索引擎的排名竞争力。TF-IDF​是一种核算方法,用以评价一字词关于一个文件集或一个语料库中的其间一份文件的重要程度。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2665
    • TF-IDF算法
  • 网站SEO死链的如何处理

    死链,SEO

    大量死链的存在容易造成搜索引擎对网站评级的降低,因为大量的死链接的存在,会对于用户访问时的体验造成严重的伤害。同时大量的死链存在,会浪费大量的抓取量,对于网站的正常收录都会造成严重的影响。今天就和潘某人SEO一起探讨一下哪些情况需要提交死链、如何发现以及正确删除死链的方法。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 139
    • 死链
    • SEO
  • 怎么让网站快速排名

    网站快速排名

    怎么让网站快速排名?快的排名方法就是网站建设的时候需要做好任何的细节优化,只有做好细节,才是网站优化本该做的事情,才是长久之计。而所谓网络上说的快速排名,其实就是利用某些搜索引擎的特点对优化的网站进行特殊的优化操作,

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1042
    • 网站快速排名
  • 索引量波动意味着什么?需要重视吗?

    索引量,流量,seo

    索引量的波动牵动了多少站长心,根据不可靠研究,据说索引量波动得足够猛,可以影响到站长们的心电图。尤其突然的下降,一次性掉了大半年积累到的索引量。那么遇到索引量大幅度波动对于站点意味着什么呢?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 752
    • 索引量
    • 流量
    • seo
  • 内容权威性对网站排名的影响

    权威性与排名

    你知道吗网站内容的权威性一定程度上决定了网站的质量以及排名。你知道什么是权威性呢,我们应该如何去优化网站才可以提网站在领域内的权威性呢?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1030
    • 权威性与排名
  • 移动网站建设常见问题

    移动网站建设常见问题

    移动站点变得越来越重要,那么我们应该如何做好移动站呢。移动站点和PC站点相辅相成,都是一个互为补充的关系,少了任何一个都是不合理的,那么在移动站点的优化中常见的问题有哪些呢?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1653
    • 移动网站建设常见问题
  • 必应搜索SEO优化值得做吗

    必应搜索,SEO优化

    对于站点SEO优化来说,必应不但可以带来可观的流量,也同时降低了站点运营风险,如今搜索引擎竞争激烈,算法调整,站点流量的稳定性就是一个不可控的因素。在条件允许的前提下,必应搜索是非常值得一做。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 934
    • 必应搜索
    • SEO优化
  • 网站seo优化description标签摘要规范

    description,描述标签

    网站seo优化是description标签摘要内容如何设置才能符合seo规范,描述指的是页面源码中的description中的内容,description标签的内容是搜索引擎搜索页面展示的摘要的主要内容来源之一。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 818
    • description
    • 描述标签
  • 多域名解析到同一网站利于排名吗?

    多域名解析

    多域名解析到同一个网站,个人觉得这种行为就是闲的,没事找事给自己挖坑。多域名解析到同一个网站,首先运营上的意义不大,并且非常容易出现重复收录,权重分散的问题,所以除非有迫不得已的原因,打死都不要去多域名解析到一个网站。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1052
    • 多域名解析