首页 >  SEO >  SEO知识 >  正文

搜索引擎蜘蛛爬虫名大全

1933

对于seo们清楚掌握主流搜索引擎的爬虫名称十分的关键,因为当分析网站日志的时候来分析爬取情况,以及如果为了保护站点内容的时候的需要屏蔽搜索引擎爬取,这两者都要基于清楚的了解搜索引擎对应的名称才能实现。掌握各大搜索引擎蜘蛛爬虫,对我们开展网站SEO优化具有挺大作用;作者搜集了各大搜索引擎的蜘蛛爬虫UA,便于你需要时查看。


百度蜘蛛:BaiduSpider

百度公司还有其它几个蜘蛛:Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap),都不常见。

百度蜘蛛爬虫UA:

PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

移动端:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

图片:“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”


谷歌蜘蛛:Googlebot

有人说谷歌蜘蛛是GoogleBot,官方谷歌蜘蛛最新名称为Googlebot,还发现了Googlebot-Mobile,看名字是应该是抓取wap内容的。谷歌蜘蛛爬虫UA:“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”,图片:“Googlebot-Image/1.0”。


360蜘蛛:360Spider

它是一个十分“勤奋抓爬”的蜘蛛。360蜘蛛爬虫UA:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);



搜狗蜘蛛:Sogou News Spider

搜狗公司还有其它几个蜘蛛:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider。搜狗蜘蛛爬虫UA:“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”


必应蜘蛛:bingbot

必应蜘蛛爬虫UA:“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”


关注公众号“SEO_Study”回复“爬虫名大全”获取


另外还发现了如:YandexBot、AhrefsBot和ezooms.bot这些国外蜘蛛,如果我们的用户不在国外那么对中文网站用处很小,那是完全可以也是应该屏蔽的。因为,各大搜索引擎蜘蛛(机器人)来我们网站抓取下载内容,是非常耗费我们的网站资源的。所以作为站长,需要根据用户选择对我们的流量有利的几个常用的允许抓取,其余的都可以通过robots来加以屏蔽其抓取。

但是对于蜘蛛的屏蔽建议用黑名单也就是屏蔽不希望被你抓取的搜索引擎,不推荐使用白名单的方法来设置robots因为我们不排除,搜索引擎的蜘蛛不会改名字,如果不能及时的发现,那么对于网站的影响还是超级大。


申明:本站内容仅代表个人观点,仅供学习参考;未经授权任何个人或组织单位不得复制、转载、摘编以及其它形式的应用! 本站文章可能使用到互联网上的资料,若对您造成困扰,请联系 kk19@foxmail.com除理 本文地址:https://www.chateach.com/seo/seozhishi/337
相关文章
  • 如何降低网站跳出率

    降低网站跳出率

    影响网站的跳出率的原因有哪些,从网站的可访问性、用户体验、以及站点的内容上,分析这些因素对于网站跳出率产生的影响,以及我们应该进行怎么的操作,才能更好的降低跳出率高的问题........

    2007
    • 降低网站跳出率
  • SEO真的是免费获取流量吗?

    SEO,免费流量

    ​很多人对于SEO的认知是免费流量,做SEO的目的也是为了获取免费流量。正式因为这种错误的认知,才造就了众多站点的SEO之路通往了失败的大门。SEO的确是属于免费流量的渠道,但是获取过程并非你所认知的低成本。

    729
    • SEO
    • 免费流量
  • 字体字号对用户体验的影响

    字体,用户体验

    多年前,麻省理工学院的研究人员已经证实字体影响我们的感受:差的字体使人无意识的反感,好的字体使我们感到高兴。如果字体能够影响我们的情绪,那同样会影响用户体验。

    1059
    • 字体
    • 用户体验
  • 冷门关键词才是大多数网站的出路

    冷门关键词,网站优化

    对于很多站点尤其是新站经常会遇到不收录得问题,或者即使是收录了,排名也非常的不理想很难获得理想的流量,就有了一种SEO优化做不下去,想要放弃的感觉。

    880
    • 冷门关键词
    • 网站优化
  • 网站多久才不算新站

    网站多久才不算新站

    新站的时间大概在3-6个月不等,判断一个网站是否过了考核期,应当有两个标准,一收录,二排名。有收录,过了一半;有排名了,全过。一般而言,首页和内页的考核期也不同。

    2410
    • 网站多久才不算新站
  • 百度信风算法

    百度信风算法,翻页诱导

    百度信风算法是打击翻页诱行为的算法, 是为了防止站点通过利用翻页进行诱导,从而保护用户的浏览体验。

    1968
    • 百度信风算法
    • 翻页诱导
  • 收下这份防爬虫的策略

    爬虫

    对于防爬并没有一劳永逸的方法,只要内容是可以被访问的,那么就有可能被爬取;是否能勾防住,最终就是一场攻防的战斗,看哪一方技术更胜一筹。今天潘某人SEO突然灵光乍现,突然想到一个防爬虫的方案,在这里分享给大家,当然也不是专业做这个的,有不妥之处欢迎大家指正,铺垫比较长一定看到最后,希望可以帮助到你。

    559
    • 爬虫
  • 百度冰桶算法,移动页用户体验保护

    百度冰桶算法

    百度一直都在打击移动端用户体验不好的网站,从app的强制下载到现在的广告位置布局,冰桶算法是专门为了移动端体验效果而生的算法,为了提高移动端的用户体验效果

    2560
    • 百度冰桶算法
  • 做SEO前必须知道的那些事

    SEO优化

    入SEO者常有,而有效果者不常有,想要做好SEO获得效果,那么在做SEO前必须知道的这些事。在这个内卷的时代,广告费用节节攀升的情景下;再加上这些年来SEM付费广告的出现的一些负面事件,导致越来越多的人对搜索引擎的付费广告比较反感;这使得SEO的价值还在不断地提升。

    280
    • SEO优化
  • 代码适配对百度友好代码详解

    代码适配

    移动端适配的方式有多种形式,比如通过规则适配、响应式、独立移动PC站等方式都可以实现PC移动端适配的效果,今天详细讲一下本人比较喜欢的适配方式即代码适配,这种适配方式可以说是尽可能的结合了上面集中适配方式的优点,对于SEO优化来说还是比较友好的。

    2475
    • 代码适配
  • SEO如何正确的判断网站关键词流量

    关键词流量,SEO优化,

    大家流量统计会用什么根据呢,百度统计?相信很多站点的流量统计都是按照百度统计来计算,但是对于SEO优化来说是远远不够的。个人认为百度统计并不是非常适用于SEO优化效果的判定,对于百度SEO优化效果推荐大家使用百度搜索资源平台的中流量与关键词工具,比起百度统计更加适用。

    980
    • 关键词流量
    • SEO优化
  • 收录工具常见问题解析

    收录工具

    今天讲一下百度收录工具那些事,今年百度搜索引擎的收录工具发生很大的变化。首先自动提交功能下线了,手动提交不再支持未认证站点链接的提交,sitemap不再支持索引型,并且每日提交的数量也有了限制。

    1271
    • 收录工具
  • 网站优化要不要制作sitemap

    sitemap,网站地图

    网站优化到底需不要要制作sitemap地图呢?sitemap地图的作用又是什么呢?可以提升网站的收录速度吗?

    1592
    • sitemap
    • 网站地图
  • 如何防止网站内容被复制

    防止复制,js

    通过js修改document上的相关属性值来实,防止网站内容被复制。

    1146
    • 防止复制
    • js
  • 百度惊雷算法3.0解读

    惊雷算法,百度算法

    百度惊雷算法3.0解读,对违规行为较严重的领域(如:汽车、下载、招聘、B2B、网站SEO等)进行了针对性的打击。

    1683
    • 惊雷算法
    • 百度算法
  • 网站改版如何降低对于seo优化的影响

    网站改版,seo优化的影响

    网站改版如何降低对于seo优化的在站点的实际运营中,网站的改版基本上是不可避免的,网站改版对于seo优化的影响相当于是一个未知数,很多的时候都超出了我们的预期。网站改版分为两种,一种是结构上的改版,一种是板式上的改版。

    619
    • 网站改版
    • seo优化的影响
  • 跟踪链接导致大量重复页面

    跟踪链接,重复页面

    对网站运营推广的时候我们不得不使用各种跟踪链接达到推广效果的统计作用。但是这类跟踪链接会造成大量的重复页面的出现,导致权重的分散对SEO产生负面的影响,我们如何解决这问题呢?

    870
    • 跟踪链接
    • 重复页面
  • seo需要掌握的技术技能

    seo需要掌握的技术

    从事SEO工作的人员,个人能力不尽相同。有的可能是程序员转行过来,更多的更像是编辑人员。对于SEO优化来说最终的成功更取决于对于网站内容布局的长期规划,并不是说懂点技术,或者会写点文章就可以把SEO做的很好。那么对于SEO 来说我们需要掌握哪些技能呢?

    965
    • seo需要掌握的技术
-- 这已经是底线了,看看别的把! --