首页 >  SEO >  SEO知识 >  正文

巧用robots避免蜘蛛黑洞

 作者:潘某人SEO
1371

今天我们来了解下什么是蜘蛛黑洞,黑洞大家应该有一定的了解,属于一种高质量高引力天体,包括光任何的物体都无法逃逸。蜘蛛黑洞既是蜘蛛进入之后无法再出来,对正常的抓取工作产生负面影响。

造成蜘蛛黑洞的原因

有些站点含有大量的重复页面,常见的如站点的内容雷同,但具体参数不同的动态URL ;就会导致蜘蛛抓取大量相似或者相同的内容,导致有限的抓取频次被消耗殆尽,一定程度上影响了有价值页面的及时收录。

巧用robots避免蜘蛛黑洞

重复内容其实很难避免,比如有的站点内容页面有筛选功能,通过不同的条件去筛选显示对应的内容,常用的技术有点就是根据条件通过ajax查询反馈结果到当前页面,就会导致不同的查询结果,出现同一个链接带不同参数的url出现。最终就导致展现有大量的带参数的重复url被收录。不仅仅会影响搜索引擎的抓取,站点出现大量的相似内容也会对网站的评级产生影响。

屏蔽动态链接

对于这类情况处理还是很简单的,就是屏蔽所有动态链接的抓取,通过robots.txt文件规则来实现。在robots文件中添加Disallow: /*?* ,即禁止搜索引擎访问网站中所有的动态页面。这样就可以简单高效的屏蔽了低质量页面的抓取,有效的避免了蜘蛛黑洞的出现。

但是有的时候某些站点的动态页面是有价值的,是需要被收录的,直接屏蔽所有动态页面的抓取是不合理的;可以在Disallow: /*?* 的下一行添加允许抓取的动态链接,比如站点"/seodd"目录下的动态链接允许抓取,那么就是添加一行 allow: /seodd/*?* 。如果需要放通的比需要屏蔽的更多,就可以一个个目录屏蔽,而不是屏蔽所有目录再去放通某个目录。

申明:本站内容仅代表个人观点,仅供学习参考;未经授权任何个人或组织单位不得复制、转载、摘编以及其它形式的应用! 本站文章可能使用到互联网上的资料,若对您造成困扰,请联系 kk19@foxmail.com除理 本文地址:https://www.chateach.com/seo/seozhishi/691
相关文章
  • nofollow标签对于网站优化的作用

    nofollow标签,内链优化,外链优化

    nofollow标签对于网站优化的作用,针对nofollow标签在外链优化以及内链优化中的作用,以及注意事项简单的分析了其作用,对于网站优化还是十分重要的!

    1469
    • nofollow标签
    • 内链优化
    • 外链优化
  • 品牌词监控对于SEO优化的重要性

    品牌词监,SEO优化

    流量监控是每个站点都会去做的一件事,但是大多数非常宽泛的一个统计,并不会精确到关键词的流量的变化,当然精力有限不可能去统计所有关键词,但是网站的一些核心关键词的排名和流量变化是必须要监控的,尤其是站点的品牌词。

    1104
    • 品牌词监
    • SEO优化
  • SEO列表页如何做,你的方法正确吗?

    列表页,SEO优化,栏目页

    列表页的优化可以说是充满了奥秘,不管是内容层面还是SEO优化层面。如果思路出现了问题,那么自然不可避免影响整体的效果,今天潘某人SEO通过几个重要的纬度和大家探讨下如何正确的优化网站列表页。

    658
    • 列表页
    • SEO优化
    • 栏目页
  • 域名注册注意什么

    域名注册注意点

    域名注册注意什么?对于网站优化来说域名的选择是非常重要的,如果在域名的选择注册时发生了错误,那么对于网站后续的SEO优化是一个非常不利的起点,对于任何一件事一个好的开始是成功的一半。

    967
    • 域名注册注意点
  • H标签如何优化,对于SEO的作用

    H标签如何优化

    Heading标签也叫做H标签,HTML语言里一共有六种大小的heading 标签,是网页html 中对文本标题所进行的着重强调的一种标签,以标签<h1>、<h2>、<h3>到<h6>,共有六对,文字从大到小,依此显示重要性的递减,也就是权重依次降低。

    1391
    • H标签如何优化
  • alternate和Canonical标签防止重复收录分散权重

    alternate标签,Canonical标签,重复收录

    alternate和Canonical标签有什么作用,我们可以正确使用这两个标签,解决重复页面,以及移动端和PC端页面的对应关系的适配,可以更好防止出现重复页面的收录,有效的解决权重分散问题。

    3976
    • alternate标签
    • Canonical标签
    • 重复收录
  • 如何更新或删除百度快照

    百度快照更新

    很多人在优化的过程中想要去更新或者删除百度快照,但是碍于自己还是新手,实战经验不是很丰富,不懂得如何去操作,今天我给大家简单的分享一下。有时候,我们对网站进行了改版,修改了标题、描述等等,这个时候我们想要更新百度快照,让快照尽快更新过来,或者让标题、描述快速更新过来,怎么办?

    2056
    • 百度快照更新
  • 如何搭建网站更利于SEO优化

    wordpress,SEO优化,网站搭建

    如何搭建网站才更合适利于SEO,采用cms系统建站、外包建站、还是自己开发呢?内容为王这是一切的根本;技术为辅,但是也同样重要,保证网站基本的稳定性及访问速度。一个优秀的站点需要创造用户的喜爱的内容,通过可以让用户舒服的方式去展示出来。

    554
    • wordpress
    • SEO优化
    • 网站搭建
  • 百度原创星火计划是什么

    星火计划

    百度原创星火计划(又称伪原创的算法)是在,百度搜索团队首次表示,正在设计一套较完善的原创识别算法,并提出了互联网生态的项目课题,是为了解决原创内容的搜索排名问题。

    1572
    • 星火计划
  • wordpress建站怎么样,适合SEO优化吗

    wordpress建站

    wordpress建站是非常不错的,非常使用于新手,可以不写一句代码,快速的搭建属于自己的一个站点,并且wordpress拥有大量的模板插件,不但可以满足美观的展示效果,大量的插件支持也可以满足基本的SEO优化需求。

    1450
    • wordpress建站
  • PageRank排名算法

    PageRank算法

    PageRank排名算法,是一种由根据网页之间相互的超链接计算的技术,而作为网页排名的要素之一。在搜索引擎优化操作中是经常被用来评估网页优化的成效因素之一。

    2331
    • PageRank算法
  • 收下这份防爬虫的策略

    爬虫

    对于防爬并没有一劳永逸的方法,只要内容是可以被访问的,那么就有可能被爬取;是否能勾防住,最终就是一场攻防的战斗,看哪一方技术更胜一筹。今天潘某人SEO突然灵光乍现,突然想到一个防爬虫的方案,在这里分享给大家,当然也不是专业做这个的,有不妥之处欢迎大家指正,铺垫比较长一定看到最后,希望可以帮助到你。

    558
    • 爬虫
  • 如何禁止百度建立页面快照

    屏蔽快照

    很多站点出于隐私的考虑不希望百度保留快照,网上也在讨论如何禁止百度保留快照的方法。其实百度早已对此有过说明,但藏在一篇不起眼的文章中不引人注目,导致依然非常多的人不清楚该如何操作。

    1454
    • 屏蔽快照
  • 原创内容收录更快吗

    原创内容的收录

    分析下,原创内容在网站优化时对于收录的作用,从深层阐述了,原创性高不一定就可以获得好的收录和排名。对于seo优化来说正真需要的并不是简单的原创,而是需要........

    2624
    • 原创内容的收录
  • 如何做好百度SEO网站优化

    百度SEO,网站优化

    ​对于百度SEO网站优化,需要注重哪些方面呢?根据《百度搜索建站优化白皮书》为了大家画一下重点,内容有点多需要作为一个专题进行更新,今天先给大家梳理下大纲。

    534
    • 百度SEO
    • 网站优化
  • 想要做好网站seo优化内容,需要知道这几点

    seo优化,网站内容

    近年来网站seo优化越来越难做了,那是凡事都有双面性,网站seo优化越来越难,那么逐渐的会更多站点及优化人员逐渐的放弃被淘汰,这也正是大家机遇。如今很多人在唱衰seo,从相关的统计数据可以看到搜索引擎的用户量和搜索量依然强劲庞大,虽然说新媒体平台近几年的发展态势迅猛,但是需要知道此类流量性质和搜索引擎还是有很大区别的。

    630
    • seo优化
    • 网站内容
  • 网站采集对seo优化有哪些影响

    采集对于SEO的影响

    网站采集对seo优化有哪些影响,百度有飓风算法就是针对于网站内容采集的。那么我们作为站长应该是如何采集文章效果号,有效提高我们网站的内容建设。

    2133
    • 采集对于SEO的影响
  • 别让推广追踪url链接毁了你的SEO

    追踪链接,跟踪链接

    推广追踪url链接也就是我们常说的跟踪链接,它可以帮助我们实现对于广告投放效果的追踪。不管是常见SEM推广,其它的推广方式都需要用到跟踪链接,但是很多站点没有正确的使用,不知不觉中对站点的SEO已经造成了不利的影响。

    788
    • 追踪链接
    • 跟踪链接
-- 这已经是底线了,看看别的把! --