首页 >  SEO >  SEO知识 >  正文

robots协议不生效怎么处理

 作者:潘某人SEO
244

大家有没有发现很多时候我们在robots文件中添加了禁止抓取的内容,但是还是被正常的收录了,这个就比较气人了有的人是不管怎么折腾就是不收录,有的人禁止抓取的内容尽然还在收录,没有对比就没有伤害!
那么为什么明明已经设正确设置的robots的屏蔽规则,但是就是不生效导致不该收录的内容被收录了呢?
robots更新周期
造成这一问题主要的原因,潘某人SEO认为主要还是在于robots的更新周期,搜索引擎每次抓取网站的内容的时候并不会每次都抓取下robots文件,因此很多时候站点更新了robots文件的规则了,但是搜索引擎并没有抓取最新的robots规则,还是会按照之前的规则进行抓取。
如何避免
首先网站搭建的时候就应该做好结构的规划,在网站上线的时候就应该完成robots文件的配置,避免后期去调整,是最有效的方法。但是在实际情况中很少有站点可以做到这一点,那么在robots文件规则发生变化的时候,要避免不该收录的内容被继续收录的问题,就需要及时通知搜索引擎站点更新了robots文件。
以百度搜索引擎为例子,百度搜索资源平台为站长们提供了相关的robots更新工具,在robots文件更新之后,可以前往这个工具进行更新,从而加快搜索引擎发现robots更新周期,如下图所示。
百度robots更新
已收录内容如何处理
即使我们已经进行了robots规则更新,但是已经收录的内容,虽然在robots文件中进行了屏蔽,但是这些已收录的内容往往需要很长一段时间才会消失,甚至有可能长期不消失。
其实当我们最新版本的robots文件生效之后,新收录的内容会规则当前规则进行;但是已经收录的内容并不会马上消失,而是要等待之后的再次抓取的时候才会生效。然而不同的站点的已收录内容的抓取周期上的差距会很大,即使是同一个站点,不同内容的抓取更新周期也不一样。
如何加快已收录内容的删除
有时候一些已经被收录的内容,需要快速的让搜索引擎删除收录,仅仅靠robots文件进行屏蔽是做不到的。潘某人SEO在此分享一个简单高效的方法,那就是死链接提交。将误收录的页面状态码设为404,但如果页面仅仅只是不想被搜索引擎收录,但是还是允许被用户访问。
那么这个时候就不可以简单粗暴使用404页面,这个时候就可以通过后端根据客户端的user-agent判断当前访问如果是属于搜索引擎则返回404页面,其它的访问者则正常的访问。然后在搜索引擎提交死链,会比你单纯的等待robots文件生效的效果高很多。

公众号
潘某人SEO 关注我每天学习SEO优化相关知识... 470篇原创内容
潘某SEO 公众号
申明:以上内容仅代表个人观点,仅供学习参考 本站图片来源于CC0协议或已获得VRF授权的图库站点 版权申明:本文为博主原创,未经授权任何个人或组织单位不得复制、转载、摘编以及其它形式的应用! 本文地址:https://www.chateach.com/seo/seozhishi/1020robots
相关文章
  • robots文件有什么用

    robots有什么作用

    robots文件作用对于SEO优化不可忽视给i,可以有效提高网站内容的质量减少重复收录,保护隐私数据不被抓取!

    1290
    • robots有什么作用
  • robots文件里该不该加上sitemap地址

    robots里放sitemap

    robots文件里该不该加上sitemap地址,有种说法就是搜索引擎抓取一个网站首先会抓取robots文件,这样把sitemap地址写在robots文件里,这样搜索引擎可以地址直接的对网站地图进行抓取,可以加快链接收录的速度,真相并不是这样

    1645
    • robots里放sitemap
  • 巧用robots避免蜘蛛黑洞

    robots,蜘蛛黑洞

    今天我们来了解下什么是蜘蛛黑洞,黑洞大家应该有一定的了解,属于一种高质量高引力天体,包括光任何的物体都无法逃逸。蜘蛛黑洞既是蜘蛛进入之后无法再出来,对正常的抓取工作产生负面影响。

    922
    • robots
    • 蜘蛛黑洞
  • SEO优化必须掌握的robots文件协议

    robots,SEO优化

    robots文件使用来申明网站哪些内容允许搜索引擎抓取,哪些内容禁止搜索引抓取的;正确的设置robots可以提升搜索引擎对网站的抓取效率,同时避免不必要的内容被抓取展现。但在实际运用中很多站点没有正确的使用robots导致了一些问题,今天潘某人SEO就为大家揭秘下robots的注意点。

    539
    • robots
    • SEO优化
  • 巧用Robots避免蜘蛛黑洞

    Robots,蜘蛛黑洞

    搜索引擎的蜘蛛黑洞指的是搜索引擎蜘蛛在抓取站点内容的时候出现了大量雷同内容的url,导致搜索引擎蜘蛛一直被困在无限的循环中,如黑洞一般。直接的结果就会导致消耗大量的抓取资源。

    374
    • Robots
    • 蜘蛛黑洞
  • 如何屏蔽某些页面的抓取,但是让页面中链接正常抓取

    meta标签屏蔽页面抓取

    如何屏蔽某些页面的抓取,但是让页面中链接正常抓取,对于这种情况,使用meta标签来进行屏蔽页面的抓取,可以变得更加的有效。相比常用的robots文件屏蔽,或者nofollow标签屏蔽的实用性更加的广。

    2675
    • meta标签屏蔽页面抓取
  • 如何交换友链及其注意事项

    友情链接交换

    在SEO优化中友情链接的交换,不能单纯只看交换网站的权重,网站的内容质量,以及内容的相关性,网站是否符合规定,等等等因素都是需要注意的。

    1134
    • 友情链接交换
  • 如何判断网站的优化效果

    seo优化效果

    如何判断网站的优化效果,尤其是新站的效果有什么科学有效的方法去判定网站所处的一个阶段。如果通过数据看出搜索引擎对于站点的评级。

    566
    • seo优化效果
  • SEO优化的具体流程,从无到有

    SEO优化流程

    带你揭秘seo优化的正确流程以及成功的关键。经常会有人来问网站seo优化怎么做,有没有一个具体的流程。但是这个真的很难系统的回答,流程肯定是有的,但是能够流程化的只是基础的seo优化层面的内容,但是seo优化站点的情况不同,需要灵活的调整,流程化的东西只能让你做出一点基本效果。

    976
    • SEO优化流程
  • 适用各种编程语言网站的百度API链接推送方法

    api推送,百度SEO,curl提交

    主动提交也叫API提交,是通过api接口调用来实现连接的推送,非常的便捷高效。只需简单的几行代码就可以实现秒提交数万的链接,还是非常给力,但是就是需要一定编程能力。不过当你看到这篇文章时,就需要恭喜你得到一种傻瓜式的API提交方法,无需编程开发能力,也无需对网站做任何的修改。

    1299
    • api推送
    • 百度SEO
    • curl提交
  • seo优化建站及内容维护应该注意哪些细节

    seo优化,seo建站,内容优化

    seo优化应该注意哪些细节,常见的违规行为有哪些,如何优化对搜索引擎更加的友好呢?在内容优化上又需要注意什么呢?如何才能拥有更好的排名效果呢?

    383
    • seo优化
    • seo建站
    • 内容优化
  • 索引量并不能决定流量大小

    索引量

    很多人认为对于网站优化提升索引数量就可以快速的提升网站的流量,因此对于索引的增加情况十分的关注,整体的精力也是放在如何快速大量增加索引数据。

    766
    • 索引量
  • site首页位置不在第一怎么办

    site命令,site首页

    很多站长在网站优化的时候会特别的关注网站site首页的排名位置,当首页不在第一位的时候就会非常的不安,觉得网站出现了问题,认为站点被降权了。但是网站site首页不在首位很多原因都会造成这种结果。

    934
    • site命令
    • site首页
  • site结果和网站权重有什么关系

    site命令,首页降权

    site域名不在首页就是网站被降权了吗果就把site首页不在第一位就来判断网站是否降权,那就太荒谬了。很多情况都出现site不在首页

    1950
    • site命令
    • 首页降权
  • 什么是SEO网站权重

    网站权重

    什么是SEO网站权重,网站权重对于网站优化的重要性。如何查看自己网站的权重,以及如何进行SEO优化提升。方向优质内容,持之以恒坚持优化。

    1177
    • 网站权重
  • 如何快速的生成sitemap网站地图

    sitemap,如何制作,网站地图

    如何快速的生成sitemap网站地图,我们不能依靠工具来实现,因为逻辑上就走不通,其实通过数据库可以快速有效的生成最有价值的sitemap网站地图。

    1229
    • sitemap
    • 如何制作
    • 网站地图
  • 网站收录狂掉的原因及解决方法

    收录狂掉原因

    很多站长在做网站优化的时候会出现这种情况,原本有收录的文章突然没收录了,甚至网站出现大量的掉收录的情况,这种可能是因为网站死重复内容过多,被降权或者进入沙盒期,所以被收录的文章后面又没了,那么是什么原因造成的呢,又该如何解决呢?

    1616
    • 收录狂掉原因
  • TrustRank域名信任度

    TrustRank域名信任度

    TrustRank域名信任度?由于搜索引擎在计算网页排名的时候,非常依赖连接,而且连接的质量越来越显得重要。由于搜索引擎在计算网页排名的时候,非常依赖连接,而且连接的质量越来越显得重要。在这种情况下,需要对连接的来源站点质量进行判断。更重要的是,以前依靠连接和相关性来决定排名的方式,

    1566
    • TrustRank域名信任度
-- 这已经是底线了,看看别的把! --