大家有没有发现很多时候我们在robots文件中添加了禁止抓取的内容，但是还是被正常的收录了，这个就比较气人了有的人是不管怎么折腾就是不收录，有的人禁止抓取的内容尽然还在收录，没有对比就没有伤害！
那么为什么明明已经设正确设置的robots的屏蔽规则，但是就是不生效导致不该收录的内容被收录了呢？
robots更新周期
造成这一问题主要的原因，潘某人SEO认为主要还是在于robots的更新周期，搜索引擎每次抓取网站的内容的时候并不会每次都抓取下robots文件，因此很多时候站点更新了robots文件的规则了，但是搜索引擎并没有抓取最新的robots规则，还是会按照之前的规则进行抓取。
如何避免
首先网站搭建的时候就应该做好结构的规划，在网站上线的时候就应该完成robots文件的配置，避免后期去调整，是最有效的方法。但是在实际情况中很少有站点可以做到这一点，那么在robots文件规则发生变化的时候，要避免不该收录的内容被继续收录的问题，就需要及时通知搜索引擎站点更新了robots文件。
以百度搜索引擎为例子，百度搜索资源平台为站长们提供了相关的robots更新工具，在robots文件更新之后，可以前往这个工具进行更新，从而加快搜索引擎发现robots更新周期，如下图所示。
已收录内容如何处理
即使我们已经进行了robots规则更新，但是已经收录的内容，虽然在robots文件中进行了屏蔽，但是这些已收录的内容往往需要很长一段时间才会消失，甚至有可能长期不消失。
其实当我们最新版本的robots文件生效之后，新收录的内容会规则当前规则进行；但是已经收录的内容并不会马上消失，而是要等待之后的再次抓取的时候才会生效。然而不同的站点的已收录内容的抓取周期上的差距会很大，即使是同一个站点，不同内容的抓取更新周期也不一样。
如何加快已收录内容的删除
有时候一些已经被收录的内容，需要快速的让搜索引擎删除收录，仅仅靠robots文件进行屏蔽是做不到的。潘某人SEO在此分享一个简单高效的方法，那就是死链接提交。将误收录的页面状态码设为404，但如果页面仅仅只是不想被搜索引擎收录，但是还是允许被用户访问。
那么这个时候就不可以简单粗暴使用404页面，这个时候就可以通过后端根据客户端的user-agent判断当前访问如果是属于搜索引擎则返回404页面，其它的访问者则正常的访问。然后在搜索引擎提交死链，会比你单纯的等待robots文件生效的效果高很多。
相关文章
-
robots文件有什么用
robots文件作用对于SEO优化不可忽视给i，可以有效提高网站内容的质量减少重复收录，保护隐私数据不被抓取！
-
robots文件里该不该加上sitemap地址
robots文件里该不该加上sitemap地址，有种说法就是搜索引擎抓取一个网站首先会抓取robots文件，这样把sitemap地址写在robots文件里，这样搜索引擎可以地址直接的对网站地图进行抓取，可以加快链接收录的速度，真相并不是这样
-
巧用robots避免蜘蛛黑洞
今天我们来了解下什么是蜘蛛黑洞，黑洞大家应该有一定的了解，属于一种高质量高引力天体，包括光任何的物体都无法逃逸。蜘蛛黑洞既是蜘蛛进入之后无法再出来，对正常的抓取工作产生负面影响。
-
SEO优化必须掌握的robots文件协议
robots文件使用来申明网站哪些内容允许搜索引擎抓取，哪些内容禁止搜索引抓取的；正确的设置robots可以提升搜索引擎对网站的抓取效率，同时避免不必要的内容被抓取展现。但在实际运用中很多站点没有正确的使用robots导致了一些问题，今天潘某人SEO就为大家揭秘下robots的注意点。
-
巧用Robots避免蜘蛛黑洞
搜索引擎的蜘蛛黑洞指的是搜索引擎蜘蛛在抓取站点内容的时候出现了大量雷同内容的url，导致搜索引擎蜘蛛一直被困在无限的循环中，如黑洞一般。直接的结果就会导致消耗大量的抓取资源。
-
如何屏蔽某些页面的抓取，但是让页面中链接正常抓取
如何屏蔽某些页面的抓取，但是让页面中链接正常抓取，对于这种情况，使用meta标签来进行屏蔽页面的抓取，可以变得更加的有效。相比常用的robots文件屏蔽，或者nofollow标签屏蔽的实用性更加的广。
-
网站怎么赚钱
对于企业站点，主要目的就是通过业务模式来转化，那么对于个人站点不存在所谓的业务需求那么又要如何去赚钱呢？对于个人站点的赚钱主要可以通过流量、广告、站点出售等获取。
-
如何正确理解SEO关键词
关键词作为SEO优化的核心点，作为一个合格的SEOER对于关键词有一个正确的认识是非常的重要的，对于关键词的认知有多深，决定了在SEO优化这条路上可以走多远。
-
网站排名优化seo学习心得
近几年网络推广的费用成本直线上升，正是因为如何免费的SEO优化更加的得到青睐，可以有效的降低推广成本，因此对于SEO优化这块的专业人士的需求还是很大的，SEO优化作为在学校之后没有设立任何教学的领域，更多的依靠社会人士的自学来创造出相关的专业人士。
-
这才是SEO站外优化正确的做法
在SEO的世界里，很多人把“站外优化”等同于“发外链”。但事实上，这种理解是错误的也是片面的。随着搜索引擎算法的不断升级，对买卖外链行为的严厉打击），单纯依赖外链建设已经不再有效，甚至可能适得其反。那么，真正的SEO站外优化到底应该怎么做？其实，品牌建设才是站外优化的核心驱动力，而外链只是其中的一环。
-
品牌词监控对于SEO优化的重要性
流量监控是每个站点都会去做的一件事，但是大多数非常宽泛的一个统计，并不会精确到关键词的流量的变化，当然精力有限不可能去统计所有关键词，但是网站的一些核心关键词的排名和流量变化是必须要监控的，尤其是站点的品牌词。
-
外链打击，绿萝算法
请勿在滥发外链了，多年之前已经有了绿萝算法的存在，远离外链中，远离垃圾外链，提升网站内容，健康的发展外链才是长期可以持续的SEO优化手段。
-
你的站点url中含有#号吗，别被坑惨了！
如果一个在进行SEO优化的站点，url中却有#号，那么这就是一个悲伤的故事了，看完这篇文章你应该会跺脚！如果一条url链接中包含#符号，那么这条url就是一个 Fragment URL。
-
什么是抓取频率，如何提升抓取量
抓取频率对于SEO优化是一个重要的参数，网站收录先决条件是抓取，抓取的数量以及频次决定了网站的页面的收录速度，保持网站的合理抓取频次至关重要
-
SEO内容优化劣迹行为你有吗
不管你的站点是否需要SEO优化，都需要的是优质的内容，得用户者得流量。而在实际的运行中却十分不理想，普遍的存在着垃圾制造的行为。
-
SEO与付费SEM推广哪个好？
网站的推广方式只要有两种SEO（搜索引擎优化）和SEM（搜索引擎竞价推广），两者同时通过在搜索关键词时在搜索引擎上获得靠前的排名，增加展现几率来获取用户的点击。那么SEO与付费SEM推广哪个好呢，那种推广方式才更加适合我们呢？
-
网站为什么不收录
有些站点不管怎么折腾就是不收录，那你知道不收录的原因吗？我们如何知道站点不收录的原因。网站不收录的原因，大致可以分类两类：内容没有被抓取到和网站存在违规不符合收录标准。
-
索引量并不能决定流量大小
很多人认为对于网站优化提升索引数量就可以快速的提升网站的流量，因此对于索引的增加情况十分的关注，整体的精力也是放在如何快速大量增加索引数据。