大家有没有发现很多时候我们在robots文件中添加了禁止抓取的内容，但是还是被正常的收录了，这个就比较气人了有的人是不管怎么折腾就是不收录，有的人禁止抓取的内容尽然还在收录，没有对比就没有伤害！
那么为什么明明已经设正确设置的robots的屏蔽规则，但是就是不生效导致不该收录的内容被收录了呢？
robots更新周期
造成这一问题主要的原因，潘某人SEO认为主要还是在于robots的更新周期，搜索引擎每次抓取网站的内容的时候并不会每次都抓取下robots文件，因此很多时候站点更新了robots文件的规则了，但是搜索引擎并没有抓取最新的robots规则，还是会按照之前的规则进行抓取。
如何避免
首先网站搭建的时候就应该做好结构的规划，在网站上线的时候就应该完成robots文件的配置，避免后期去调整，是最有效的方法。但是在实际情况中很少有站点可以做到这一点，那么在robots文件规则发生变化的时候，要避免不该收录的内容被继续收录的问题，就需要及时通知搜索引擎站点更新了robots文件。
以百度搜索引擎为例子，百度搜索资源平台为站长们提供了相关的robots更新工具，在robots文件更新之后，可以前往这个工具进行更新，从而加快搜索引擎发现robots更新周期，如下图所示。
已收录内容如何处理
即使我们已经进行了robots规则更新，但是已经收录的内容，虽然在robots文件中进行了屏蔽，但是这些已收录的内容往往需要很长一段时间才会消失，甚至有可能长期不消失。
其实当我们最新版本的robots文件生效之后，新收录的内容会规则当前规则进行；但是已经收录的内容并不会马上消失，而是要等待之后的再次抓取的时候才会生效。然而不同的站点的已收录内容的抓取周期上的差距会很大，即使是同一个站点，不同内容的抓取更新周期也不一样。
如何加快已收录内容的删除
有时候一些已经被收录的内容，需要快速的让搜索引擎删除收录，仅仅靠robots文件进行屏蔽是做不到的。潘某人SEO在此分享一个简单高效的方法，那就是死链接提交。将误收录的页面状态码设为404，但如果页面仅仅只是不想被搜索引擎收录，但是还是允许被用户访问。
那么这个时候就不可以简单粗暴使用404页面，这个时候就可以通过后端根据客户端的user-agent判断当前访问如果是属于搜索引擎则返回404页面，其它的访问者则正常的访问。然后在搜索引擎提交死链，会比你单纯的等待robots文件生效的效果高很多。
相关文章
-
robots文件有什么用
robots文件作用对于SEO优化不可忽视给i，可以有效提高网站内容的质量减少重复收录，保护隐私数据不被抓取！
-
robots文件里该不该加上sitemap地址
robots文件里该不该加上sitemap地址，有种说法就是搜索引擎抓取一个网站首先会抓取robots文件，这样把sitemap地址写在robots文件里，这样搜索引擎可以地址直接的对网站地图进行抓取，可以加快链接收录的速度，真相并不是这样
-
巧用robots避免蜘蛛黑洞
今天我们来了解下什么是蜘蛛黑洞，黑洞大家应该有一定的了解，属于一种高质量高引力天体，包括光任何的物体都无法逃逸。蜘蛛黑洞既是蜘蛛进入之后无法再出来，对正常的抓取工作产生负面影响。
-
SEO优化必须掌握的robots文件协议
robots文件使用来申明网站哪些内容允许搜索引擎抓取，哪些内容禁止搜索引抓取的；正确的设置robots可以提升搜索引擎对网站的抓取效率，同时避免不必要的内容被抓取展现。但在实际运用中很多站点没有正确的使用robots导致了一些问题，今天潘某人SEO就为大家揭秘下robots的注意点。
-
巧用Robots避免蜘蛛黑洞
搜索引擎的蜘蛛黑洞指的是搜索引擎蜘蛛在抓取站点内容的时候出现了大量雷同内容的url，导致搜索引擎蜘蛛一直被困在无限的循环中，如黑洞一般。直接的结果就会导致消耗大量的抓取资源。
-
如何屏蔽某些页面的抓取，但是让页面中链接正常抓取
如何屏蔽某些页面的抓取，但是让页面中链接正常抓取，对于这种情况，使用meta标签来进行屏蔽页面的抓取，可以变得更加的有效。相比常用的robots文件屏蔽，或者nofollow标签屏蔽的实用性更加的广。
-
百度不收录网站怎么办
百度不收录网站怎么办，不收录对于SEO人员来说是一个致命一击。我们如何才能保证网站出现不收录的问题，当网站出现收录问题的时候我们又应该如何应对呢？
-
百度飓风算法解读
百度飓风算法主要是打击恶劣采集拼凑行为，保护原创作者的权益，提升用户的阅读体验，促进搜索引擎生态的健康发展。
-
页面收录是一个怎么样的流程
搜索引擎收录一个页面的流程是怎么样的呢？网站优化收录是我们每天关注的，但是你是否知道收录的流程呢？了解网页是如何被收录的，把收录的流程了解清楚对于优化工作是有很大的意义的。
-
低质量网页的特征，你中了几条？
对于seo优化越来越注重网页的内容的质量，想要获得理想的优化效果，提升网页的质量就变得非常的重要，不同的搜索引擎对于内容质量的判定上会有细微的差别，但是整体上大同小异，今天以百度搜索引擎为例分析下要如何做好网页的质量，要如何避免低质量页面出现。
-
seo优化行业的现状
seo优化行业的现状解析。随着付费推广的竞争 越来越激烈，广告成本也是指数级的上升，这也一定的程度会让大家重视成本相对更低的SEO优化。但是SEO优化行业却充满着不和谐的因素！
-
SEO入门到精通需要掌握的知识
简单理解：SEO实际上是指搜索引擎优化，主要的目的是基于SERP（搜索结果），通过更加符合搜索引擎抓取、索引、排名的方法，有针对性的调整自有网站的相关数据指标，从而提高目标网站相关关键词的排名。 那么对于SEO优化入门者需要掌握哪些知识点，走向精通。
-
移动端SEO优化应该怎么做呢？
移动端SEO优化应该怎么做呢？移动时代已经到来，并没有给人们太多思考时间，而越来越多的用户通过手机进行社交、查看新闻、移动办公及浏览网页等，随着移动营销被推上风口浪尖，众多企业开始转向移动SEO，纷纷试水移动搜索引擎优化。
-
域名变更对于seo排名的影响
站点在实际运营的过程中，偶尔会因为一些因素需要变更网站的域名的情况，大家都知道网站的一次改版，都可能会对seo产生严重的影响，何况是网站域名的变更，对于seo优化的影响就不言而喻了。
-
绝对地址和相对地址哪个更利于SEO
网页链接采用绝对地址和相对地址哪个更利于SEO优化呢？两种类型的链接可以说是各有个的优缺点。传授一个可以结合两者优点的方法，只需要一个简单的定义一个常量就可以实现。
-
如何做网站SEO诊断?
从网站的展现、点击率、关键词相关度，可以更加快速简单有效的诊断出网站的SEO优化效果。网站诊断可以从很多方面出发，可以从页面的规范程度，站点的内容，网站的代码等等各个方面都是决定网站最终优化效果的因素。今天不讲那么多细节性的，就从网站展现排名来诊断网站的优化效果。
-
如何鉴别真假蜘蛛，代码自动化
如何使用代码自动化的识别蜘蛛的真实性，防止被假蜘蛛抓取网站内容。分享一个通过代码自动化鉴别屏蔽加搜索引擎爬虫的思路。
-
百度蓝天算法2.0解析，构造目录行为打击
百度蓝天算法打击什么行为呢？解读下蓝天算法2.0会带来什么影响，算法中的针对关键点是构造目录。应该如何应对呢？