大家有没有发现很多时候我们在robots文件中添加了禁止抓取的内容，但是还是被正常的收录了，这个就比较气人了有的人是不管怎么折腾就是不收录，有的人禁止抓取的内容尽然还在收录，没有对比就没有伤害！
那么为什么明明已经设正确设置的robots的屏蔽规则，但是就是不生效导致不该收录的内容被收录了呢？
robots更新周期
造成这一问题主要的原因，潘某人SEO认为主要还是在于robots的更新周期，搜索引擎每次抓取网站的内容的时候并不会每次都抓取下robots文件，因此很多时候站点更新了robots文件的规则了，但是搜索引擎并没有抓取最新的robots规则，还是会按照之前的规则进行抓取。
如何避免
首先网站搭建的时候就应该做好结构的规划，在网站上线的时候就应该完成robots文件的配置，避免后期去调整，是最有效的方法。但是在实际情况中很少有站点可以做到这一点，那么在robots文件规则发生变化的时候，要避免不该收录的内容被继续收录的问题，就需要及时通知搜索引擎站点更新了robots文件。
以百度搜索引擎为例子，百度搜索资源平台为站长们提供了相关的robots更新工具，在robots文件更新之后，可以前往这个工具进行更新，从而加快搜索引擎发现robots更新周期，如下图所示。
已收录内容如何处理
即使我们已经进行了robots规则更新，但是已经收录的内容，虽然在robots文件中进行了屏蔽，但是这些已收录的内容往往需要很长一段时间才会消失，甚至有可能长期不消失。
其实当我们最新版本的robots文件生效之后，新收录的内容会规则当前规则进行；但是已经收录的内容并不会马上消失，而是要等待之后的再次抓取的时候才会生效。然而不同的站点的已收录内容的抓取周期上的差距会很大，即使是同一个站点，不同内容的抓取更新周期也不一样。
如何加快已收录内容的删除
有时候一些已经被收录的内容，需要快速的让搜索引擎删除收录，仅仅靠robots文件进行屏蔽是做不到的。潘某人SEO在此分享一个简单高效的方法，那就是死链接提交。将误收录的页面状态码设为404，但如果页面仅仅只是不想被搜索引擎收录，但是还是允许被用户访问。
那么这个时候就不可以简单粗暴使用404页面，这个时候就可以通过后端根据客户端的user-agent判断当前访问如果是属于搜索引擎则返回404页面，其它的访问者则正常的访问。然后在搜索引擎提交死链，会比你单纯的等待robots文件生效的效果高很多。
相关文章
-
robots文件有什么用
robots文件作用对于SEO优化不可忽视给i，可以有效提高网站内容的质量减少重复收录，保护隐私数据不被抓取！
-
robots文件里该不该加上sitemap地址
robots文件里该不该加上sitemap地址，有种说法就是搜索引擎抓取一个网站首先会抓取robots文件，这样把sitemap地址写在robots文件里，这样搜索引擎可以地址直接的对网站地图进行抓取，可以加快链接收录的速度，真相并不是这样
-
巧用robots避免蜘蛛黑洞
今天我们来了解下什么是蜘蛛黑洞，黑洞大家应该有一定的了解，属于一种高质量高引力天体，包括光任何的物体都无法逃逸。蜘蛛黑洞既是蜘蛛进入之后无法再出来，对正常的抓取工作产生负面影响。
-
SEO优化必须掌握的robots文件协议
robots文件使用来申明网站哪些内容允许搜索引擎抓取，哪些内容禁止搜索引抓取的；正确的设置robots可以提升搜索引擎对网站的抓取效率，同时避免不必要的内容被抓取展现。但在实际运用中很多站点没有正确的使用robots导致了一些问题，今天潘某人SEO就为大家揭秘下robots的注意点。
-
巧用Robots避免蜘蛛黑洞
搜索引擎的蜘蛛黑洞指的是搜索引擎蜘蛛在抓取站点内容的时候出现了大量雷同内容的url，导致搜索引擎蜘蛛一直被困在无限的循环中，如黑洞一般。直接的结果就会导致消耗大量的抓取资源。
-
如何屏蔽某些页面的抓取，但是让页面中链接正常抓取
如何屏蔽某些页面的抓取，但是让页面中链接正常抓取，对于这种情况，使用meta标签来进行屏蔽页面的抓取，可以变得更加的有效。相比常用的robots文件屏蔽，或者nofollow标签屏蔽的实用性更加的广。
-
索引量下降如何应对处理
百度索引量下降的原因，站长们应该如何正确的看待索引的增长呢？站长们乐此不疲的追求高索引量，会不会是站长们太把它当一回事了。今天就来谈谈索引量那边事我们如何正确的看待索引量。
-
外链对SEO优化的影响
SEO优化中核心的一个过程就是发外链，不论是过去还是现在，外链都是一个备受争议的话题，有人说外链对SEO优化没有什么用了，而有的人又对做外链情有独钟。那么外链到底还有没有用，我们在发布外链的时候该注意什么，怎样才能获得优质的外链呢。
-
怎么增加站长工具关键词库
了解了什么是关键词库，接下来就要了解到关键词的意义了。关键词库和网站的权重是息息相关的，大家可以看一下网站权重的计算方法就明白了。简单的讲权重是根据预估流量来划分的，而预估流量就是来源于关键词库中的关键词的排名所决定的。
-
适用各种编程语言网站的百度API链接推送方法
主动提交也叫API提交，是通过api接口调用来实现连接的推送，非常的便捷高效。只需简单的几行代码就可以实现秒提交数万的链接，还是非常给力，但是就是需要一定编程能力。不过当你看到这篇文章时，就需要恭喜你得到一种傻瓜式的API提交方法，无需编程开发能力，也无需对网站做任何的修改。
-
网站优化中如何做好图片的优化
网站优化中图片优化你做对了吗，很多站点忽视了页面图片的优化，这会让你损失点不少流量，如果你还没有意识到，容潘某人SEO为你细细道来。
-
网站备案的注意事项，减少SEO的影响
网站备案有的时候是需要关停网站的，这种情况非常不利于SEO优化，我们应该如何应对。同时在网站备案哪些方面需要我们注意，如果快速的完成备案。
-
sitemap超详细超实用的教程
Sitemap的配置是非常简单的，但是如果想要获得最大SEO效果，那么Sitemap的制作还是存在很多技巧的，今天为大家总结一份全面详细的sitemap网站地图的保姆级教程，内容又长又实用记得先搜藏。
-
如何做好网站中期优化工作？
如何做好网站中期优化工作？当我们的网站排在前20名时，这个时间也是网站的关键优化时期，就像孩子已经达到了同一个发展阶段。您能否排在第一位，看看您想要如何工作？首先，让我们把它分成三点。
-
必应搜索引擎如何进行手动URL提交
必应搜索引擎找不要手动URL提交入口的速度来看解决方案。如何在必应搜索引擎上提交站点的URL链接呢？有很多小伙伴反馈，在必应站长工具后台找不到手动提交URL的入口，今天潘某人SEO就来分享下，如何在必应搜索引擎站长后台进行手动URL连接的提交。
-
SEO必须了解这些h5标签，内含检测工具及方法
HTML5标签对SEO的作用主要体现在内容语义化、结构优化、用户体验提升三个维度，通过帮助搜索引擎精准理解网页内容，提升页面在搜索结果中的可见性。通过系统化应用HTML5标签，可实现技术SEO与内容SEO的双重优化，显著提升网站在搜索引擎中的竞争力。
-
seo优化自学难吗？
seo优化自学难吗？不少人想进入SEO这个行业，由于个人原因无法去参加培训，想自学SEO，对于自学SEO优化，这个问题，如果实在没有办法，在网上有很多实战教程，但是还是建议多看相关的书籍比网上学习更好。
-
网站目录提交网址,对SEO还有作用吗?
网站目录是站点外链优化途径之一，那么如今提交网站目录对于SEO优化效果大吗？网站目录作为外链的一种形式，它的效果遵从外链相关的规则和算法。