如何屏蔽某些页面的抓取,但是让页面中链接正常抓取

页面抓取简单的讲就是你希望哪些页面会被收录,让会去让搜索引擎抓取,但是在现实中不是所有的页面我们希望被抓取的,有些内容是涉及隐私数据。或者是有些内容与某些页面是重复的,这个时候我们也是需要做控制,这也页面不被收录。

但是有的时候情况又很复杂,比如这个页面不希望被抓取,但是页面上的链接希望抓抓取;或者说是当前页面期望被抓取,但是页面上的链接不希望被抓取,但是组合一下情况有很多很复杂。

那么屏蔽搜索引擎抓取页面的方法有哪些,今天就举例一些情况来说明,在讲各种情况之前先回顾下屏蔽抓取的方法有哪些。主要的是robots文件禁止抓取、nofollow标签禁止抓取,一般这两种用的比较多,很少人知道meta标签的方法来禁止搜索引擎抓取,并且这只方法应用其实更加的广泛。


meta标签屏蔽抓取的方法

<meta name="robots" content="noindex,nofollow">//这种方法是屏蔽所有搜索引擎,不抓取当前页面,并且当前页面中的链接也不进行抓取
<meta name="robots" content="index,nofollow">//这种方法是屏蔽所有搜索引擎,抓取当前页面,并且当前页面中的链接不进行抓取
<meta name="robots" content="noindex,follow">//这种方法是屏蔽所有搜索引擎,不抓取当前页面,但是抓取当前页面中的链接

关注公众回复“meta屏蔽”获取代码


如果你想要仅仅是对于某一个搜索引擎生效,那么很简单只要将name=“robots”修改成对应的蜘蛛名字,比如百度搜索引擎修改成name=“Baiduspider”,以此类推是不是很简单,这种方法适用于对使用同一个模板代码的页面可以简单快速做好页面抓取屏蔽的设置,他的优势很好的补偿了robots文件屏蔽方法的不足,因为在robots方法屏蔽抓取的时候,一般是只能通过路径匹配,这个时候其实很多网站有些需要抓取或者不需要被抓取的内容,因为前期代码编写时规划的不好就会混在一个路径下,这个时候通过robots方法屏蔽就变得很麻烦。并且robots方法危险性比较高,有的时候网站更新的时候,如果不慎把robots文件改变了,也是常有的事情。

对于nofollow标签就更加不用说,这种方法适用于页面中链接的抓取屏蔽,局限性就更加的大,一般不会用于大批量的页面屏蔽工作中。

申明:本站内容仅代表个人观点,仅供学习参考;未经授权任何个人或组织单位不得复制、转载、摘编以及其它形式的应用!

本站文章可能使用到互联网上的资料,若对您造成困扰,请联系 kk19@foxmail.com除理

本文地址:https://www.chateach.com/seo/seobiaoqian/285

相关文章

  • 被k网站的症状,恢复需要多久,如何操作呢?

    被k网站恢复,降权

    网站被K也是常有的事情,一夜之间前功尽弃的站点屡见不鲜,那么网站被K之后如何处理才能尽快的恢复,站点又如何预防K站的情况发生呢!

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1123
    • 被k网站恢复
    • 降权
  • seo网站收录不稳定是什么原因

    收录不稳定原因

    对于网站优化来说网站收录收录的稳定性有着极高的关注,毕竟收录对于网站关键排名来说是一个直接的基础保证,没有足够的收录量就无法保证流量的稳定的增加。但是在优化网站的时候我们经查遇到的情况是好不容易收录的内容,没有过多长时间又全部掉了。对于这种网站收录不稳定的原因有哪些,这里列出一些主要的可能的原因。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1209
    • 收录不稳定原因
  • 网站使用重复模版对SEO优化的影响

    SEO优化

    网站优化第一步就是建站,对于大多数的公司网站都是通过外包来做,这类站点我们就会遇到一个问题,网站的代码、样式都是套模板,都是在相同版本下修改衍生出来的;最终出现的问题就是网站模板的重复度比较高。许多人会遇到这样一个问题:相同或相似的网站模板是否会对SEO优化产生负面影响?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 429
    • SEO优化
  • 如何提高栏目权重

    栏目权重,集权

    如何提升栏目的权重是一个值得深思的问题,对于SEO优化而言合理的网站结构是是非常的重要的,一个合理的结构布局可以有效的提升网站优化效果。今天就从栏目权重这个角度探讨下如何提升网站的权重。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1340
    • 栏目权重
    • 集权
  • 如何禁止百度建立页面快照

    屏蔽快照

    很多站点出于隐私的考虑不希望百度保留快照,网上也在讨论如何禁止百度保留快照的方法。其实百度早已对此有过说明,但藏在一篇不起眼的文章中不引人注目,导致依然非常多的人不清楚该如何操作。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1777
    • 屏蔽快照
  • 权重是什么意思

    权重是什么意思

    很多人对于网站权重的意思存在着一定的误解,其实搜索引擎官网并不存在所谓的权重,这里的权重其实指的是第三方工具比如站长工具、爱站等平台给到的一个等级划分,对于网站权重还是需要理性的看待,没有必要过分的追逐。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1614
    • 权重是什么意思
  • 百度移动适配状态说明

    移动适配状态

    百度移动适配状态说明,对于适配的状态成功失败原因的分析以及解决方案。当认为实际情况与您提交的情况相符时,才会对适配数据进行生效处理,这个校验时间大约为10天。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 3946
    • 移动适配状态
  • 网站被K了怎么办?流量暴跌、排名下降如何自救?

    流量,排名,降权

    网站被K的症状有哪些?多久能恢复?又该如何操作自救?在SEO的世界里,每天都像在过山车上——你永远不知道第二天等你的是惊喜还是惊吓。一夜之间,流量归零、关键词排名全掉、收录彻底消失……这就是“网站被K”的真实写照。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 797
    • 流量
    • 排名
    • 降权
  • 令人崩溃的网页表单输入体验

    输入体验

    站长们必看的一篇文章,网站表单的输入体验真的非常的重要!今天遇到一个让我非常恼火的问题,相信大家一定也遇到过,当你再网页的表单中填写了很多内容,突然不小心关闭了页面或者点到了链接页面跳转导致编写的内容全部丢失,如何优化表单输入体验。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 799
    • 输入体验
  • “千人一面”与“千人千面”的区别

    千人一面,千人千面

    大家有没有发现在查询关键排名的时候,旁人搜索出来的结果和你不一样呢?造成这种现象是因为千人千面的存在,千人千面简单的讲就是一千人提供一千种策略,也是对于每个用户的策略都是不同的。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1632
    • 千人一面
    • 千人千面
  • 百度抓取频率高代表什么,如何调整

    抓取频率调整

    百度蜘蛛抓取频次是根据网站的内容量来的,简单的来说,如果网站的内容多那么抓取频次就高;如果网站的内容少,那么百度抓取的频次就低。百度抓取频率高代表什么,如何调整?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 3858
    • 抓取频率调整
  • 如何搭建网站更利于SEO优化

    wordpress,SEO优化,网站搭建

    如何搭建网站才更合适利于SEO,采用cms系统建站、外包建站、还是自己开发呢?内容为王这是一切的根本;技术为辅,但是也同样重要,保证网站基本的稳定性及访问速度。一个优秀的站点需要创造用户的喜爱的内容,通过可以让用户舒服的方式去展示出来。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 883
    • wordpress
    • SEO优化
    • 网站搭建
  • 百度自然排名的规律

    自然排名的规律

    排在百度首页的,很多人认为是经常更新内容,外链发的多,时间做得久的页面,但实则不然。那么我们如何做才能在百度SEO中脱颖而出呢?从百度排名的规则分析了如何快速获得排名呢?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2244
    • 自然排名的规律
  • 网站旧页面不收录怎么办

    旧文章不收录

    网站旧文章页面不收录问题是每个站点都会遇到问题,每个站点都会有这种情况有的页面从发布至今一直都不收录,还有一部分页面收录之后很快又掉了,对于这些为收录的页面,我们有什么方法可以让他们重新进行收录呢?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1382
    • 旧文章不收录
  • 搜索流量 vs 推荐流量:很多人搞错了关键所在!

    搜索流量,推荐流量

    在内容生态中,搜索流量和推荐流量是两个维度,它们背后的逻辑、用户意图、内容形态,甚至SEO策略,都完全不同。搜索流量:用户主动搜索关键词、明确需求,如“如何做SEO”;内容类型,深度、结构化、信息密度高;长期有效,可积累。推荐流量:平台算法主动推送,被动浏览,娱乐消遣为主,短平快、情绪化、视觉冲击强,短期爆发,易过期。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 652
    • 搜索流量
    • 推荐流量
  • 如何充分利用抓取频次

    如何充分利用抓取频次

    现在,我们已经想知道了,爬行很重要,是不是花费更多的时间来管理抓取频次?您应该(或不应该)做很多事情来让搜索蜘蛛更多地消耗更多的网站页面,以下是最大化抓取频次功能的操作列方法:如何充分利用抓取频次?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2866
    • 如何充分利用抓取频次
  • seo中关键词筛选

    关键词优化

    关键词的选择非常的重要,知道如何从海量的关键词筛选出有价值的关键词对于SEO优化来说是至关重要的,关键词应该如何使筛选呢,才可以更好的满足搜索需求的同时满足SEO优化。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1541
    • 关键词优化
  • 如何用代码批量查询收录

    批量收录查询代码

    如何用代码批量查询百度360搜狗收录,对于SEO优化来说收录是大家比较关注的,一般使用的查询方法是拿页面的URL或者标题去对应的搜索引擎手动查询收录,但是存在这局限性,今天就来分享一下如何通过代码实现网站收录查询。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1837
    • 批量收录查询代码