如何屏蔽某些页面的抓取,但是让页面中链接正常抓取

页面抓取简单的讲就是你希望哪些页面会被收录,让会去让搜索引擎抓取,但是在现实中不是所有的页面我们希望被抓取的,有些内容是涉及隐私数据。或者是有些内容与某些页面是重复的,这个时候我们也是需要做控制,这也页面不被收录。

但是有的时候情况又很复杂,比如这个页面不希望被抓取,但是页面上的链接希望抓抓取;或者说是当前页面期望被抓取,但是页面上的链接不希望被抓取,但是组合一下情况有很多很复杂。

那么屏蔽搜索引擎抓取页面的方法有哪些,今天就举例一些情况来说明,在讲各种情况之前先回顾下屏蔽抓取的方法有哪些。主要的是robots文件禁止抓取、nofollow标签禁止抓取,一般这两种用的比较多,很少人知道meta标签的方法来禁止搜索引擎抓取,并且这只方法应用其实更加的广泛。


meta标签屏蔽抓取的方法

<meta name="robots" content="noindex,nofollow">//这种方法是屏蔽所有搜索引擎,不抓取当前页面,并且当前页面中的链接也不进行抓取
<meta name="robots" content="index,nofollow">//这种方法是屏蔽所有搜索引擎,抓取当前页面,并且当前页面中的链接不进行抓取
<meta name="robots" content="noindex,follow">//这种方法是屏蔽所有搜索引擎,不抓取当前页面,但是抓取当前页面中的链接

关注公众回复“meta屏蔽”获取代码


如果你想要仅仅是对于某一个搜索引擎生效,那么很简单只要将name=“robots”修改成对应的蜘蛛名字,比如百度搜索引擎修改成name=“Baiduspider”,以此类推是不是很简单,这种方法适用于对使用同一个模板代码的页面可以简单快速做好页面抓取屏蔽的设置,他的优势很好的补偿了robots文件屏蔽方法的不足,因为在robots方法屏蔽抓取的时候,一般是只能通过路径匹配,这个时候其实很多网站有些需要抓取或者不需要被抓取的内容,因为前期代码编写时规划的不好就会混在一个路径下,这个时候通过robots方法屏蔽就变得很麻烦。并且robots方法危险性比较高,有的时候网站更新的时候,如果不慎把robots文件改变了,也是常有的事情。

对于nofollow标签就更加不用说,这种方法适用于页面中链接的抓取屏蔽,局限性就更加的大,一般不会用于大批量的页面屏蔽工作中。

申明:本站内容仅代表个人观点,仅供学习参考;未经授权任何个人或组织单位不得复制、转载、摘编以及其它形式的应用!

本站文章可能使用到互联网上的资料,若对您造成困扰,请联系 kk19@foxmail.com除理

本文地址:https://www.chateach.com/seo/seobiaoqian/285

相关文章

  • https网站对排名有好处吗

    https网站,排名因素

    对于网站劫持这种情况,网站可以把站点从http升级为https,对网站数据的传输进行加密,可以有效的提升网站的安全性。那么网站升级https对于站点有哪些影响呢?对于网站的排名有什么影响呢?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 907
    • https网站
    • 排名因素
  • 影响网站页面加载速度的原因,如何提升加载速度

    页面加载速度,网站优化

    百度搜索对用户行为的研究表明,页面首屏的加载时间在1秒以内的页面,会带给用户流畅快捷的极速体验,而加载速度过长的页面,会加快用户的流失。谁在影响页面的加载速度?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 890
    • 页面加载速度
    • 网站优化
  • 谷歌的算法与百度的算法到底有什么不同?

    百度与谷歌的区别

    谷歌的算法与百度的算法到底有什么不同?网页排序算法其实只是一个统称,并不对应一个唯一的具体算法,而是一个混杂了多种算法的排序逻辑,本质上是一个排序系统。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2689
    • 百度与谷歌的区别
  • 这才是SEO站外优化正确的做法

    站外优化

    在SEO的世界里,很多人把“站外优化”等同于“发外链”。但事实上,这种理解是错误的也是片面的。随着搜索引擎算法的不断升级,对买卖外链行为的严厉打击),单纯依赖外链建设已经不再有效,甚至可能适得其反。那么,真正的SEO站外优化到底应该怎么做?其实,品牌建设才是站外优化的核心驱动力,而外链只是其中的一环。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 428
    • 站外优化
  • 移动端SEO优化应该怎么做呢?

    移动SEO优化

    移动端SEO优化应该怎么做呢?移动时代已经到来,并没有给人们太多思考时间,而越来越多的用户通过手机进行社交、查看新闻、移动办公及浏览网页等,随着移动营销被推上风口浪尖,众多企业开始转向移动SEO,纷纷试水移动搜索引擎优化。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2042
    • 移动SEO优化
  • SEO从业者必须掌握的TDK优化技巧

    SEO关键词,TDK编写,网站描述优化

    SEO从业者需要知道网站TDK是什么,需要知道SEO改如何编写关键词标题描述,现在对于搜索引擎来说关键词和描述并不是很重要了,这么调整原因就是太多了的人乱写关键词,文章与关键词相关性低;不过如果你的关

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2326
    • SEO关键词
    • TDK编写
    • 网站描述优化
  • 百度死链提交工具使用说明

    百度死链提交

    百度死链提交工具使用说明,当网站死链数据累积过多时,并且被展示到搜索结果页中,对网站本身的访问体验和用户转化都起到了负面影响。另一方面,百度检查死链的流程也会为网站带来额外负担,影响网站其他正常页面的抓取和索引。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 6599
    • 百度死链提交
  • 快排软件提升排名的原理

    快排排名的原理

    只有有流量的页面才能证明是一个被用户所认可的页面。因此排名的相关算法都是根据这一点进项展开的,有流量第一就必须有点击,但并不是有了点击就会有排名的提升。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 3108
    • 快排排名的原理
  • 索引量波动意味着什么?需要重视吗?

    索引量,流量,seo

    索引量的波动牵动了多少站长心,根据不可靠研究,据说索引量波动得足够猛,可以影响到站长们的心电图。尤其突然的下降,一次性掉了大半年积累到的索引量。那么遇到索引量大幅度波动对于站点意味着什么呢?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 900
    • 索引量
    • 流量
    • seo
  • SEO优化还值得做吗

    SEO优化

    SEO优化还值得做吗?可以说SEO优化越来越难做,对于企业优化的成本越来越多,对于个人站长,通过网站赚钱的可能性也越来越小。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1097
    • SEO优化
  • 做seo优化排名赚钱吗?

    seo优化赚钱吗

    做seo优化排名赚钱吗?seo优化现在还好做吗?搜索引擎是个大市场,如果想在市场里买东西,就要打广告,所以seo优化不会过时,并且会是一个赚钱的行业。不论是以后做什么行业,我都觉得seo都是不可或缺的技术,因为任何行业都需要做广告推广,而seo则是经济实惠的选择。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2309
    • seo优化赚钱吗
  • 百度快照对排名的影响

    快照排名的关系

    百度快照是搜索引擎在抓取页面时候,保留的一份纯文本文档。就是当网站无法访问的时候,访客可以通过快照了解页面的基本的内容;或者说你当前的网络环境很差的时候,因为百度快照是一个纯文本内容,你可以在网络速度极慢的时候还是可以顺利的打开快照页面。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1412
    • 快照排名的关系
  • 新站需要多久才能有排名

    新站多久有排名

    新站需要多久才能有排名,平均需要6-12个月以上。即使1年以上的页面,获得第一页排名的也只是5%左右,70-80%的新页面过多久都不会有任何排名。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2655
    • 新站多久有排名
  • 移动站点SEO优化不可忽视的点

    SEO优化

    随着智能手机的普及,移动互联网已经成为我们日常生活中不可或缺的一部分。特别是在电商领域,移动端的成交量已经远超PC端,成为主流。面对这样的趋势,如何优化我们的手机网站,以提供最佳用户体验并促进转化率呢?今天潘某人SEO就来探讨下手机网站优化的关键点,帮助您在竞争激烈的市场中占据优势。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 338
    • SEO优化
  • seo优化是什么意思?

    seo优化

    什么是SEO优化,SEO(Search Engine Optimization)搜索引擎优化,通过利用搜索引擎的规则提高网站在有关搜索引擎内的自然排名,是一种不消耗额外广告费的一种推广手。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 994
    • seo优化
  • 百度小程序权益配置-品牌关键词/官方认证

    百度小程序

    百度智能小程序核心页面关键词的避雷指南,品牌关键词/官方认证配置,什么是品牌关键词/官方认证、品牌关键词/官方认证配置方式、品牌关键词/官方认证配置常见问题、品牌关键词/官方认证配置优化建议。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1298
    • 百度小程序
  • 何为百度快照劫持,如何避免?

    百度快照劫持

    百度快照劫持是利用黑客技术拿到了你的ftp,或者应用网站漏洞,来篡改网站的网页内容,主要的通过在网页中插入js代码实现跳转,而当你检查网站代码的时候很难发现问题所在,如果没有一定的技术水平的情况下。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1306
    • 百度快照劫持
  • 如何做好原创内容版权保护

    版权保护,原创内容保护,百度时间因子

    分享如何对站点原创内容的保护,如何查找抄袭站点,如何保留抄袭证据等方法,来保护自己的合法权益。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1389
    • 版权保护
    • 原创内容保护
    • 百度时间因子