首页 >  SEO >  SEO标签 >  正文

如何屏蔽某些页面的抓取,但是让页面中链接正常抓取

 作者:潘某人SEO
2674

页面抓取简单的讲就是你希望哪些页面会被收录,让会去让搜索引擎抓取,但是在现实中不是所有的页面我们希望被抓取的,有些内容是涉及隐私数据。或者是有些内容与某些页面是重复的,这个时候我们也是需要做控制,这也页面不被收录。

但是有的时候情况又很复杂,比如这个页面不希望被抓取,但是页面上的链接希望抓抓取;或者说是当前页面期望被抓取,但是页面上的链接不希望被抓取,但是组合一下情况有很多很复杂。

那么屏蔽搜索引擎抓取页面的方法有哪些,今天就举例一些情况来说明,在讲各种情况之前先回顾下屏蔽抓取的方法有哪些。主要的是robots文件禁止抓取、nofollow标签禁止抓取,一般这两种用的比较多,很少人知道meta标签的方法来禁止搜索引擎抓取,并且这只方法应用其实更加的广泛。


meta标签屏蔽抓取的方法

<meta name="robots" content="noindex,nofollow">//这种方法是屏蔽所有搜索引擎,不抓取当前页面,并且当前页面中的链接也不进行抓取
<meta name="robots" content="index,nofollow">//这种方法是屏蔽所有搜索引擎,抓取当前页面,并且当前页面中的链接不进行抓取
<meta name="robots" content="noindex,follow">//这种方法是屏蔽所有搜索引擎,不抓取当前页面,但是抓取当前页面中的链接

关注公众回复“meta屏蔽”获取代码


如果你想要仅仅是对于某一个搜索引擎生效,那么很简单只要将name=“robots”修改成对应的蜘蛛名字,比如百度搜索引擎修改成name=“Baiduspider”,以此类推是不是很简单,这种方法适用于对使用同一个模板代码的页面可以简单快速做好页面抓取屏蔽的设置,他的优势很好的补偿了robots文件屏蔽方法的不足,因为在robots方法屏蔽抓取的时候,一般是只能通过路径匹配,这个时候其实很多网站有些需要抓取或者不需要被抓取的内容,因为前期代码编写时规划的不好就会混在一个路径下,这个时候通过robots方法屏蔽就变得很麻烦。并且robots方法危险性比较高,有的时候网站更新的时候,如果不慎把robots文件改变了,也是常有的事情。

对于nofollow标签就更加不用说,这种方法适用于页面中链接的抓取屏蔽,局限性就更加的大,一般不会用于大批量的页面屏蔽工作中。

公众号
潘某人SEO 关注我每天学习SEO优化相关知识... 470篇原创内容
潘某SEO 公众号
申明:以上内容仅代表个人观点,仅供学习参考 本站图片来源于CC0协议或已获得VRF授权的图库站点 版权申明:本文为博主原创,未经授权任何个人或组织单位不得复制、转载、摘编以及其它形式的应用! 本文地址:https://www.chateach.com/seo/seobiaoqian/285
相关文章
  • 站内SEO图片优化技巧

    站内SEO图片优化

    网站内部会出现大量的图片内容,发现搜索引擎对于图片的识别是不太完善的,所以做好图片SEO优化非常关键了。站内SEO图片优化主要是给搜索引擎留下好印象,让它能够顺利的爬取网站链接,收录网站页面。小编认为图片SEO优化对于网站整体的排名还是很有影响的,下面来看看具体内容:

    841
    • 站内SEO图片优化
  • 网站目录提交网址,对SEO还有作用吗?

    网站目录,外链,SEO优化

    网站目录是站点外链优化途径之一,那么如今提交网站目录对于SEO优化效果大吗?网站目录作为外链的一种形式,它的效果遵从外链相关的规则和算法。

    485
    • 网站目录
    • 外链
    • SEO优化
  • 百度小程序权益配置-品牌关键词/官方认证

    百度小程序

    百度智能小程序核心页面关键词的避雷指南,品牌关键词/官方认证配置,什么是品牌关键词/官方认证、品牌关键词/官方认证配置方式、品牌关键词/官方认证配置常见问题、品牌关键词/官方认证配置优化建议。

    698
    • 百度小程序
  • 网站被黑常见问题解析

    网站被黑

    网站被黑一直是搜索中非常常见的问题,由此小编梳理了几个网站被黑的问题及处理方法,供大家学习及防护~

    347
    • 网站被黑
  • 网站图片技术优化要点

    网站图片优化

    网站图片技术优化要点,在网站SEO优化工作中,对于图片的优化与调整一直都是工作的重点内容之一。因为图片作为网站内容展示最为直观与形象的表现,是很多文字内容无法完全表达的重要补充。

    1713
    • 网站图片优化
  • 做seo需要具备哪些条件

    seo优化条件

    并不是所有网站所有行业适合做网站优化,哪些网站适合做SEO优化呢?需要哪些条件呢?

    574
    • seo优化条件
  • 移动落地页中如何设置咨询功能?

    咨询框怎么设置

    移动落地页中如何设置咨询功能?才是更加符合SEO规范呢?咨询类功能在当前页只能出现一次,且位置不允许出现在顶部;在用户未主动点击的情况下,咨询的对话窗口不可自动弹出;咨询按钮可在底部或侧面悬浮,但面积不宜过大干扰用户浏览。”

    1010
    • 咨询框怎么设置
  • 什么是网站的抓取频次

    抓取频次,网站收录

    抓取频次是搜索引擎蜘蛛在单位时间内容访问网站的次数,比如在百度站长工具内容看到的抓取的频次都是按天进行统计的,那么数据中的抓取频次都是日抓取频次。

    845
    • 抓取频次
    • 网站收录
  • 索引量并不能决定流量大小

    索引量

    很多人认为对于网站优化提升索引数量就可以快速的提升网站的流量,因此对于索引的增加情况十分的关注,整体的精力也是放在如何快速大量增加索引数据。

    766
    • 索引量
  • 内容防抓取原创保护的方法

    原创保护,防抓取,防采集

    ​站点的内容经常被恶意采集爬取,辛辛苦苦码的原创内容被人轻而易举的强取豪夺,被采集可以说是另站长们最痛疼的事情之一了,今天潘某人SEO就与大家分享若干方法,期望可以对大家有帮助。

    298
    • 原创保护
    • 防抓取
    • 防采集
  • 各搜索引擎蜘蛛IP大全持续更新

    蜘蛛IP,引擎蜘蛛

    各搜索引擎蜘蛛IP大全持续更新,各个搜索引擎的蜘蛛ua,持续更新中。

    1574
    • 蜘蛛IP
    • 引擎蜘蛛
  • “千人一面”与“千人千面”的区别

    千人一面,千人千面

    大家有没有发现在查询关键排名的时候,旁人搜索出来的结果和你不一样呢?造成这种现象是因为千人千面的存在,千人千面简单的讲就是一千人提供一千种策略,也是对于每个用户的策略都是不同的。

    810
    • 千人一面
    • 千人千面
  • 什么样的外链才是高质量外链?

    高质量外链标准

    外链建设是SEO优化中重要的一项,可以有效快速的提升网站的抓取数量,其实是对于新站更加有意义,可以快速的提升网站的权重,但是随着搜索引擎算法不断的迭代,也推出了打击外链买卖作弊的行为,比如百度搜索引擎就有绿萝算法。

    536
    • 高质量外链标准
  • 如何更新或删除百度快照

    百度快照更新

    很多人在优化的过程中想要去更新或者删除百度快照,但是碍于自己还是新手,实战经验不是很丰富,不懂得如何去操作,今天我给大家简单的分享一下。有时候,我们对网站进行了改版,修改了标题、描述等等,这个时候我们想要更新百度快照,让快照尽快更新过来,或者让标题、描述快速更新过来,怎么办?

    1705
    • 百度快照更新
  • 网站页面加载速度优化指南

    网站加载速度,首屏加载,seo

    网页css和js如何处理才能让网站加载速度更快,页面的首屏内容应在1秒内加载完成,这样才能拥有一个良好的用户体验。

    856
    • 网站加载速度
    • 首屏加载
    • seo
  • 如何搭建网站更利于SEO优化

    wordpress,SEO优化,网站搭建

    如何搭建网站才更合适利于SEO,采用cms系统建站、外包建站、还是自己开发呢?内容为王这是一切的根本;技术为辅,但是也同样重要,保证网站基本的稳定性及访问速度。一个优秀的站点需要创造用户的喜爱的内容,通过可以让用户舒服的方式去展示出来。

    299
    • wordpress
    • SEO优化
    • 网站搭建
  • 如何防止网站被黑

    防止网站被黑.防火墙配置,出入站规则

    合理的配置服务器防火墙的出入站规则,可以有效的屏蔽恶意访问,从而提升网站的安全性防止网站被黑,望着那别攻击很有可能优化规则前功尽弃。

    586
    • 防止网站被黑.防火墙配置
    • 出入站规则
  • 移动端适配解决方案

    移动端适配

    随着移动互联网的不断发展,在某些领域移动端的流量已经远超PC端,因此越来越多的站点开始重视移动端的优化,如何把移动端和PC端进行结合,对于SEO优化是一个非常重要的问题。移动适配的方案有很多,选择合适的移动适配解决方案是非常的重要的。

    552
    • 移动端适配
-- 这已经是底线了,看看别的把! --