首页 >  SEO >  SEO标签 >  正文

如何屏蔽某些页面的抓取,但是让页面中链接正常抓取

 作者:潘某人SEO
3181

页面抓取简单的讲就是你希望哪些页面会被收录,让会去让搜索引擎抓取,但是在现实中不是所有的页面我们希望被抓取的,有些内容是涉及隐私数据。或者是有些内容与某些页面是重复的,这个时候我们也是需要做控制,这也页面不被收录。

但是有的时候情况又很复杂,比如这个页面不希望被抓取,但是页面上的链接希望抓抓取;或者说是当前页面期望被抓取,但是页面上的链接不希望被抓取,但是组合一下情况有很多很复杂。

那么屏蔽搜索引擎抓取页面的方法有哪些,今天就举例一些情况来说明,在讲各种情况之前先回顾下屏蔽抓取的方法有哪些。主要的是robots文件禁止抓取、nofollow标签禁止抓取,一般这两种用的比较多,很少人知道meta标签的方法来禁止搜索引擎抓取,并且这只方法应用其实更加的广泛。


meta标签屏蔽抓取的方法

<meta name="robots" content="noindex,nofollow">//这种方法是屏蔽所有搜索引擎,不抓取当前页面,并且当前页面中的链接也不进行抓取
<meta name="robots" content="index,nofollow">//这种方法是屏蔽所有搜索引擎,抓取当前页面,并且当前页面中的链接不进行抓取
<meta name="robots" content="noindex,follow">//这种方法是屏蔽所有搜索引擎,不抓取当前页面,但是抓取当前页面中的链接

关注公众回复“meta屏蔽”获取代码


如果你想要仅仅是对于某一个搜索引擎生效,那么很简单只要将name=“robots”修改成对应的蜘蛛名字,比如百度搜索引擎修改成name=“Baiduspider”,以此类推是不是很简单,这种方法适用于对使用同一个模板代码的页面可以简单快速做好页面抓取屏蔽的设置,他的优势很好的补偿了robots文件屏蔽方法的不足,因为在robots方法屏蔽抓取的时候,一般是只能通过路径匹配,这个时候其实很多网站有些需要抓取或者不需要被抓取的内容,因为前期代码编写时规划的不好就会混在一个路径下,这个时候通过robots方法屏蔽就变得很麻烦。并且robots方法危险性比较高,有的时候网站更新的时候,如果不慎把robots文件改变了,也是常有的事情。

对于nofollow标签就更加不用说,这种方法适用于页面中链接的抓取屏蔽,局限性就更加的大,一般不会用于大批量的页面屏蔽工作中。

申明:本站内容仅代表个人观点,仅供学习参考;未经授权任何个人或组织单位不得复制、转载、摘编以及其它形式的应用! 本站文章可能使用到互联网上的资料,若对您造成困扰,请联系 kk19@foxmail.com除理 本文地址:https://www.chateach.com/seo/seobiaoqian/285
相关文章
  • SEO优化的基础要素

    SEO优化

    根据多年的SEO优化经验,为大家总结下SEO优化的基础要素,可以说以下几点搞清楚对于网站收录提升是非常重要的。

    695
    • SEO优化
  • 权重是什么意思

    权重是什么意思

    很多人对于网站权重的意思存在着一定的误解,其实搜索引擎官网并不存在所谓的权重,这里的权重其实指的是第三方工具比如站长工具、爱站等平台给到的一个等级划分,对于网站权重还是需要理性的看待,没有必要过分的追逐。

    1279
    • 权重是什么意思
  • 域名带www和不带www哪个更有利于SEO

    www,SEO优化

    你的网站带www嘛,今天来探究下网站带www和不带www哪个更利于SEO优化。我们分为两种情况来分析,一种域名下有多个站点,还有一种就是域名下只有一个站点。

    805
    • www
    • SEO优化
  • keywords、description已经不重要了?

    keywords和description,SEO标签,关键词和描述

    不要随大众觉得keywords、description,即SEO优化中常说的关键词和描述两大SEO标签不在重要,这种观点过于果断缺乏依据。无论搜索引擎怎么调整。

    2173
    • keywords和description
    • SEO标签
    • 关键词和描述
  • 智能小程序对seo效果那么好,为什么做的人还是很少

    智能小程序,seo优化

    站点开通智能小程序可以有机会获得站点logo权限、快速收录等权限,对于seo优化有着非常好的帮助。即使如此智能小程序的普及并不高,大家知道这是为什么吗?

    683
    • 智能小程序
    • seo优化
  • 新站考核期存在吗?

    新站考核期,沙盒期

    百度搜索引擎存在新站考核沙盒期吗?​很多站长遇到新站优化迟迟没有效果,就把原因归咎于沙盒期,既搜索引擎对于新站有一段时间考核,也就导致网站这段时间不管怎么优化都不会有效果。

    1131
    • 新站考核期
    • 沙盒期
  • 网站多久才不算新站

    网站多久才不算新站

    新站的时间大概在3-6个月不等,判断一个网站是否过了考核期,应当有两个标准,一收录,二排名。有收录,过了一半;有排名了,全过。一般而言,首页和内页的考核期也不同。

    2439
    • 网站多久才不算新站
  • SEO优化移动端时应该注意什么?

    移动端优化

    移动设备上网已经逐渐的成为了现在大家主要的上网途径。因此对于SEO人员来说就需要开始对移动端的优化重视起来,学会抢占先机可以更好的提升胜率。毕竟移动端在将来会成为更加重要的存在。那么我们在移动端优化的时候需要注意什么呢?

    1314
    • 移动端优化
  • 出图率提升网站点击率关键

    出图率,网站点击率

    但是在同一页面可以展示的,关键词的飘红程度不会有很大的差距,毕竟关键不飘红也不可能有展示的机会。所以标题及摘要显示的内容对于用户的吸引力,更为的关键。出图率是更为关键的,对提升点击率。图片和文字对于人视觉上的吸引力,图片是远高于文字的。

    728
    • 出图率
    • 网站点击率
  • 同一台服务器多个网站会影响SEO吗?

    服务器多个网站

    对小型站点使用独立服务器的成本会有点高,尤其是网站前期流量不大的时候,使用虚拟服务器就足够应付了。同一个服务器部署很多站点,是否回被判断为群站被惩罚,导致SEO优化效果不佳呢?

    795
    • 服务器多个网站
  • 如何修改浏览器User-Agent

    User-Agent

    演示如何修改User-Agent,通过修改HTTP请求头,我们可以实现浏览不同设备下的网站的展示内容。如何通过修改浏览器User-Agent去访问网页,学会修改浏览器user-agent之后,就可以访问站点的爬虫页。

    2052
    • User-Agent
  • 百度SEO优化中常见的算法违规有哪些

    seo算法,百度seo

    在不了解算法的情况下进行SEO优化就变得没有了意义,今天以百度搜索引擎为例,在百度SEO优化中常见的算法违规有哪些呢?在不了解算法的情况下进行SEO优化就变得没有了意义,今天以百度搜索引擎为例,在百度SEO优化中常见的算法违规有哪些呢?

    551
    • seo算法
    • 百度seo
  • 稀缺性内容快速提升站点收录

    稀缺性内容,站点收录

    很多站点面临的内容收录少并且收录周期长的问题,网站收录少收录慢的快速进来围观,今日分享一个可以快速提升站点收录量及收录速度的方法。

    627
    • 稀缺性内容
    • 站点收录
  • 令人崩溃的网页表单输入体验

    输入体验

    站长们必看的一篇文章,网站表单的输入体验真的非常的重要!今天遇到一个让我非常恼火的问题,相信大家一定也遇到过,当你再网页的表单中填写了很多内容,突然不小心关闭了页面或者点到了链接页面跳转导致编写的内容全部丢失,如何优化表单输入体验。

    428
    • 输入体验
  • 如何快速提升关键词排名?

    提升关键词排名

    如何快速提升关键词排名?可以从流量冲击、时效性热点内容 、高质量外链、网站整体权重、交换一些友情链接,多角度同时进行有效快速提升关键词排名。

    1277
    • 提升关键词排名
  • 百度搜索无法提交链接怎么解决?

    百度搜索,seo,链接提交

    近期大家应该发现了百度搜索资源平台的大多数的站点api提交额度基本都将为的10条,并且无法提交sitemap,为什么会出现这种情况,又应该如何解决链接提交的问题呢?

    1555
    • 百度搜索
    • seo
    • 链接提交
  • 网站SEO死链的如何处理

    死链,SEO

    大量死链的存在容易造成搜索引擎对网站评级的降低,因为大量的死链接的存在,会对于用户访问时的体验造成严重的伤害。同时大量的死链存在,会浪费大量的抓取量,对于网站的正常收录都会造成严重的影响。今天就和潘某人SEO一起探讨一下哪些情况需要提交死链、如何发现以及正确删除死链的方法。

    63
    • 死链
    • SEO
  • SEO真的是免费获取流量吗?

    SEO,免费流量

    ​很多人对于SEO的认知是免费流量,做SEO的目的也是为了获取免费流量。正式因为这种错误的认知,才造就了众多站点的SEO之路通往了失败的大门。SEO的确是属于免费流量的渠道,但是获取过程并非你所认知的低成本。

    760
    • SEO
    • 免费流量
-- 这已经是底线了,看看别的把! --