robots文件里该不该加上sitemap地址

突然间灵光乍现,有个有趣的问题就是我们该不该在网站robots.txt文件中加入网站地图的地址。有种说法就是搜索引擎抓取一个网站首先会抓取robots文件,这样把sitemap地址写在robots文件里,这样搜索引擎可以地址直接的对网站地图进行抓取,可以加快链接收录的速度,那么真相到底是有没有用呢?又要进行一次打击了,不仅没有用还会有弊端哦。


什么是robots

robots是一个名为robots.txt的文件位于网站的根目录。是一个与爬虫之间的协议,告知搜索引擎哪些页面目录是允许被抓取的,哪些目录是不被允许抓取的。对于SEO来说可以把有限抓取数量集中在重要的页面,同时保护隐私内容不被抓取。具体的robots文件怎么编写前面已经讲过了。


为什么不申明sitemap地图

为什么不在robots文件里申明网站地图的地址,因为没有任何作用。虽然说搜索引擎首先会抓取robots的内容,但是我们要知道robots文件只是告诉搜索引擎哪些目录可以抓取,可以抓取的内容页不代表搜索引擎会在第一时间去抓取的,更何况链接地址不是属于robots格式的标准允许的内容,很大的可能会被爬虫直接的抛弃,即使是会去抓取,那么也是只是给予蜘蛛一个可以抓取的权限,并不能决定取抓取。下面就拿出一些证据来证明。


百度抓取频次

抓取数据


大家可以从第一张图得出一个结论蜘蛛是每天都会来抓取,但是从图二看出来通过sitemap抓取的链接是有周期性,并且是选择的抓取一定数量。搜索从数据证明了在robots文件里写明网站地图地址是没有作用的,但是有的人会觉得即使没用放在里面也不碍事,也许会有点用。但是sitemap地址过于公开并不是什么好事情。


sitemap公开的危害

网站地址是一个网站所有资源的合集,通过sitemap我们可以快速知道网站的结构以及所有页面的网址。现在这个网络环境非常喜欢的抄袭,从服务器日志可以看到,每天会有很多恶意的爬虫来爬取内容。

当你在robots文件里申明网站地图的地址,或者在网站页面上留了网站地图的链接,这些行为正好是方面了别人来取出你整站的内容。如果你把sitemap隐藏好,那么想要把整个网站抓取完全还要保持高效率不重复,是很难做到的,即使是搜索引擎都没法这个完整和搞笑的抓取。

因此,建议大家把网站地图的目录放的复杂点,名字生僻点。我们也没有必要担心,搜索引擎抓取不到,像主流点搜索引擎的站长后台都是可以直接提交sitemap地址,这样一来对外可以有保密效果,同时不影响搜索引擎的抓取。


申明:本站内容仅代表个人观点,仅供学习参考;未经授权任何个人或组织单位不得复制、转载、摘编以及其它形式的应用!

本站文章可能使用到互联网上的资料,若对您造成困扰,请联系 kk19@foxmail.com除理

本文地址:https://www.chateach.com/seo/seozhishi/551

相关文章

  • 网站seo如何正确设置基础信息

    seo,基础信息

    什么是搜索展现基础信息、标题设置规范、摘要设置规范、站点名设置规范、配图设置规范、时间因子设置规范以及网站内容设置注意事项,详细讲解如何正确设置基础信息。用户在百度搜索引擎中根据自身的搜索需求输入关键词,从得到的搜索结果中,筛选出符合需求的内容,产生点击行为。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 990
    • seo
    • 基础信息
  • 百度死链提交工具使用说明

    百度死链提交

    百度死链提交工具使用说明,当网站死链数据累积过多时,并且被展示到搜索结果页中,对网站本身的访问体验和用户转化都起到了负面影响。另一方面,百度检查死链的流程也会为网站带来额外负担,影响网站其他正常页面的抓取和索引。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 6409
    • 百度死链提交
  • 如何定制百度索引量查看规则

    百度索引规则

    可以通过“*”号自定义规则来查看某些特征集合的页面索引量数据。“*”号放在规则结尾可匹配到包含“/”在内的任意字符串,放在规则其他位置匹配不包含“/”的任意字符串,具体可参考下列示例:

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1970
    • 百度索引规则
  • 原创内容是SEO优化的关键吗

    原创,SEO优化

    在搜索引擎算法日新月异的今天,通过技术手段试图获取排名的方式越来越难以为继,稳定性也大打折扣。可以说,我们已经步入了“内容为王”的时代。不少坚持进行原创内容创作的站点发现,效果并不如预期,甚至在收录方面都遇到了重重困难。很多人认为内容质量等同于原创性,但事实真的如此吗?原创内容是SEO优化的关键吗?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 178
    • 原创
    • SEO优化
  • 百度搜索结果中APP调起行的处罚

    APP调起行的处罚

    17年2月百度搜索发布过关于严厉打击强制用户调起APP行为的公告。对于存在强制用户调起APP的行为,严重伤害用户搜索体验的站点进行打击。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 816
    • APP调起行的处罚
  • 域名泛解析对SEO优化的影响

    SEO泛域名解析

    域名泛解析对SEO优化的影响?泛解析一般是指很多二级域名都可以去访问我们的主站,搜索引擎一旦爬取这些域名,肯定是会现大量重复内容,这是毫无疑问;重复内容过多对网站优化肯定是不好的,因为可以做一些设置。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2727
    • SEO泛域名解析
  • 域名带www和不带www哪个更有利于SEO

    www,SEO优化

    你的网站带www嘛,今天来探究下网站带www和不带www哪个更利于SEO优化。我们分为两种情况来分析,一种域名下有多个站点,还有一种就是域名下只有一个站点。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 856
    • www
    • SEO优化
  • 移动端适配的几种实现方式

    移动端适配

    移动端适配的几种实现方式,rem布局、flex布局、百分比布局、字体适配、vm布局。纯CSS的相对单位vw,vh,它们相对的是终端视口,视口(移动端你就可以当成屏幕就好啦)的宽为100vw,高为100vh。使用起来很简单

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 14440
    • 移动端适配
  • 网站排名优化seo学习心得

    seo学习心得

    近几年网络推广的费用成本直线上升,正是因为如何免费的SEO优化更加的得到青睐,可以有效的降低推广成本,因此对于SEO优化这块的专业人士的需求还是很大的,SEO优化作为在学校之后没有设立任何教学的领域,更多的依靠社会人士的自学来创造出相关的专业人士。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1197
    • seo学习心得
  • 网站SEO过度优化的危害

    SEO过度优化

    过度的SEO优化是很多站点都存在的问题,现在很多站点的SEO优化已经是病态的,一天到晚执着了页面结构、关键词布局、内链、外链、友链以及一些技术手法,而忽视了最关键词的内容的优化

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1343
    • SEO过度优化
  • SEO与付费SEM推广哪个好?

    SEO优化,SEM推广

    网站的推广方式只要有两种SEO(搜索引擎优化)和SEM(搜索引擎竞价推广),两者同时通过在搜索关键词时在搜索引擎上获得靠前的排名,增加展现几率来获取用户的点击。那么SEO与付费SEM推广哪个好呢,那种推广方式才更加适合我们呢?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 872
    • SEO优化
    • SEM推广
  • 为什么大多数站点SEO以失败告终

    SEO失败原因,核心因素

    做SEO优化的站点很多,从事SEO行业的人也不少;但是成功的站点没几个,SEO高手没几个。那么到底是什么原因导致了大多数站点的SEO优化没有效果,都以失败告终了呢?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1168
    • SEO失败原因
    • 核心因素
  • 百度搜索算法大全,站长速度查阅收藏

    百度搜索算法

    百度搜索算法大全,百度算法主要从:页面内容质量、用户需求满足、用户体验友好、搜索公正及用户安全,今天给大家梳理下这四块内容下涉及到的算法。作为seo优化从业者必须掌握的搜索引擎的算法,梳理一下百度搜索引擎常见的算法。飓风算法、劲风算法、细雨算法、蓝天算法、冰桶算法、惊雷算法、清风算法

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2017
    • 百度搜索算法
  • 搜狗一直不收录怎么办

    搜狗不收录

    现在新站收录各大搜索引擎越来越难,主要是因为一方面互联网的飞速发展,站点的数量也是指数级别的递增,所以最不缺的就是站点。缺少的是有价值的站点,由于网站数量的庞大,抓取站点需要的资源也越来越大,对于搜索引擎加大对于站点的筛选,选择有价值的站点去优先抓取,显得非常的合理。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1070
    • 搜狗不收录
  • 什么样的外链才是高质量外链?

    高质量外链标准

    外链建设是SEO优化中重要的一项,可以有效快速的提升网站的抓取数量,其实是对于新站更加有意义,可以快速的提升网站的权重,但是随着搜索引擎算法不断的迭代,也推出了打击外链买卖作弊的行为,比如百度搜索引擎就有绿萝算法。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 996
    • 高质量外链标准
  • 索引量和收录量的区别

    关系区别,收录量,索引量

    索引量和收录量的很容易混淆认清两者的关系对于网站优化十分的有帮助,分析索引量和收录量的数据可以及时的发现网站的问题。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2532
    • 关系区别
    • 收录量
    • 索引量
  • 网站排名靠前的方法

    排名靠前的方法

    网站排名靠前的方法?如何让网站内容排到首页是所有SEOER们日思夜想的问题,其实当关键词的排名到了前50,或者说想进入前二页并不是简单的靠页面优化就可以达到的排名,无论你页面关键词布局多么合理,只要不是权重绝对高,基本上是很难进入前二页的。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 958
    • 排名靠前的方法
  • SEO优化心得分享,新人必看!

    SEO优化

    SEO优化心得分享,如果你还是一个SEO小白,那应该可以帮助你更好的理解SEO,会有一定的帮助。友情提示,心理脆弱的小伙伴不建议继续阅读,接下来的内容容易使人破防。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 439
    • SEO优化