robots可以像搜索引擎屏蔽不想被抓取的内容，那么这种操作对于SEO优化有什么帮助呢?
第一，大多数网站都是动态语言，然后了利于网站优化采取伪静态的方式，这种情况就一个页面是有两个地址的，一个是静态地址一个是动态地址，这种情况下就会有大量重复的内容，是不利于seo的通过robots文件可以屏蔽掉动态链接的抓取，降低重复内容的抓取机率，提高网站的抓取效率。
第二，网站中有很多数据，或者用户的数据、隐私数据等，这些内容是我们不希望被搜索引擎收录的内容，那么通过robots可以屏蔽这些内容所在目录的文件，达到数据保护的目的。
第三，网站在网站的运营中由于某种原因，网站时常会产生很多死链，这种情况对于SEO优化是十分不利的，并且用户体验也不是很好，一般遇到这种情况站长都会在后台提交死链来达到删除这些页面索引的目的，但是这种效率往往不是很高，其实我们可以利用robots来屏蔽这些死链，可以 达到事半功倍的效果。
robots文件中到底要不要申明sitemap地址
很多站长都会在robots文件中加入sitemap的申请，因为搜索引擎来到网站最先抓取的就是robots文件，因此认为加入sitemap的申明可以加快链接的抓取，很多robots制作工具也这么做。首先我们要知道什么是sitemap，知道了sitemap为何物大家就不难理解这其中包含的链接都是一个网站的精华，有心人如果要采集你的网站就可以通过sitemap文件采集你网站最有价值的内容。所以作为一个优秀的SEO人员，不能只考虑到网站优化层面的东西，就如这个事件，加上sitemap申明也许可以增加一定的抓取速度，但是同时暴露了网站的核心内容，这个时候就要懂得如何取舍，才能让自己走得更远。
