如何防止网站被爬虫恶意抓取

对于SEO优化来说最讨厌的就是抄袭行为,而爬虫技术则是抄袭手段的升级版,通过一个规则去全网爬取内容进行发布。将抄袭实现了自动化,各个站点面对这种行为也是无可奈何。

防爬虫的几种方法

User-Agent屏蔽

User-Agent也就是http请求头,当客户端访问的时候,服务器就可以接收到访问者的User-Agent。我们可以通过设置屏蔽常见的爬虫的User-Agent名,比如python、robots等。

但是这种方法的弊端很明显首先爬虫的User-Agent可以说是各式各样,只能发现了去屏蔽。并且如果是处于恶意爬取为目的的,基本上会把User-Agent伪装成浏览器,很难去发现。

IP访问频次限制

通过检测ip请求的频次来限制访问,当爬虫进行爬取的时候会在短时间内,在同一个IP下频繁抓取不同的页面。我们可以设置一个阈值,同一个IP在多少时间内访问超过多少个页面就屏蔽当前IP或者通过验证码来验证是否是正常访问。

这种方法的弊端就是,如果采用多个IP并且降低抓取的速度就可以绕过这个防御机制。

机智应对爬虫

想要高准确度识别人和爬虫就要首先找到两者最大的差异;一个明显的差异就是人永远只会去访问眼睛能够看见的东西,而爬虫只要去源码里有的网址都会去访问。

因此我们可以使用一个img标签实现精准的爬虫识别,<a href="防御地址"><img src="图片地址" style="height:1px;width:1px;"></a>。我们可以使用一个1个像素点图片,放在导航栏或者网站页面,颜色就融于这个环境,并且放在角落边;这样人眼首先看不到这张图片,其次非常的小根本不可能点击到<a>标签,不会触发防御地址。

爬虫恶意抓取

然而爬虫则会去抓取页面的所有链接,当然我们不一定必须使用img标签,我们只要放下这种类似的陷阱,一但某个ip触发这个防御地址,就直接秒封当前ip。

特点注意事项

搜索引擎蜘蛛的放开,搜索引擎蜘蛛本质上也是爬虫,用上述的方法的时候都要谨慎的处理。需要做好搜索引擎蜘蛛的鉴别,千万不要把搜索蜘蛛也屏蔽了。

我们可以通过设置白名单,将允许访问的蜘蛛的ip端放入白名单不做屏蔽,千万不要通过User-Agent中蜘蛛的UA名来识别,太容易伪造。不过这种方法的问题就是如果搜索引擎增加新的蜘蛛IP段的时候会误伤。

因此对于,触发机制的User-Agent是搜索引擎蜘蛛的时候,我们需要去执行nslookup反查这个ip看它解析到哪里来鉴别是其真实性。

如果站点的规模很大,有一定知名度实力,对于造成了一个的损失。那么就直接保留日志证据,请对方吃牢饭。

申明:本站内容仅代表个人观点,仅供学习参考;未经授权任何个人或组织单位不得复制、转载、摘编以及其它形式的应用!

本站文章可能使用到互联网上的资料,若对您造成困扰,请联系 kk19@foxmail.com除理

本文地址:https://www.chateach.com/seo/seozhishi/629

相关文章

  • SEO中domain的是什么

    domain,什么是domain

    SEO中domain的是什么,domain可以一定程度上反映外链数,但是能作为外链数量的判断标准。如何提升domain数。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1796
    • domain
    • 什么是domain
  • 百度搜索劲风算法解读

    百度劲风算法上线

    2020年2月27日,百度站长平台发布公告,将于近期上线“劲风算法”,主要打击网站及智能小程序通过恶意构造聚合页面内容来获取搜索排名,获得搜索用户关注等行为。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2015
    • 百度劲风算法上线
  • 为什么打击采集行为,采集站还是有很高权重

    采集,权重

    搜索引擎不断的打击采集行为,但是采集站点的收录排名和权重还是非常好;如果你无法理解那么你对于搜索引擎的核心不够了解,本文带你探索搜索引擎和采集的那点事,教你如果正确面对采集行为。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 929
    • 采集
    • 权重
  • seo页面优化的常用技术

    seo页面优化的

    seo页面优化的常用技术,从核心关键词分析定位、网站目录和页面优化、标签优化技巧、利用好百度搜索资源平台、提高页面的附加价值、访客到客户的转化工作几个角度来讲下SEO页面优化的常用技术。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1365
    • seo页面优化的
  • 【春节版】2024年SEO优化还值得继续做下去吗?

    SEO优化

    2023年充满了挑战,相信很多站点都遇到了巨大的挑战吧,遭受降权的站点应该不是少数,还有更多的站点努力了1年没有任何起色的。这种情况的站点,不用担心,大家亦是如此,那么在2024年大家是否还有坚持把SEO做下去的勇气和毅力吗?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 739
    • SEO优化
  • 真假蜘蛛ip识别

    真假蜘蛛识别

    我们如何分辨真假蜘蛛的ip,对于SEO优化来说学会如何看网站日志,如何的去分辨有问题的假蜘蛛是非常有必要的。可以大大的提高网站的安全性,已经防止网站内容被大量的抄袭转载。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1229
    • 真假蜘蛛识别
  • SEO优化全流程解析:从零开始,打造高效搜索引擎友好网站

    搜索引擎

    网站SEO(搜索引擎优化)已成为企业获取流量、提升品牌知名度的关键策略之一。然而,对于许多初学者而言,如何系统地进行SEO优化仍是一个复杂的问题。今天,潘某人SEO就来详细探讨一下SEO优化的基础流程,帮助您从无到有建立一个高效的搜索引擎友好网站。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 157
    • 搜索引擎
  • 网站seo优化description标签摘要规范

    description,描述标签

    网站seo优化是description标签摘要内容如何设置才能符合seo规范,描述指的是页面源码中的description中的内容,description标签的内容是搜索引擎搜索页面展示的摘要的主要内容来源之一。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 788
    • description
    • 描述标签
  • 相同网站的模板对优化有影响

    模板对优化影响

    采用相同的模板建站会对SEO优化有负面影响吗?相同的程序带来的风险放大才是我们需要真正需要担心的。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 963
    • 模板对优化影响
  • SEO入门到精通需要掌握的知识

    SEO入门教程

    简单理解:SEO实际上是指搜索引擎优化,主要的目的是基于SERP(搜索结果),通过更加符合搜索引擎抓取、索引、排名的方法,有针对性的调整自有网站的相关数据指标,从而提高目标网站相关关键词的排名。 那么对于SEO优化入门者需要掌握哪些知识点,走向精通。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2104
    • SEO入门教程
  • 这收录速度还真是逆天,别错过了!

    收录,必应

    如果你在网站优化中遇到了收录难的问题,那么这篇文章别错过了,也许可以帮你获取不少流量。这几年大多数网站的收录量和收录速度大多不太理想,尤其是站点质量一般的情况下,有的站点和收录都绝缘了。得益于windows系统对于Edge浏览器,必应搜索的占有率会持续走高,必应搜索SEO优化的价值也会变得更高。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 2923
    • 收录
    • 必应
  • 索引量变化存在的误区

    索引量

    索引量是那个站长都会关注的点,对于SEO优化来说是非常重要的指标,但是很多人对于索引量的变化存在错误的认知,为大家总结了常见的对于索引量变化的误区。要正确的认知索引量变化的影响,首先要明白什么是索引量。索引量简单讲就是站点内容经过搜索引擎抓取,算法分析之后符合标准,建立索引进入索引库的数量,内容只有进入的索引库是进行排名展现的必要条件。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 725
    • 索引量
  • 百度如何提交链接,快速收录

    seo链接提交,如何加快收录

    百度的4种链接提交方式的介绍,他们之间的区别,以及各自的特点,对于seo优化用哪一种提交方式可以花更少的时间,但是可以获得更快的收录速度,提高推送效率,增加网站的收录总数。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 7766
    • seo链接提交
    • 如何加快收录
  • 移动网站建设常见问题

    移动网站建设常见问题

    移动站点变得越来越重要,那么我们应该如何做好移动站呢。移动站点和PC站点相辅相成,都是一个互为补充的关系,少了任何一个都是不合理的,那么在移动站点的优化中常见的问题有哪些呢?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1631
    • 移动网站建设常见问题
  • SEO列表页如何做,你的方法正确吗?

    列表页,SEO优化,栏目页

    列表页的优化可以说是充满了奥秘,不管是内容层面还是SEO优化层面。如果思路出现了问题,那么自然不可避免影响整体的效果,今天潘某人SEO通过几个重要的纬度和大家探讨下如何正确的优化网站列表页。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 761
    • 列表页
    • SEO优化
    • 栏目页
  • seo图片优化技巧

    图片优化技巧

    在做SEO优化的过程中,很多人都注重内容的优化,而图片在内容优化中起到了关键性的作用,做好图片的优化,不仅可以在展现的时候能展现,同时也能吸引用户的点击,带来更多的流量,不过由于搜索引擎暂时无法识别图片的内容,因此我们需要做好哪些操作来让搜索引擎更好的了解图片的内容并展现呢?

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1595
    • 图片优化技巧
  • 网站目录提交网址,对SEO还有作用吗?

    网站目录,外链,SEO优化

    网站目录是站点外链优化途径之一,那么如今提交网站目录对于SEO优化效果大吗?网站目录作为外链的一种形式,它的效果遵从外链相关的规则和算法。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1073
    • 网站目录
    • 外链
    • SEO优化
  • nginx网站域名重定向怎么做

    nginx重定向,网站域名重定向

    网站上线最基础的一步就是确立域名如何重定向,如果最优的设置重定向。一方面要确立网站主域,另一方面跳转配置不遗漏并且尽可能减少没必要的跳转。

    用于表示时间的图标 一个时钟的图标,用于向用户表达后面跟着的是一个时间
    用于表示阅读次数的图标 一个类似睁开眼睛的图标,用于向用户表达后面跟着的数字是一个阅读的次数 1075
    • nginx重定向
    • 网站域名重定向