随着搜索引擎优化，我们不完全知道搜索引擎如何形成网站的爬行频次，所有博主对网络的内容进行整理得到搜索引擎利用以下两个因素来确定爬网频次：受欢迎程度 – 更受欢迎的网页会更频繁地抓取；陈旧 –百度不会让有关的网页的信息过时，对于网站管理员，这意味着如果网页内容经常更新，百度会尝试更频繁地抓取网页。假设一个网站的抓取频次与反向链接的数量以及该网站在百度眼中的重要性成正比 – 百度希望确保最重要的网页仍然是最新的指数。
内部链接呢？您是否可以通过指向更多内部链接来增加特定页面的抓取速度？为了回答这些问题，我决定检查内部链接和外部链接之间的关联以及抓取统计信息，我收集了11个网站的数据并进行了简单的分析，简而言之，这就是我所做的。我为将要分析的11个站点创建了项目，我计算了指向这些网站每个网页的内部链接的数量，接下来，我运行了SEO Spyglass并为相同的11个站点创建了项目，在每个项目中，我检查了统计信息并复制了带有指向每个页面的外部链接数的锚URL。
然后，我分析了服务器日志中的抓取统计信息，以了解百度每次访问每个网页的频率。最后，我将所有这些数据放入电子表格中，并计算内部链接和抓取预算以及外部链接和抓取预算之间的关联。我的数据集证明蜘蛛访问次数和外部链接数量之间有很强的相关性（0,978），同时，蜘蛛命中和内部链接之间的相关性被证明是非常弱的（0,154），这表明反向链接比网站链接更重要。这是否意味着提高抓取频次的唯一方法是构建链接并发布新内容？如果我们正在讨论整个网站的朱雀频次，我会说是：增加链接并经常更新网站，并且网站的抓取频次将按比例增长。
但是，当我们采取单独的页面，它将变得更有趣，正如你将会在下面的介绍中看到的那样，你甚至可能在没有意识到的情况下浪费大量的抓取频次。通过巧妙地管理频次，您通常可以将单个网页的抓取次数加倍 – 但它仍然会与每个网页的反向链接数成比例。
