网站不收录的原因有很多，今天从蜘蛛抓取角度分析下造成不收录的原因有哪些，我们以百度搜索引擎为例来进行分析。收录的第一步是内容被抓取，如果抓取出现问题，那么其它收录因素做的再好也是徒劳的，很多站点收录不理想的原因正是在这个抓取环节出了问题。
百度spider抓取途径
一种是主动发现抓取，对于已经收录的站点，百度蜘蛛会根据站点的质量以及内容的时效性和更新速度，对网站进行定时的抓取，及时的发现新内容进行收录。但是很多站点的结构布局上很有问题，无法向蜘蛛提供一个新资源的入口，无法及时的发现所有的新内容。
网站的首页是非常的重要的，蜘蛛访问网站的第一步就是抓取首页，所以在首页上列出最新更新的资源；其次就是栏目页，各个栏目的更新的内容可以根据时间倒叙显示。这样一来百度蜘蛛只要抓取首页以及各个栏目就可以快速的抓取到全站的新内容。
一种是站点提交链接，对于很多站点网站结构不合理的就可以通过主动提交链接方式去弥补不足，对于百度搜索引擎可以通过sitemap提交、手动提交、API提交的方式提交URL，来实现让蜘蛛快速发现链接。
即使网站的结构合理，但是搜索引擎每日要处理海量的数据，因此主动提交链接还是非常有必要的，可以缩短抓取的时间，保护内容的原创权益。
抓取失败的原因
很多站点的收录问题不仅仅是因为上面的抓取不及时问题，而是连正常的抓取都出现了问题，一般常见造成抓取失败的原因：
1、robots封禁问题，有些站点会存在robots文件配置错误导致无法抓取，对于这种情况，可以在百度搜索资源平台的robots根据里测试链接的抓取权限来确认下配置的正确性。
2、状态码错误，对于搜索引擎来说正常页面需要返回的状态是200，其余的状态码对于收录都会造成影响，尤其是404状态码出现是绝对不会收录。
3、响应时间，想要一个好的收录那么网站的加载速度一定要够快，如果服务器响应过慢，当蜘蛛来抓取的时候因为响应超时就会终止对页面的抓取。合理的抓取时间是控制在1500ms以内，如果站点的抓取长期存在抓取超时问题，百度蜘蛛会降低抓取频次来降低服务器的压力。
4、抓取限制，检查站长后台是否设置了抓取上限限制，合理的设置抓取上线可以保证服务器的稳定性，但是最好还是不要进行上限设置，抓取频次难得可贵，在正常的抓取频次下，还是进行服务器的升级来满足抓取压力。
