提高spider抓取的策略(1)

2020-07-24 23:54:48 柒点传媒 1

SEO优化人员日常工作的一部分,就是观察搜索引擎蜘蛛有没有访问自己优化的网站、是否有内容被收录、不被收录的内容有哪些、以及如何调整网站提高网站收录量。

为了提高搜索引擎蜘蛛的爬行频率,建议从下面几个方面入手。这里简单分享一下提高搜索引擎蜘蛛抓取的改进策略。

SEO优化|ASO优化|网络推广|SEO服务外包公司|品牌推广

图片源自网络

一、减轻访问网站的压力

带宽导致访问压力大,这将直接影响用户对网站的正常访问。为了不影响用户正常访问网站,还可以让搜索引擎蜘蛛抓取有价值的页面,可以从下面两个方面进行改进。

1.IP压力控制

如果一个域名下有多个IP,或者多个域名下同一个IP对应多个IP地址,则需要根据IP和域名的不同情况控制压力部署。你也可以使用站长平台中的压力反馈工具,手动调整配对网站的爬取压力,这样搜索引擎蜘蛛就会根据站长的要求进行抓取压力控制。

2.站点的抓取速度

在同一个站点内,控制抓取速度的设置有两种,一种是在一段时间内的抓取频率,另一种是一段时间内的抓取流量。同一个网站在不同的时间内抓取速度是不一样的,要根据站点的具体类型进行设置。

二、常用抓取返回码示意

1.404:“NOT FOUND”找不到,表示该网页已经失效,通常会从索引库中删除搜索引擎蜘蛛如果遇到这个页面,是不会进行收录的。

2.503:“Service Unavailable”服务不可用,表示该网页暂时不能访问。网页返回503状态码,搜索引擎蜘蛛不会直接删除这条此网址。如果该网页被多次访问,并且网页恢复正常,则可以正常抓取该网页但如果继续返回503,它将被视为无效链接并从库中删除。

3.403:“Forbidden”禁止 表示该网页目前禁止访问。如果生成一个新的URL,搜索引擎蜘蛛暂时不会进行抓取多次访问该网页;如果是被收录的URL,则不会直接删除它,并且会在短时间内被多次访问。如果网页访问正常,则正常抓取;如果仍禁止访问,则该网址也将被视为无效链接,从库中删除。

4.301:“Moved Permanently”永久移动 表示页面被重定向到一个新的URL。如果网站需要更改域名和网站改版,需要设置301重定向,还可以在站长平台上提交网站改版工具,能够有效降低网站的流量损失

以上就是《提高spider抓取策略1的全部内容,感谢阅读,希望对你有帮助!

标签: URL