SEO优化人员日常工作的一部分,就是观察搜索引擎蜘蛛有没有访问自己优化的网站、是否有内容被收录、不被收录的内容有哪些、以及如何调整网站提高网站收录量。
为了提高搜索引擎蜘蛛的爬行频率,建议从下面几个方面入手。
这里简单分享一下提高搜索引擎蜘蛛抓取的改进策略。
一、减轻访问网站的压力
带宽导致访问压力大,这将直接影响用户对网站的正常访问。为了不影响用户正常访问网站,还可以让搜索引擎蜘蛛抓取有价值的页面,可以从下面两个方面进行改进。
1.IP压力控制
如果一个域名下有多个IP,或者多个域名下同一个IP对应多个IP地址,则需要根据IP和域名的不同情况控制压力部署。你也可以使用站长平台中的压力反馈工具,手动调整配对网站的爬取压力,这样搜索引擎蜘蛛就会根据站长的要求进行抓取压力控制。
2.站点的抓取速度
在同一个站点内,控制抓取速度的设置有两种,一种是在一段时间内的抓取频率,另一种是一段时间内的抓取流量。同一个网站在不同的时间内抓取速度是不一样的,要根据站点的具体类型进行设置。
二、常用抓取返回码示意
1.404:即“NOT FOUND”(找不到),表示该网页已经失效,通常会从索引库中删除。搜索引擎蜘蛛如果遇到这个页面,是不会进行收录的。
2.503:即“Service Unavailable”(服务不可用),表示该网页暂时不能访问。网页返回503状态码,搜索引擎蜘蛛不会直接删除这条此网址。如果该网页被多次访问,并且网页恢复正常,则可以正常抓取该网页。但如果继续返回503,它将被视为无效链接并从库中删除。
3.403:即“Forbidden”(禁止), 表示该网页目前禁止访问。如果生成一个新的URL,搜索引擎蜘蛛暂时是不会进行抓取的,但会多次访问该网页;如果是被收录的URL,则不会直接删除它,并且会在短时间内被多次访问。如果网页访问正常,则正常抓取;如果仍禁止访问,则该网址也将被视为无效链接,从库中删除。
4.301:即“Moved Permanently”(永久移动), 表示页面被重定向到一个新的URL。如果网站需要更改域名和网站改版,需要设置301重定向,还可以在站长平台上提交网站改版工具,能够有效降低网站的流量损失。
关注“柒点传媒”
关注“企师爷”
湖南省柒点文化传媒有限公司 版权所有