企师爷

请上传logo 请上传logo

网站误封Robots文件应该如何处理

2022-01-14 13:56:58 胡斌

问:网站误封Robots文件应该如何处理


答:网站误封Robots文件处理方案:


1、把封禁Robots文件修改为允许,到百度站长后台检测并更新Robots;


2、如果百度站长后台检测显示还是为抓取失败,您可以尝试多点击几次,触发蜘蛛抓取站点;


3、百度站长后台抓取频次,申请抓取频次上调;


4、到百度反馈中心反馈问题,因为哪些问题导致误封Robots文件;


5、百度站长后台链接提交处设置数据主动推送;


6、更新Sitemap网站地图提交给百度,建议每天手工提交一次;


问:Robots.txt文件用法举例说明


答:Robots.txt文件正常放于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:

":"


问:什么是robot文件


答:整个网站不能收录或某个目录下所有页面都不能收录,经常是因为robots.txt文件出差错起的。网站工具抓取工具权限部分显示出Google所抓取的robots文件内容。

robots文件中的任何一个字母差错都可能造成致命影响。站长应该检查robots文件中的每一行代码正确,不会错误禁止应该被收录的文件或目录


Robots.txt文件用法举例说明如下:




工作时间:09:00-18:00
0731-8552-2587
关注我们

关注“柒点传媒”

关注“企师爷”

首页
产品
投资
联系