和搜索引擎爬行与抓取有关的常见名词

2020-05-22 17:43:50 柒点传媒 5

爬行与抓取,是搜索引擎工作的第一步,为的是完成网站数据收集任务。柒点传媒整理了与之相关的一些常见名词,在这里给大家一一解释。 

SEO优化|ASO优化|网络推广|SEO服务外包公司|品牌推广

图片源自网络

1. 蜘蛛

蜘蛛spider)搜索引擎用来爬行和访问页面的自由程序,也称为机器人(bot)。

2. 跟踪链接

搜索引擎蜘蛛为了尽可能多地抓取网络上的页面往往会跟踪网站页面上的链接,从一个页面爬到另一个页面,就像是蜘蛛在蜘蛛网上爬行,“搜索引擎蜘蛛”这个名字也是由此得来的。

3. 吸引蜘蛛

理论上蜘蛛能够爬行和抓取所有页面,但实际上不能当然,也不会这么做。因此,SEO人员如果想要让网站的页面被尽可能多地收录,就要想方设法吸引蜘蛛来进行抓取

4. 地址库

当然,为了避免重复爬行和抓取网址,搜索引擎建立一个地址库,用于记录已经被发现还没有抓取的页面已经被抓取的页面。

5. 文件储蓄

除了搜索引擎蜘蛛抓取的数据存入原始页面数据库外,其他的页面数据与用户浏览器得到的HTML是完全一样的每个URL都是一个独特的文件编号。

以上就是《和搜索引擎爬行抓取有关的常见名词》的全部内容,感谢阅读,希望对你有帮助!

 


标签: 搜索引擎