爬行、抓取、收录、索引,指的都是什么?

2021-07-19 栏目:常见问题 查看()
  做网站的我们要对SEO优化有充分的了解,这样才能做好网站优化工作,而其中爬行、抓取、索引、收录,指的都是什么?下面跟小编一起来了解一下吧!
爬行、抓取、收录、索引,指的都是什么?
  爬行是什么?
  爬行指的是搜索引擎蜘蛛从已知页面上解析出链接指向的URL,然后沿着链接发现新页面(也就是链接指向的URL)的过程。当然,蜘蛛并不是发现新URL马上就爬过去抓取新页面,而是把发现的URL存放到待抓地址库中,蜘蛛按照一定顺序从地址库中提取要抓取的URL。
  抓取是什么?
  抓取是搜索引擎蜘蛛从待抓地址库中提取要抓的URL,访问这个URL,把读取的HTML代码存入数据库。蜘蛛的抓取就是像浏览器一样打开这个页面,和用户浏览器访问一样,也会在服务器原始日志中留下记录。
  收录是什么?
  收录是指搜索引擎将网站编入自己的数据库。常见的搜索引擎包括百度、谷歌、搜狗、有道、雅虎、夸索、泽旭等。用户可以通过搜索引擎提交网站来吸引蜘蛛抓取页面,或者通过外部链接吸引搜索引擎访问网站页面。当搜索引擎认为这些页面符合包含标准时,它们将被包含在网站页面中。
  索引是什么?
  索引指的是将一个URL的信息进行整理,存入数据库,也就是索引库,用户搜索时,搜索引擎从索引库中提取URL信息并排序展现出来。索引的英文是index。索引库是用于搜索的,所以被索引的URL是可以被用户搜索到的,没有被索引的URL用户在搜索结果中是看不到的。
  要注意的是,所谓“一个URL的信息“,并不限于蜘蛛从URL上抓取来的内容,还有来自其它来源的信息,如外部链接、链接的锚文字等。有的时候,索引库中关于这个URL的的信息,根本没有从这个URL抓取来的内容,但搜索引擎知道这个URL的存在,并且有一些其它信息。抓取和索引不是一回事。
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流

郑重申明:吾爱快排以外的任何单位或个人,不得使用该案例作为工作成功展示!