seo优化公司：搜索引擎爬虫质量的评价标准

爬虫质量的点评规范
假如从查找引擎用户体会的视点考虑，对爬虫的工作效果有不同的点评规范，其中最首要的 3 个规范是：抓取网页的覆盖率、抓取网页时新性及抓取网页重要性。假如这 3 方面做得好，则查找引擎用户体会必定好。


seo优化公司
关于现有的查找引擎来说，还不存在哪个查找引擎有能力将互联网上呈现的一切网页都下载并树立索引，一切查找引擎只能索引互联网的一部分。而所谓的抓取覆盖率指的是爬虫抓取网页的数量占互联网一切网页数量的份额，覆盖率越高，等价于查找引擎的召回率越高，用户体会越好。

索引网页和互联网网页对比
抓取到本地的网页，很有或许已经发生变化，或者被删除，或者内容被更改，因为爬虫抓取完一轮需求较长的时间周期，所以抓取到的网页傍边必然会有一部分是过期的数据，即不能在网页变化后 时间反应到网页库中。所以网页库中过期的数据越少，则网页的时新性越好，这对用户体会的改善大有裨益。

假如时新性不好，查找到的都是过期数据，或者网页被删除，用户的内心感触可想而知。
互联网虽然网页繁复，但是每个网页的差异性都很大，比如来自腾讯、网易新闻的网页和某个做弊网页比较，其重要性犹如天壤之别。假如查找引擎抓取到的网页大部分是比较重要的网页，则能够阐明在抓取网页重要性方面做得比较好。这方面做的越好，则越阐明查找引擎的查找精度越高。

通过以上 3 个规范的阐明分析，能够将爬虫研制的方针简略描述如下：在资源有限的情况下，既然查找引擎只能抓取互联网现存网页的一部分，那么就尽或许给选择比较重要的那部分页面来索引；关于已经抓取到的网页，尽或许快的更新内容，使得索引网页和互联网对应页面内容同步更新；在此基础上，尽或许扩展抓取范围，抓取到更多曾经无法发现的网页。

3 个“尽或许”基本说清楚了爬虫体系为增强用户体会而奋斗的方针。
大型商业查找引擎为了满意 3 个质量规范，大都开发了多套针对性很强的爬虫体系。以Google为例，至少包含两套不同的爬虫体系：一套被称为Fresh Bot，首要考虑网页的时新性，关于内容更新频频的网页，现在能够到达以秒计的更新周期；另外一套被称之为Deep Crawl Bot，首要针对更新不是那么频频的网页抓取，以天为更新周期。