搜索引擎抓取系统概述(三)

2017-11-11 04:29:56| 发布者: admin| 查看: 3264 次

前面简要介绍过了搜索引擎的索引系统,实际上在建立倒排索引的最后还需要有一个入库写库的过程,而为了提高效率这个过程还需要将全部term以及偏移量保存在文件头部,并且对数据进行压缩,这涉及到的过于技术化在此就不多提了。今天简要给大家介绍一下索引之后的检索系统。

检索系统主要包含了五个部分,如下图所示:baiduyouhua23

 

(1)Query串切词分词即将用户的查询词进行分词,对之后的查询做准备,以“10号线地铁故障”为例,可能的分词如下(同义词问题暂时略过):

10 0x123abc

号 0x13445d

线 0x234d

地铁 0x145cf

故障 0x354df

(2)查出含每个term的文档集合,即找出待选集合,如下:

0x123abc 1 2 3 4 7 9…..

0x13445d 2 5 8 9 10 11……

……

……

(3)求交,上述求交,文档2和文档9可能是我们需要找的,整个求交过程实际上关系着整个系统的性能,这里面包含了使用缓存等等手段进行性能优化;

(4)各种过滤,举例可能包含过滤掉死链、重复数据、色情、垃圾结果以及你懂的;

(5)最终排序,将最能满足用户需求的结果排序在最前,可能包括的有用信息如:网站的整体评价、网页质量、内容质量、资源质量、匹配程度、分散度、时效性等等,之后会详细给大家介绍。

北京高搜互联原名北京大地SEO,是一家专业的网站优化公司,其专业的搜索引擎优化技术在众多网站优化公司中独树一帜,坚持纯手工优化、坚持核心关键词优化、只挑选符合优化标准的网站进行优化,坚决不虚报价格,拒绝按年收费,坚持按月付费,一心做好优化服务,使高搜互联成为客户心中朋友,从而使客户放心把网站交给我们的同时把企业网站建设管理、网络舆情监控、网络口碑维护等相关工作交予我们。这些业务也成为了我们主营业务 北京络云可可科技有限公司于2016年由总部恒伟网络独立专注交互型网站开发制作 北京高搜互联科技有限公司于2017年由总部恒伟网络独立专注网络推广服务 总部恒伟网. . .

联系我们

北京市通州区台湖镇尖子班A座1508-1509

4006980858(服务时间:9:00-18:00)

qiaozhiseo@qq.com

在线咨询 新浪微博 官方微信官方微信

网站优化 微信咨询微信联系 售后服务 联系电话4006980858 返回顶部