Categories


Tags


搜索引擎检索系统概述

前面简要介绍过了搜索引擎的索引系统,实际上在建立倒排索引的最后还需要有一个入库写库的过程,而为了提高效率这个过程还需要将全部term以及偏移量保存在文件头部,并且对数据进行压缩,这涉及到的过于技术化在此就不多提了。今天简要给大家介绍一下索引之后的检索系统。

检索系统主要包含了五个部分,如下图所示:

索引&检索.jpg

(1)Query串切词分词即将用户的查询词进行分词,对之后的查询做准备,以“10号线地铁故障”为例,可能的分词如下(同义词问题暂时略过):

10 0x123abc

号 0x13445d

线 0x234d

地铁 0x145cf

故障 0x354df

(2)查出含每个term的文档集合,即找出待选集合,如下:

0x123abc 1 2 3 4 7 9…..

0x13445d 2 5 8 9 10 11……

……

……

(3)求交,上述求交,文档2和文档9可能是我们需要找的,整个求交过程实际上关系着整个系统的性能,这里面包含了使用缓存等等手段进行性能优化;

(4)各种过滤,举例可能包含过滤掉死链、重复数据、色情、垃圾结果以及你懂的;

(5)最终排序,将最能满足用户需求的结果排序在最前,可能包括的有用信息如:网站的整体评价、网页质量、内容质量、资源质量、匹配程度、分散度、时效性等等,之后会详细给大家介绍。

如果大家对搜索引擎检索还有别的疑问,大家可以到[学堂同学汇][学习讨论]《搜索引擎检索系统概述》讨论帖中发表自己的看法,我们的工作人员会关注这里并与大家进行探讨。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2011-11-07 16:21:49

百度搜索引擎工作原理-4-外部投票

外部投票是指其他网站链接到你的网站的数量和质量。百度搜索引擎通过外部投票来判断你网站的权威性和可信度,因为如果其他网站链接到你的网站,说明你的内容具有一定的价值和权威性。而且,如果链接到你网站的其他网站本身也是权威性和可信度高的网站,那么你的权威性和可信度也会被提升。因此,外部投票对于提高自己网站在百度搜索引擎中的排名非常重要。 同时,需要注意的是,如果你的网站有过多的低质量或垃圾站点链接到你

Public @ 2023-05-31 01:50:17

搜索引擎工作流程

搜索引擎工作流程主要有数据采集、数据预处理、数据处理、结果展示等阶段。在各工作阶段分别使用了网络爬虫、中文分词、大数据处理、数据挖掘等技术。网络爬虫也被称为蜘蛛或者网络机器人,它是搜索引擎抓取系统的重要组成部分。网络爬虫根据相应的规则,以某些站点作为起始站点通过各页面上的超链接遍历整个互联网,利用URL弓I用根据广度优先遍历策略从一个html文档爬行到另一个html文档来抓取信息。中文分词是中文搜

Public @ 2017-09-27 16:22:24

搜索引擎检索系统概述

搜索引擎检索系统是一种利用计算机程序和算法为用户提供信息检索服务的系统。其作用是在海量的信息中快速准确地找到用户需要的信息并返回给用户。 搜索引擎检索系统包括以下几个基本部分: 1. 爬虫:负责收集互联网上的网页等信息,并将其保存到搜索引擎的数据库中。 2. 索引器:通过对网页内容进行分析和加工处理,建立一张包含关键词和网页链接的索引表,以便搜索引擎能够快速地响应用户的检索请求。 3. 检

Public @ 2023-06-09 01:50:15

搜索引擎工作原理

搜索引擎的工作原理大致如下: 1. 网络爬虫(Spider):搜索引擎会派遣网络爬虫,搜索引擎爬虫通过扫描互联网上的网页,并收集这些网页的信息,包括标题、关键词、描述、网址、内容、超链接等。 2. 索引(Index):搜索引擎将收集到的网页内容进行分析,提取出其中的关键词,并将这些关键词存入一个大型的索引库中,以便后续快速查询。 3. 检索(Retrieval):当用户输入查询词时,搜索引擎

Public @ 2023-04-14 20:00:35

更多您感兴趣的搜索

0.432807s