Categories


Tags


搜索引擎中各关键功能模块功能简介

(1)爬虫:从互联网爬取原始网页数据,存储于文档知识库服务器。

(2)文档知识库服务器:存储原始网页数据,通常是分布式Key-Value数据库,能根据URL/UID快速获取网页内容。

(3)索引:读取原始网页数据,解析网页,抽取有效字段,生成索引数据。索引数据的生成方式通常是增量的,分块/分片的,并会进行索引合并、优化和删除。生成的索引数据通常包括:字典数据、倒排表、正排表、文档属性等。生成的索引存储于索引服务器。

(4)索引服务器:存储索引数据,主要是倒排表,通常是分块、分片存储,并支持增量更新和删除。数据内容量非常大时,还根据类别、主题、时间、网页质量划分数据分区和分布,更好地服务在线查询。

(5)检索:读取倒排表索引,响应前端查询请求,返回相关文档列表数据。

(6)排序:对检索器返回的文档列表进行排序,基于文档和查询的相关性、文档的链接权重等属性。

(7)链接分析:收集各网页的链接数据和锚文本(Anchor Text),以此计算各网页链接评分,最终会作为网页属性参与返回结果排序。

(8)网页去重:提取各网页的相关特征属性,计算相似网页组,提供离线索引和在线查询的去重服务。

(9)网页反垃圾:收集各网页和网站历史信息,提取垃圾网页特征,从而对在线索引中的网页进行判定,去除垃圾网页。

(10)查询分析:分析用户查询,生成结构化查询请求,指派到相应的类别、主题数据服务器进行查询。

(11)页面描述/摘要:为检索和排序完成的网页列表提供相应的描述和摘要。

(12)前端:接受用户请求,分发至相应服务器,返回查询结果。


Public @ 2017-08-24 16:22:25

搜索引擎怎样抓到你?

用户行为方式怎样影响搜索引擎排名结果,是很多SEO一直关心探讨的问题。前一阵在点石论坛上就看到关于在百度大量点击搜索结果中自己的网站,从而进一步提高排名的讨论。其逻辑是,搜索结果中的某个网站被点击次数越多,说明越有用,用户越喜欢,搜索引擎会更进一步提高这个网站的排名。不过这种用户行为方式是噪声很大的数据,极容易作弊。搜索引擎要在这些数据中提炼出精华非常困难。前几天Google员工JohnMu就在G

Public @ 2015-05-11 16:21:51

搜索引擎工作原理

搜索引擎的工作原理大致如下: 1. 网络爬虫(Spider):搜索引擎会派遣网络爬虫,搜索引擎爬虫通过扫描互联网上的网页,并收集这些网页的信息,包括标题、关键词、描述、网址、内容、超链接等。 2. 索引(Index):搜索引擎将收集到的网页内容进行分析,提取出其中的关键词,并将这些关键词存入一个大型的索引库中,以便后续快速查询。 3. 检索(Retrieval):当用户输入查询词时,搜索引擎

Public @ 2023-04-14 20:00:35

了解搜索引擎来进行SEO

搜索引擎的工作的过程非常复杂,而简单的讲搜索引擎的工过程大体可以分成三个阶段。爬行和抓取:搜索引擎蜘蛛通过跟踪链接访问页面,获取页面HTML代码存入数据库。预处理:搜索赢球对抓取来的页面数据文字进行文字提取、中文分词、索引等处理,以备排名程序调用。排名:用户输入关键字后,排名调用索引库数据,计算相关性,然后按一定格式生成搜索结果页面。爬行和抓取爬行和抓取是搜索引擎工作的第一步,完成数据收集任务。蜘

Public @ 2018-03-18 16:21:53

搜索引擎工作原理

搜索引擎是一种用来搜索巨大的获取到的信息的技术,它根据用户输入的关键字或问题,再搜索索引库中获取到的信息,以便提供相关网站页面、新闻文档、图片和其他形式的信息来回答用户提出的问题。 搜索引擎的一般工作原理是,将信息经过索引化存在索引库中,用户通过输入一定的关键字搜索时,搜索引擎从索引库中搜索符合条件的结果项并返回;或者通过抓取网页技术在搜索引擎开发过程中,根据搜索引擎的网络爬虫技术逐一抓取网

Public @ 2023-02-24 00:23:15

更多您感兴趣的搜索

0.509351s