Categories


Tags


搜索引擎工作原理

基本流程

抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫(Spider)。爬虫顺着网页中的超链接,从这个网站爬到另一个网站,通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍,理论上,从一定范围的网页出发,就能搜集到绝大多数的网页。

处理网页。搜索引擎抓到网页后,还要做大量的预处理工作,才能提供检索服务。其中,最重要的就是提取关键词,建立索引库和索引。其他还包括去除重复网页、分词(中文)、判断网页类型、分析超链接、计算网页的重要度/丰富度等。

提供检索服务。用户输入关键词进行检索,搜索引擎从索引数据库中找到匹配该关键词的网页;为了用户便于判断,除了网页标题和URL外,还会提供一段来自网页的摘要以及其他信息。

搜索引擎的自动信息搜集功能

提交网站搜索。站长主动向搜索引擎提交网址,它在一定时间内定向向你的网站派出爬虫,扫描你的网站并将有关信息存入数据库,以备用户查询。由于搜索引擎索引规则相对于过去已发生很大变化,主动提交网址并不保证你的网站能进入搜索引擎数据库,因此站长应该在网站内容上多下功夫,并让搜索引擎有更多机会找到你并自动将你的网站收录。

当用户以关键词查找信息时,搜索引擎会在数据库中进行搜寻,如果找到与用户要求内容相符的网站,便采用特殊的算法——通常根据网页中关键词的匹配程度,出现的位置、频次,链接质量等——计算出各网页的相关度及排名等级,然后根据关联度高低,按顺序将这些网页链接返回给用户。

我们想说的是您应该将您优化的重心和出发点主要放在用户体验上,因为用户才是您网站内容的主要受众,是他们通过搜索引擎找到了您的网站。过度专注于用特定的技巧获取搜索引擎自然搜索结果的排名不一定能够达到您想要的结果。

来源:搜狗资源平台


Public @ 2015-11-08 16:21:49

搜索引擎抓取系统概述(二)

编者按:之前与大家分享了关于搜索引擎抓取系统中有关抓取系统基本框架、抓取中涉及的网络协议、抓取的基本过程的内容,今天将于大家分享搜索引擎抓取系统第二部分内容—spider抓取过程中的策略。spider在抓取过程中面对着复杂的网络环境,为了使系统可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性同时不给网站体验造成压力,会设计多种复杂的抓取策略。以下简单介绍一下抓取过程中涉及到的主要策

Public @ 2020-03-26 16:12:37

搜索引擎工作原理

搜索引擎是一种用来搜索巨大的获取到的信息的技术,它根据用户输入的关键字或问题,再搜索索引库中获取到的信息,以便提供相关网站页面、新闻文档、图片和其他形式的信息来回答用户提出的问题。 搜索引擎的一般工作原理是,将信息经过索引化存在索引库中,用户通过输入一定的关键字搜索时,搜索引擎从索引库中搜索符合条件的结果项并返回;或者通过抓取网页技术在搜索引擎开发过程中,根据搜索引擎的网络爬虫技术逐一抓取网

Public @ 2023-02-24 00:23:15

搜索引擎工作原理

基本流程抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫(Spider)。爬虫顺着网页中的超链接,从这个网站爬到另一个网站,通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍,理论上,从一定范围的网页出发,就能搜集到绝大多数的网页。处理网页。搜索引擎抓到网页后,还要做大量的预处理工作,才能提供检索服务。其中,最重要的就是提取关键词,建立索引库和索

Public @ 2015-11-08 16:21:49

搜索引擎工作的基础流程与原理

搜索引擎工作的基本流程如下: 1. 网络爬虫:首先搜索引擎需要通过网络爬虫抓取网页,并对网页进行解析,将其中的文本、图片、链接等信息提取出来。 2. 存储索引:接着搜索引擎需要将这些信息存储在索引库中,为后续搜索做准备。 3. 搜索关键词:当用户输入关键词进行搜索时,搜索引擎需要对这些关键词进行分词,并对分词结果进行查询,找到相关的网页并按照相关度排序。 4. 显示结果:最后,搜索引擎会按

Public @ 2023-04-02 03:00:29

更多您感兴趣的搜索

0.422347s